DE102016200553A1

DE102016200553A1 - Computer-vision-gestützte prozesserkennung

Info

Publication number: DE102016200553A1
Application number: DE102016200553.7A
Authority: DE
Inventors: Robert P. Loce; Beilei Xu; Edgar A. Bernal; Saurabh Prabhat; Wencheng Wu
Original assignee: Xerox Corp
Current assignee: Conduent Business Services LLC
Priority date: 2015-02-06
Filing date: 2016-01-18
Publication date: 2016-08-11
Also published as: JP2016146176A; JP6734653B2; US20160234464A1; US10110858B2

Abstract

Ein Computer-Vision-gestütztes Verfahren zur Validierung eines Arbeitsablaufs einer ausführenden Person, die die Identifizierung einer Zielaktivität umfasst. Das Verfahren umfasst die Festlegung einer erwarteten Aktionsabfolge in Verbindung mit der Zielaktivität. Das Verfahren umfasst den Empfang eines Video-Streams von einem Bilderfassungsgerät, das eine Aktivität überwacht, die durch eine zugeordnete Person ausgeführt wird. Das Verfahren umfasst die Festlegung eines externen Cue im Video-Stream. Das Verfahren umfasst die Zuordnung eines Frames, der den externen Cue als ersten Frame in einer Abfolge von Schlüsselbildern erfasst. Das Verfahren umfasst die Festlegung einer Aktion, die von der zugeordneten Person in der Schlüsselbildabfolge ausgeführt wird. Als Reaktion auf die Festlegung der Aktion in der Schlüsselbildabfolge, die einer erwarteten Aktion in der Zielaktivität entspricht, umfasst das Verfahren die Verifizierung der Aktion als derzeit in der überwachten Aktivität ausgeführt. Als Reaktion auf die nicht erfolgte Festlegung der Aktion in der Schlüsselbildabfolge umfasst das Verfahren die Generierung einer Warnung, die einen Fehler in der überwachten Aktivität anzeigt.

Description

Diese Offenlegung betrifft eine Computer-Vision-gestützte Prozesserkennung und insbesondere ein Verifizierungsverfahren und -System, das sich der Computer-Vision-Technologie zur Verifizierung von Schritten, Objekten und Messgrößen in einem Prozess bedient.
Pharmazeutische Unternehmen und Apotheken müssen bei der Herstellung oder Lieferung von Pharmazeutika sichere und zuverlässige Prozesse gewährleisten. Zur Gewährleistung der Produktqualität implementieren Unternehmen in allen Produktionsphasen kontrollierte Verfahren. Zusätzlich integrieren pharmazeutische Unternehmen allgemein Validierungsanforderungen zur Bewertung des Prozesses, der zur Herstellung des pharmazeutischen Produkts eingesetzt wird. Ähnliche Anforderungen werden in anderen Industriezweigen, wie z. B. der Nahrungsmittelherstellung und -verpackung, implementiert.
Ein Ansatz nach dem früheren Stand der Technik überwacht den Prozess per Kamera zur späteren Überprüfung. Ein menschlicher Prüfer untersucht nach wie vor die Bilder oder Bild-Frames, um zu überprüfen, dass das Pharmazeutikum ordnungsgemäß hergestellt wurde, d. h. dass alle Schritte korrekt ausgeführt wurden. Dieser Ansatz kann sich auf einen Techniker stützen, der einen manuellen Schritt ausführt, um Markierungen für den menschlichen Prüfer zu setzen, der die Bilder prüft. Der Techniker kann z. B. beim Ausführen eines Prozesses einen Barcode manuell scannen. In einem anderen Beispiel kann der Techniker beim Dosieren oder Mischen von pharmazeutischen Inhaltsstoffen Messdaten eingeben. Der Techniker kann beispielsweise einen Eintrag über die Tastatur als Eingabe in einen Computer eingeben. Der menschliche Prüfer kann die mit einem Flag versehenen Bilder nach Aufzeichnungen der Messdaten absuchen. Nach einem früheren Stand der Technik kann der menschliche Prüfer beispielsweise nach einer Skala an einer bekannten Stelle im erfassten Bild suchen und sich vergewissern, dass die Skalenanzeige dem vom Techniker eingegebenen Messwert entspricht. Diese Verifizierungsverfahren sind duplikativ, da sie einen ersten manuellen Schritt erfordern, der vom Techniker ausgeführt wird, und eine zweite manuelle Überprüfung, die vom menschlichen Prüfer für den Verifizierungsvorgang ausgeführt wird. Alternativ kann der menschliche Prüfer die Bilder nach der Skalenanzeige durchsuchen, ohne dass die entsprechende Eingabe durch den Techniker ausgeführt wird. Dieser Ansatz validiert die Menge der pharmazeutischen Inhaltsstoffe, die zur Herstellung des Produkts verwendet werden und gewährleistet so die Qualität des Produkts.
Jeder Verifizierungsprozess, der sich auf eine ausführende Person stützt, die die erfassten Bilddaten prüft, kann zu erhöhten Kosten und Ineffizienzen führen. Einer ausführenden Person können zudem Fehler unterlaufen, z. B. die falsche Ablesung von Bild-Content oder die Nichtbeachtung von unsachgemäßen Aktionen des Technikers. Die Zeitdauer, die eine ausführende Person benötigt, um die Bilder manuell durchzuarbeiten, kann zudem die Auslieferung der Produkte an die Kunden verzögern und letztendlich dem Unternehmen potenzielle Gewinneinbußen verursachen.
Zur Verifizierung, ob ein Produkt korrekt hergestellt wird, ist ein robusterer und effizienterer Verifizierungsprozess wünschenswert. Es wird ein Verifizierungsprozess gewünscht, der Aktionen innerhalb von komplexen, mehrstufigen Aktivitäten verifiziert. Zudem sind ein Verfahren und ein System erwünscht, die automatisch die bei der Herstellung von Produkten verwendeten Mengen validieren.
Eine Ausführungsform der Offenlegung betrifft ein Computer-Vision-gestütztes Verfahren zur Validierung eines Arbeitsablaufs einer ausführenden Person. Das Verfahren umfasst die Festlegung einer erwarteten Aktionsabfolge in Verbindung mit einer Zielaktivität. Das Verfahren umfasst den Empfang eines Video-Streams von einem Bilderfassungsgerät, das eine Aktivität überwacht, die durch eine zugeordnete Person ausgeführt wird. Das Verfahren umfasst die Festlegung eines externen Cue im Video-Stream. Das Verfahren umfasst die Herstellung einer Verbindung mit einem Frame, der den externen Cue als ersten Frame in einer Abfolge von Schlüsselbildern erfasst. Das Verfahren umfasst die Festlegung einer Aktion, die von der zugeordneten Person in der Schlüsselbildabfolge ausgeführt wird. Als Reaktion auf die Festlegung der Aktion in der Schlüsselbildabfolge, die einer erwarteten Aktion in der Zielaktivität entspricht, umfasst das Verfahren die Verifizierung der Aktion als derzeit in der überwachten Aktivität ausgeführt. Als Reaktion auf die nicht erfolgte Festlegung der Aktion in der Schlüsselbildabfolge umfasst das Verfahren die Generierung einer Warnung, die einen Fehler in der überwachten Aktivität anzeigt.
Eine weitere Ausführungsform der Offenlegung betrifft ein System zur Validierung eines Arbeitsablaufs einer ausführenden Person. Das System umfasst eine Computereinrichtung mit einem Speicher in Verbindung mit einem Prozessor.
Der Prozessor ist dazu konfiguriert, eine erwartete Aktionsabfolge in Verbindung mit einer Zielaktivität festzulegen. Der Prozessor ist dazu konfiguriert, einen Video-Stream von einem Bilderfassungsgerät, das eine Aktivität überwacht, die durch eine zugeordnete Person ausgeführt wird, zu empfangen. Der Prozessor ist dazu konfiguriert, einen externen Cue im Video-Stream bestimmen. Der Prozessor ist ferner dazu konfiguriert, eine Verbindung mit einem Frame, der den externen Cue als ersten Frame in einer Schlüsselbildabfolge erfasst, herzustellen. Der Prozessor ist dazu konfiguriert, eine Aktion, die von der zugeordneten Person in der Schlüsselbildabfolge ausgeführt wird, festzulegen. Als Reaktion auf die Festlegung der Aktion in der Schlüsselbildabfolge, die einer erwarteten Aktion in der Zielaktivität entspricht, ist der Prozessor dazu konfiguriert, die Aktion als derzeit in der überwachten Aktivität ausgeführt zu verifizieren. Als Reaktion auf die nicht erfolgte Festlegung der Aktion in der Schlüsselbildabfolge ist der Prozessor dazu konfiguriert, eine Warnung, die einen Fehler in der überwachten Aktivität anzeigt, zu generieren / auszulösen.
Eine weitere Ausführungsform der Offenlegung betrifft ein Computer-Vision-gestütztes Verfahren zur Validierung eines Arbeitsablaufs einer ausführenden Person. Das Verfahren umfasst die Identifizierung einer Zielaktivität. Das Verfahren umfasst die Festlegung einer erwarteten Aktionsabfolge in Verbindung mit der Zielaktivität. Das Verfahren umfasst den Empfang eines Video-Streams von einem Bilderfassungsgerät, das eine Aktivität überwacht, die durch eine zugeordnete Person ausgeführt wird. Das Verfahren umfasst die Festlegung einer Aktion, die von der zugeordneten Person im überwachten Video-Stream ausgeführt wird. Als Reaktion auf die Festlegung der Aktion, die einer erwarteten Aktion im überwachten Video-Stream entspricht, umfasst das Verfahren die Verifizierung der Aktion als derzeit in der überwachten Aktivität ausgeführt. Als Reaktion auf die nicht erfolgte Festlegung der Aktion im überwachten Video-Stream umfasst das Verfahren die Generierung einer Warnung, die einen Fehler in der überwachten Aktivität anzeigt.
1 stellt ein Ablaufdiagramm dar, das einen Überblick über ein Verfahren zur Verifizierung eines Arbeitsablaufs einer ausführenden Person gibt.
2 stellt eine Schemazeichnung eines Computer-Vision-gestützten Systems zur Verifizierung von Prozessen dar.
3 stellt ein detailliertes Ablaufdiagramm dar, das ein Verfahren zur Validierung eines Arbeitsablaufs einer ausführenden Person beschreibt.
4A gibt ein veranschaulichendes Beispiel eines Objekts zur Mengenbestimmung wieder.
4B ist ein Binärabbild und zeigt das Objekt von 4A getrennt vom erfassten Bild-Frame.
4C zeigt das platzierte Objekt von 4B in die Horizontale gedreht.
4D zeigt eine Pixelsummierung, die für das gedrehte Binärabbild von
4C aufgezeichnet ist.
5 zeigt Objekte einschließlich Tabletten.
Diese Offenlegung betrifft eine Computer-Vision-gestützte Prozesserkennung und insbesondere ein Verifizierungsverfahren und -System, das sich der Computer-Vision-Technologie zur Verifizierung von Schritten, Objekten und Messgrößen in einem Prozess für die Herstellung eines Produktes zur Qualitätssicherung bedient.
Der in diesem Schriftstück offengelegte Verifizierungsprozess wird für die Anwendung in der pharmazeutischen Industrie betrachtet, aber eine Anwendung dieser Offenlegung ist nicht auf einen bestimmten Industriezweig beschränkt. Die Offenlegung kann auch für andere ähnliche Industriezweige angewandt werden, die Qualitätssicherungsmaßnahmen implementieren, z. B. für die Nahrungsmittel-(verpackungs-)industrie und die Kosmetikbranche usw. Insbesondere Pharmazieunternehmen können Schritte, Ausrüstungen ("Objekte") und Mengen (z. B. eines pharmazeutischen Inhaltsstoffes), die zur Herstellung eines Arzneimittels verwendet werden, verifizieren. Unabhängig davon wird die Offenlegung für die Verifizierung des Prozesses betrachtet, der von einer Person ausgeführt wird, wobei eine Person die Schritte ausführt, die Objekte verwendet und / oder die Mengen der Inhaltsstoffe dosiert oder mischt.
Der Begriff "Aktion", wie er hier verwendet wird, bezieht sich auf einen Schritt in einem Prozess. Die Aktion kann sich auf einen Schritt, einen Teil eines Prozesses oder Teilprozesses beziehen.
Der Begriff "Aktivität" oder "Aktivitäten", wie er hier verwendet wird, bezieht sich auf eine Aktionsabfolge, und in einigen Ausführungsformen auf die Abfolge von Schritten in einem vollständigen Prozess.
Der Begriff "Zielaktivität", wie er hier verwendet wird, bezieht sich auf einen Prozess, der zur Herstellung eines bestimmten Produkts oder Ergebnisses erforderlich ist.
Der Begriff "erwartete Aktion" ist ein in der Zielaktivität enthaltener Schritt zur Generierung eines bestimmten Produkts oder Ergebnisses.
1 stellt ein Ablaufdiagramm dar, das einen Überblick über ein Verfahren 10 zur Verifizierung eines Arbeitsablaufs einer ausführenden Person gibt. Das Verfahren beginnt bei S12. In einer Vorverarbeitungsphase trainiert das System einen Klassifikator in Bezug auf Aktionen innerhalb einer Aktivität. In der Verarbeitungsphase bestimmt das System relevante Bild-Frames, dazu bestimmt es einen externen Cue bei S14, wie z. B. eine Geste der ausführenden Person mittels der Gestenerkennung. Alternativ kann das System relevante Bild-Frames über andere Cues festlegen, wie z. B. das Erscheinungsbild eines bestimmten Objekts durch die Objekterfassung; eine Videoanalyse zur Erfassung eines bewegungslosen Segments; akustisches Feedback; Stimmerkennung undeine Eingabe, z. B. einen Tastenanschlag oder das Scannen eines Barcodes, die auf einer Benutzeroberfläche durch die ausführende Person und das System durchgeführt werden. In diesem Schriftstück sind der Art der Aktion oder den Gesten, die zur Auslösung des Verifizierungsprozesses verwendet werden, keine Grenzen gesetzt. In einer betrachteten Ausführungsform kann eine in einem überwachten Bereich erfasste ausführende Person eine Geste ausführen, die die Erfassung des Frames und / oder der nachfolgenden Frames in der Abfolge auslöst oder die Position des Start-Frames kennzeichnet, wenn ein Dauererfassungsmodus verwendet wird. Diese Geste kann durch die ausführende Person absichtlich ausgeführt werden. Alternativ kann die Geste Teil einer natürlichen Bewegung der ausführenden Person sein, z. B. eine erwartete Handbewegung oder eine Objektplatzierung. Die Geste wird als externer Cue dafür behandelt, dass eine Aktion eintreten wird. Vor allem zur Erkennung einer Geste verarbeitet das System die Schlüsselbild-Frames für eine Aktion, die im erfassten Video bei S16 stattfindet. In einer Ausführungsform kann das System Merkmale aus den Schlüsselbild-Frames extrahieren und einen trainierten Klassifikator, der eine Aktionsklasse ausgibt, auf die Merkmale anwenden. Bei S18 vergleicht das System eine Abfolge der erfassten / klassifizierten Aktionen mit einer erwarteten Abfolge für die Zielaktivität, um zu bestimmen, ob alle Aktionen vorhanden sind und korrekt ausgeführt wurden. Das System generiert eine Warnung bei S20, wenn eine Aktion fehlt oder fehlerhaft ausgeführt wurde. Bei S22 verifiziert das System, dass die Aktivität von der ausführenden Person korrekt ausgeführt wurde, wenn die erfassten / klassifizierten Aktionen den erwarteten Aktionen und / oder der Aktionsabfolge entsprechen.
Weiterhin, als Reaktion auf die Erkennung einer Geste, verarbeitet das System die Schlüsselbild-Frames in Bezug auf zusätzliche Verifizierungsdaten. Das System erfasst und isoliert ein Objekt in Verbindung mit der Aktion aus dem Video-Frame bei S24. Das System verarbeitet Bilddaten in Bezug auf das Objekt, um bei S26 einen Messwert in Bezug auf das Objekt zu bestimmen. In einer Ausführungsform kann das System die Messwert-Informationen als Metadaten bei S28 in die Video-Daten einbetten. Die eingebetteten Messwert-Informationen können mit einem vorgegebenen Wert verglichen werden, um bei S30 die Mengen in Bezug auf das Objekt, das zur Durchführung der Aktion verwendet wird ("objektbezogene Aktion"), zu verifizieren. Das System generiert eine Warnung, wenn der Messwert bei S20 nicht dem vorgegebenen Wert entspricht. Das System weist nach, dass die Aktivität von der ausführenden Person korrekt ausgeführt wurde, wenn der Messwert dem vorgegebenen Wert bei S22 entspricht. Das Verfahren endet bei S32.
2 stellt eine Schemazeichnung eines Computer-Vision-gestützten Systems ("das System 100") zur Verifizierung von Prozessen dar. Das System 100 umfasst eine Prozessverifizierungseinheit 102 und ein Benutzergerät 104, die durch Kommunikationsverbindungen miteinander verbunden sind und in diesem Dokument als das Netzwerk bezeichnet werden. In einer Ausführungsform kann das System 100 zusätzlich mit einem Bilderfassungsgerät 106 in Verbindung stehen. Diese Komponenten werden nachstehend detaillierter beschrieben.
Die Prozessverifizierungseinheit 102, dargestellt in 2, umfasst ein Steuergerät, 110 das Bestandteil der Prozessverifizierungseinheit 102 oder mit ihr verbunden ist. Das beispielhafte Steuergerät 110 ist dazu ausgelegt, eine Analyse der vom System 100 empfangenen Video-Daten zu kontrollieren. Das Steuergerät 110 umfasst einen Prozessor 112, der die Gesamtfunktion der Prozessverifizierungseinheit 102 durch Ausführen von Verarbeitungsbefehlen kontrolliert, die im Speicher 114, der mit dem Prozessor 112 verbunden ist, gespeichert sind.
Der Speicher 114 kann greifbaren materiellen computerlesbaren Medien jeder Art entsprechen, z. B. Direktzugriffsspeicher (RAM), einem Festwertspeicher (ROM), Magnetplattenspeicher, einem Magnetband, einer Bildplatte, einem Flash-Speicher oder holografischen Speicher. In einer Ausführungsform besteht der Speicher 114 aus einer Kombination von einem Direktzugriffsspeicher und einem Festwertspeicher. Der digitale Prozessor 112 kann auf verschiedene Weise ausgeführt sein, z. B. als Einkernprozessor, als Zweikernprozessor (oder allgemein als Mehrkernprozessor), als digitaler Prozessor und zuarbeitender mathematischer Co-Prozessor, als digitaler Controller oder ähnliches. Neben der Steuerung des Betriebs der Prozessverifizierungseinheit 102 führt der digitale Prozessor Befehle aus, die im Speicher 114 gespeichert sind, um die Teile des Verfahrens, die in 1 und 3 ausgeführt sind, durchzuführen. In einigen Ausführungsformen können der Prozessor 112 und der Speicher 114 in einem einzigen Chip kombiniert sein.
Die Prozessverifizierungseinheit 102 kann als Netzwerkgerät ausgeführt sein, z. B. als Bilderfassungsgerät 106, obwohl auch erwogen wird, dass die Prozessverifizierungseinheit 102 an anderer Stelle im Netzwerk platziert sein kann, mit dem das System 100 verbunden ist, z. B. an einem zentralen Server, einem Netzwerkcomputer oder dergleichen, oder über das gesamte Netzwerk verteilt oder anderweitig zugänglich sein kann. Mit anderen Worten kann die Verarbeitung innerhalb des Bilderfassungsgeräts 106 vor Ort oder in einer zentralen Verarbeitung offline oder über einen Servercomputer nach Übertragung der Video-Daten durch das Netzwerk erfolgen. In einer Ausführungsform kann das Bilderfassungsgerät 106 dazu angepasst werden, die Video-Daten 132 an die Prozessverifizierungseinheit 102 zu übertragen und / oder zu senden. In einer weiteren Ausführungsform können die Video-Daten 132 aus einer geeigneten Quelle eingegeben werden, z. B. einer Workstation, einer Datenbank, einem Speichermedium wie z. B. einer Diskette, usw. Das Bilderfassungsgerät 106 steht mit dem Steuergerät 110 in Verbindung, das den Prozessor 112 und Speicher 114 enthält.
Die in diesem Dokument offengelegten Stufen werden vom Prozessor 112 entsprechend der im Speicher 114 enthaltenen Befehle abgearbeitet. Insbesondere speichert der Speicher 114 einen zuvor trainierten Klassifikator 116 (zum Beispiel eine Support Vector Maschine (SVM), ein neuronales Netz, ein Random Forest (RF), etc.), deren Funktion darin besteht, Merkmale zu klassifizieren, die aus den Video-Daten 132 extrahiert werden, da sie zu einer Aktionsklasse gehören; ein Videoerfassungs-/Puffermodul 118, das die Videodaten vom Bilderfassungsgerät 106 übernimmt; ein Aktionserkennungsmodul 120, das die Videodaten verarbeitet, um Aktionen festzulegen, die in den Videodaten erfasst sind; ein Aktivitätenerfassungsmodul 122, das die Aktionsabfolge festlegt, die in den Videodaten ausgeführt werden und anhand der Abfolge festlegt, ob die Aktion korrekt ausgeführt wurde; ein Objekterfassungsmodul 124, das die Videodaten für die Suche nach und die Erfassung eines vorgegebenen Objekts / von vorgegebenen Objekten verarbeitet; und ein Mengenbestimmungsmodul 126, das eine Mengenbestimmung des erfassten Objekts vornimmt, um eine Messung in Verbindung mit dem Objekt festzulegen. Es werden Ausführungsformen betrachtet, in denen diese Befehle in einem einzigen Modul oder in mehreren Modulen, die in verschiedenen Geräten verkörpert sind, gespeichert werden können. Die Module 116–126 werden später mit Verweis auf das beispielhafte Verfahren beschrieben.
Die in diesem Schriftstück verwendeten Software-Module sollen jede Sammlung oder Reihe von Befehlen umfassen, die von der Prozessverifizierungseinheit 102 oder einem anderen digitalen System ausgeführt werden können, um den Computer oder ein anderes digitales System entsprechend zu konfigurieren, damit die Aufgabe, die mit Hilfe der Software beabsichtigt ist, erfüllt werden kann. Der hier verwendete Begriff "Software" soll Befehle umfassen, die auf einem Speichermedium gespeichert sind, z. B. einem RAM, einer Festplatte, einer optischen Platte usw., und soll auch so genannte "Firmware" umfassen, d. h. Software, die in einem ROM usw. gespeichert ist. Eine derartige Software kann auf unterschiedliche Weise organisiert sein und Softwarekomponenten umfassen, die als Bibliotheken, internetgestützte Programme, die auf einem separaten Server gespeichert sind, usw., Quellcode, Interpretationscode, Objektcode, direkt ausführbaren Code, usw., organisiert sind. Es wird erwogen, dass die Software den Systemebenen-Code oder eine andere Software, die auf einem Server (nicht dargestellt) oder an einem anderen Ort verfügbar ist, aufrufen kann, um bestimmte Funktionen auszuführen. Alle verschiedenen Komponenten der Prozessverifizierungseinheit 102 können durch einen Bus 128 verbunden werden.
Immer noch unter Bezugnahme auf 2 umfasst die Prozessverifizierungseinheit 102 auch eine oder mehrere Kommunikationsschnittstelle(n) 130, z. B. Netzwerkschnittstellen, zur Kommunikation mit externen Geräten. Die Kommunikationsschnittstellen 130 können z. B. ein Modem, einen Router, ein Kabel und / oder einen Ethernet-Port usw. umfassen. Die Kommunikationsschnittstellen 130 sind dazu ausgelegt, die Videodaten 132 als Eingang zu empfangen.
Die Prozessverifizierungseinheit 102 kann eine oder mehrere spezielle oder allgemeine Computereinrichtungen umfassen, z. B. einen Server-Computer, ein Steuergerät oder eine sonstige Computereinrichtung, die Befehle zur Durchführung des Beispiel-Verfahrens ausführen kann.
Das Bilderfassungsgerät 106 kann eine Videokamera oder eine Standbildkamera umfassen. In der betrachteten Ausführungsform umfasst das Bilderfassungsgerät eine oder mehrere Überwachungskamera(s), die Videos ("Video-Kamera 106") vom Bereich von Interesse, wie z. B. einem Labor, aufzeichnet. Die Anzahl der Kameras kann je nach den Abmessungen des zu überwachenden Bereichs variieren. Es wird in Betracht gezogen, dass das kombinierte Sehfeld mehrerer Kameras typischerweise den gesamten Bereich im Umkreis des überwachten Bereichs umfasst. Die Video-Kamera 106 kann eine Vergrößerungsfunktion enthalten, um ausgewählte Abschnitte des Bereichs von Interesse zu vergrößern.
Erneut unter Bezugnahme auf 2 kann das System 100 ein Speichergerät 108 umfassen, das Bestandteil der Prozessverifizierungseinheit 102 ist oder mit ihr in Verbindung steht. In einer betrachteten Ausführungsform kann die Prozessverifizierungseinheit 102 in Verbindung mit einem Server (nicht abgebildet) stehen, der einen Prozessor und einen Speicher, z. B. ein Speichergerät 108 umfasst oder Zugriff auf ein Speichergerät 108 hat, um die erwarteten Aktionen und Abfolgen in Verbindung mit den Zielaktivitäten zu speichern.
Die Videodaten 132 unterliegen der Verarbeitung durch die Prozessverifizierungseinheit 102, um die Verifizierungsdaten (zum Beispiel die in die Videodaten eingebetteten quantitativen Daten, sowie Warnungen usw.) auszugeben 134. Ferner kann das System 100 die Ausgabe 134 in geeigneter Form über eine grafische Benutzerschnittstelle (GUI) 136 visualisieren. Die GUI 136 kann ein Display zur Anzeige der Informationen für die Benutzer umfassen, sowie ein Benutzer-Eingabegerät, z. B. eine Tastatur oder einen Touchscreen oder einen beschreibbaren Bildschirm, um den Empfang von Befehlen in Form von Eingaben zu ermöglichen, und / oder ein Cursorsteuergerät, z. B. eine Maus, ein Touchpad, einen Trackball usw. zur Übermittlung der Benutzereingabeinformationen und der Auswahl der Befehle an den Prozessor 112. Alternativ kann die Prozessverifizierungseinheit 102 die ausgegebenen Verifizierungsdaten dem Benutzergerät 104 zur weiteren Überprüfung durch den Benutzer zur Verfügung stellen.
3 zeigt ein detailliertes Ablaufdiagramm, das ein Verfahren 300 zur Validierung eines Arbeitsablaufs einer ausführenden Person beschreibt. Das Verfahren beginnt bei S302. Das Video-Puffermodul 118 übernimmt bei S304 die Videodaten vom Bilderfassungsgerät. Bei S306 verarbeitet das Aktionserkennungsmodul 120 die Schlüssel-Frames der Video-Daten, um die Aktion festzulegen, die von der ausführenden Person im Video-Stream ausgeführt wird. Um die Schlüssel-Frames zu identifizieren, kann in einer Ausführungsform eine von der überwachten ausführenden Person ausgeführte Geste, die vom System erkannt wird, signalisieren, welche Frames das System verarbeiten soll, indem eine bewusste Geste gemacht wird, die das System erkennen soll. Alternativ werden die Schlüssel-Frames über andere Cues identifiziert, z. B. über akustisches Feedback und Stimmerkennung. In einer weiteren Alternative werden die Schlüssel-Frames identifiziert über die Kommunikation zwischen z. B. einem GUI- wie z. B. durch eine Tastenbetätigung oder das Scannen eines Barcodes durch die ausführende Person- und der Prozessverifizierungseinheit 102. In anderen Ausführungsformen können die Schlüssel-Frames durch das Erscheinungsbild eines bestimmten Objekts über die Objekterfassung identifiziert werden. In weiteren Ausführungsformen können die Schlüssel-Frames durch eine Video-Analyse der Videodaten identifiziert werden, um ein unbewegliches Segment zu erfassen. In einer anderen Ausführungsform kennt das System die erwarteten Aktionen und sucht in den Video-Daten nach einer Aktion, die den erwarteten Aktionen entspricht, ohne von einer ausführenden Person dazu veranlasst zu werden.
Das Modul 120 bestimmt die Aktion, die in den Schlüssel-Frames der Video-Daten ausgeführt wird, indem es die Aktion lokalisiert. Ein derartiger Ansatz, der zur Erfassung und Klassifizierung von menschlichen Aktionen in Video-Daten dient, ist in der Offenlegung der ebenfalls anhängigen und gemeinsam zugewiesenen US-Seriennummer 14/596592 , eingereicht am 14. Januar 2015 unter dem Titel, “Adaptive Sampling For Efficient Analysis Of Egocentric Videos”, vonJayant Kumar, et al. vorgesehen. Dieser Ansatz erzeugt eine Abtastung von hoher Dichte in wichtigen (Teil-)Bereichen eines Videos und eine Abtastung von geringer Dichte in unwichtigen Bereichen. Adaptives Sampling bewirkt eine Abtastung in einem Teilbereich eines Frames über einen Zeitraum im Lauf der Zeit und erhält so ein Raum-Zeit-(ST)Patch oder einen Deskriptor vom Teilbereich.
Beim Versuch, festzustellen, ob eine Aktion ausgeführt ist, kann das Modul 120 den Video-Stream nach visuellen Darstellungen (d. h. den optischen Fluss) einer Aktion oder einer Objektbewegung absuchen, etc. Im Wesentlichen versucht das Modul 120, die Nähe der erwarteten Aktion zu erkennen. Im Allgemeinen extrahiert das Modul 120 einen reduzierten Satz von Merkmalen im Umfeld eines Bereichs von Interesse (oder ST-Patches) in einem Video-Frame bei S308. Die Art der vom Video extrahierten Merkmale ist unbegrenzt, aber nicht einschränkende Beispiele können SIFT-(skaleninvariante Merkmalstransformation) und HOG-(Histogramm der Gradientenausrichtung)Merkmale, sowie lokale binäre Muster (LBP), 3D-Versionen der genannten Merkmale, Raum-Zeit-Interessenpunkte (STIP), und Ähnliches enthalten. Der Bereich von Interesse kann den Standort eines Objekts umfassen (z. B. die Hand der ausführenden Person), dessen Erscheinen in einem Video-Frame erwartet wird.
Als bildliches Beispiel kann das adaptive Sampling in einem Teilbereich durchgeführt werden, der die Hand der ausführenden Person einschließt. Die Hand kann über einen Hand-Segmentierungsalgorithmus erfasst werden, der in der ebenfalls anhängigen Offenlegung erläutert ist. Ein oder mehrere Merkmal(e) können von ST-Patches extrahiert werden, die innerhalb der Teilbereiche identifiziert werden, die die Hand der ausführenden Person enthalten. Mit anderen Worten segmentiert dieser Ansatz eine Aktion durch Erkennen einer Handbewegung. Das Erkennen der Geste warnt das System, dass in den nachfolgenden Video-Frames eine Aktion folgen kann. Das System ist daher bestrebt, die Aktion mit einer bekannten Aktion abzugleichen. Daher wird bei S310 ein Aktions-Klassifikator auf das eine oder mehrere Merkmal(e) angewandt, um festzustellen, welche Aktion in einem oder mehreren Frame(s) geschieht, bei denen adaptives Sampling erfolgt.
Als Reaktion darauf, dass der Klassifikator eine Aktionsklasse ausgibt, ordnet das Modul 120 die Ausgabe der von der ausführenden Person durchgeführten Aktion zu. Mit anderen Worten ordnet das System die Aktion als einer erwarteten Aktion im überwachten Video-Stream entsprechend zu. Das System verifiziert die erkannte Aktion als in der überwachten Aktivität bei S312 von der ausführenden Person korrekt ausgeführt. Als Reaktion darauf, dass der Klassifikator einen niedrigen Einstufungs-Punktwert ausgibt, ordnet das Modul 120 den Ausgang als Hinweis darauf zu, dass in der überwachten Aktivität eine erwartete Aktion nicht vorhanden ist. Als Reaktion auf die Nichterfassung der Aktion im überwachten Video-Stream kann das System eine Warnung generieren, die bei S314 einen Fehler in der überwachten Aktivität anzeigt.
Weiterhin unter Bezugnahme auf 3 stellt das Aktionsmodul 120 die erfassten / erkannten Aktionen dem Aktivitätenerkennungsmodul 122 zur Verfügung, das eine Abfolge der Aktionen verwendet, um die Aktivität zu erkennen. Während einer Vorverarbeitungsphase erhält das Aktivitätenerkennungsmodul 122 Eingänge über die im Video-Stream erwartete auszuführende Zielaktivität. Diese Zielaktivität wird als für den Verifizierungsprozess verwendete Referenzaktivität behandelt. Das Modul 122 erfasst vom Speichergerät eine erwartete Aktionsabfolge in Verbindung mit der Zielaktivität. Mit anderen Worten bestimmt das Modul 122 die Abfolge von Schritten, die zur Erfassung vorhanden sein müssen, damit der Video-Stream verifizieren kann, dass die überwachte Aktivität konform ist bzw. korrekt ausgeführt wurde.
Das Aktivitätenerkennungsmodul 122 empfängt die erfassten / erkannten Aktionen vom Aktionserkennungsmodul 120. In einer Ausführungsform kann das Aktionserkennungsmodul 120 die Aktionen in Echtzeit an das Aktivitätenerkennungsmodul 120 übertragen, sowie eine Aktion erfasst ist. Das Aktivitätenerkennungsmodul 122 kann jede Aktion mit der erwarteten Abfolge vergleichen. In einer anderen Ausführungsform kann das Aktionserkennungsmodul 120 die Anzahl der erfassten Aktionen zusammen an das Aktivitätenerkennungsmodul 120 <sic> übertragen. Das Aktivitätenerkennungsmodul 122 ordnet die Aktionen in der Abfolge, in der sie in den Video-Daten erfasst wurden. Das Modul 120 vergleicht bei S316 die erfasste Aktionsabfolge mit der erwarteten Aktionsabfolge. Als Reaktion darauf, dass die festgestellte Aktionsabfolge mit der erwarteten Aktionsabfolge übereinstimmt, verifiziert das System die Aktivität als von der ausführenden Person bei S318 korrekt ausgeführt. Als Reaktion darauf, dass die festgestellte Aktionsabfolge nicht mit der erwarteten Abfolge übereinstimmt, kann das System eine Warnung generieren / auslösen, die bei S314 einen Fehler in der überwachten Aktivität anzeigt.
Auf ähnliche Weise kann das System als Reaktion darauf, dass eine erfasste Aktion einer erwarteten Aktion in der Abfolge entspricht, aber nicht dort, wo sie sich in der Abfolge befinden sollte (d. h. außerhalb der Reihenfolge), die Warnung generieren / auslösen, die einen Fehler in der überwachten Aktivität anzeigt. Wenn jedoch die Zielaktivität einen gewissen Spielraum in der Reihenfolge der Operationen zulässt, kann das Aktivitätserkennungsmodul 122 vom Speichergerät einen vorgegebenen Sequenzbereich empfangen, in dem die erwartete Aktion erscheinen sollte. Das Modul 122 kann eine Schwellenwert-Operation dazu durchführen, wo die erfasste Aktion in der Aktionsabfolge erkannt wurde, um festzustellen, ob die Aktion korrekt ausgeführt wurde oder nicht. Als Reaktion darauf, dass die erfasste Aktion in den vorgegebenen Sequenzbereich fällt, kann das System verifizieren, dass die Aktion korrekt ausgeführt wurde. Als Reaktion darauf, dass die erfasste Aktion nicht mit dem vorgegebenen Sequenzbereich übereinstimmt, kann das System eine Warnung generieren / auslösen, die einen Fehler in der überwachten Aktivität anzeigt.
In einer Ausführungsform kann die Warnung in Echtzeit erfolgen, z. B. als eine Nachricht an die GUI, eine akustische Meldung oder eine haptische Meldung. In einer anderen Ausführungsform kann die vom System generierte Warnung eine Mitteilung an das Benutzergerät 104 umfassen. In einer betrachteten Ausführungsform kann die Mitteilung vorschlagen und / oder anzeigen, dass ein bestimmter Schritt oder der Gesamtprozess eine genauere Überprüfung erhalten sollte. Um die genauere Überprüfung – infra besprochen – zu unterstützen, kann die Warnung von Informationen begleitet sein, die vom System in die Video-Daten eingebettet sind.
Unter weiterer Bezugnahme auf 3 und um diese Überprüfung oder weitere Verifizierung zu unterstützen, analysiert das System eine Darstellung oder Objekte, die aus den Video-Daten extrahiert sind. Bestimmte Objekte werden erwarteten Aktionen zugeordnet. Diese Objekte können Ausrüstungen umfassen, die die ausführende Person bei Durchführung der Aktion nutzt. In einem veranschaulichenden Beispiel, in dem eine ausführende Person (z. B. ein Labortechniker) Inhaltsstoffe abmisst oder mischt, kann das Objekt eine Spritze, eine Waage oder eine Phiole usw. umfassen. Als Reaktion auf die Erfassung der Aktion kann das System das Objekt analysieren oder einen Messwert ablesen, der das Objekt betrifft, um festzustellen, ob die Aktion korrekt erfolgte.
In diesem Schriftstück gibt es keine Einschränkung dafür, woraus das Objekt bestehen kann, aber die Offenlegung geht davon aus, dass ein erwarteter Messwert in bestimmten Phasen der Aktivität dem Objekt zugeordnet werden kann. Insbesondere das Speichergerät speichert vorgegebene Messdaten entsprechend dem Objekt und / oder der erwarteten Aktion. In einer Ausführungsform analysiert das Mengenbestimmungsmodul 126 ein Objekt in einem Feldbild, um eine dem Objekt zugeordnete Mengenbestimmung vorzunehmen. Wenn zum Beispiel die erwartete Aktion das Injizieren eines Inhaltsstoffs in eine Spritze einschloss und der Erkennungsprozess feststellte, dass die Aktion durchgeführt wurde, kann diese Offenlegung ferner verifizieren, ob die richtige Menge des Inhaltsstoffs in die Spritze injiziert wurde, indem die Mengenbestimmung mit einem vorgegebenen Messwert verglichen wird. 4A stellt ein veranschaulichendes Beispiel eines Objekts einschließlich einer Spritze 400 dar. Die Spritze besteht aus einem Kunststoffgehäuse / der Spritzenhülse 402, einem Kolbenstopfen 404 und einem Gummi-Kolbenstopfen / Verschluss 406.
Umfasst das Objekt eine Spritze oder eine derartige Vorrichtung/Ausrüstung, kann die Mengenbestimmung eine Flüssigkeitsfüllstandsmessung umfassen. Auf ähnliche Weise kann das System, wenn die erwartete Aktion das Füllen einer Phiole mit Kapseln einschließt und der Erkennungsprozess feststellte, dass die Aktion korrekt durchgeführt wurde, zudem verifizieren, dass tatsächlich die richtige Anzahl von Tabletten in die Phiole eingefüllt wurde. Unabhängig davon, ob die Aktion zum Füllen einer Flasche, eines Behälters oder einer Phiole dient, ist / sind das Objekt / die Objekte die Elemente zum Einbringen in die Phiole. 5 stellt Objekte einschließlich Tabletten dar.
Zuerst kann das Objekterfassungsmodul 124 einen Video-Frame auswählen, je nachdem, wann das Objekt innerhalb der Aktionssequenz erscheint. Dementsprechend erfasst das Objekterfassungsmodul 124 das Objekt bei S320. Das Objekt von Interesse kann in den relevanten Video-Frames mit jedem bekannten Computer-Vision-Algorithmus zur Objekterfassung und -lokalisierung erfasst werden. In einer Ausführungsform generiert das Modul 124 ein Binärabbild (oder ein Graustufenbild), um festzustellen, wo sich das Objekt im Bild-Frame befindet. 4B ist ein Binärabbild und zeigt die Spritze / das Objekt aus 4A getrennt vom erfassten Bild-Frame. Objektfarbe, -gestalt und -techniken wie z. B. Modelle von verformbaren Teilen, können das Objekt in einem Bild isolieren und den ausgefüllten oder nicht ausgefüllten Teil segmentieren. Wenn die Hintergrund-Szene komplexer wird und die Objekte unterschiedliche Formen aufweisen, können anspruchsvollere Verfahren angewandt werden.
Im veranschaulichten Beispiel wird die Spritze in einem relevanten Video-Frame erfasst, damit ein menschlicher Prüfer später die Flüssigkeitsmenge im Gehäuse 402 verifizieren kann. Das Mengenbestimmungsmodul 126 legt einen Messwert bei S322 in Verbindung mit dem Objekt / der Spritze fest. In einer Ausführungsform kann das Mengenbestimmungsmodul 126 die Position des Verschlusses identifizieren, indem es die Pixel des Binärabbilds summiert. Um diese Operation zu erleichtern, kann das Binärabbild horizontal oder vertikal gedreht werden. 4C zeigt das Binärabbild der Spritze von 4B in die Horizontale gedreht. 4D zeigt eine Pixel-Summation des gedrehten Binärabbilds, aufgezeichnet als Spaltenindex nach Pixelsumme. Das Mengenbestimmungsmodul 126 kann die Stellung des Verschlusses in der Darstellung identifizieren und damit die Flüssigkeitsmenge oder den Füllstand im Gehäuse 402 berechnen oder bestimmen. In einer Ausführungsform kann das Speichergerät eine LUT speichern, die die Verschlussposition dem Füllstand zuordnet, und das Modul 126 kann auf die LUT zugreifen, um die relative Position des Verschlusses in der Zeichnung in ein Flüssigkeitsvolumen in der Spritze ("Messwert") umzurechnen. Allerdings wird in diesem Schriftstück der Ansatz zur Berechnung des Füllstands der Flüssigkeit in keiner Weise eingeschränkt.
Wie supra erläutert, kann das System mittels Objekterfassungs- und Segmentierungstechniken die Messung einer kontinuierlichen Menge durchführen. Ähnliche Techniken kann das Mengenbestimmungsmodul 126 dazu verwenden, einen Messwert (d. h. eine Anzahl) für zählbare Mengen, wie z. B. Tabletten festzulegen (siehe 5). Mengen- und Messwerte können auch durch Ablesen von Zahlen von Instrumenten aufgezeichnet werden, z. B. durch OCR beim digitalen Auslesen einer Skala.
Zurück zu 3 kann das Mengenbestimmungsmodul 126 den Messwert bei S324 in den Video-Stream oder in den Bild-Frame als Metadaten einbetten. Ein Aspekt dieses Verfahrens besteht darin, dass die ausführende Person ihre Arbeit nicht unterbrechen muss, um den Wert manuell in einen Computer einzugeben. Mit anderen Worten: Das Mengenbestimmungsmerkmal bietet eine automatische Messwertbestimmung für eine spätere automatische oder manuelle Überprüfung, zum Beispiel wenn eine Warnung erscheint, nach der die Aktion genauer überprüft werden sollte. Als Reaktion auf den Eingang eines potenziellen oder der Anzeige eines potenziellen Fehlers in Verbindung mit dem Arbeitsablauf kann das System dem Benutzergerät die eingebetteten Video-Daten zur Verfügung stellen. In einer anderen Ausführungsform kann das System den eingebetteten Messwert aus den Video-Daten extrahieren, <die> den extrahierten Messwert dem Benutzergerät zur Verfügung stellen. In wieder einer anderen Ausführungsform kann das System den extrahierten Messewert mit einem vorgegebenen Wert vergleichen und, als Reaktion auf eine Differenz zwischen dem extrahierten Messwert und dem vorgegebenen Wert, die einen vorgegebenen Schwellenwert erreicht und überschreitet, eine Warnmeldung (und / oder die eingebetteten Video-Daten, Messwert, usw.) an das Benutzergerät ausgeben. In wieder einer anderen Ausführungsform kann das System als Reaktion auf die derzeit verifizierte Aktivität die eingebetteten Video-Daten dem Benutzergerät zur Verfügung stellen. Das Verfahren endet bei S326.
In bestimmten Anwendungen, in denen die Aktivität wiederholt von einer begrenzten Personenzahl in einem Rahmen der Überwachungstätigkeit durchgeführt wird, kann die Erkennung der Prozessablaufschritte vereinfacht werden, um einen Abgleich mit früheren, bestätigten aufgezeichneten Video(s) durchzuführen. In diesem Szenario können potenzielle Fehler erfasst und ein Grad der Abweichungen (Fehleramplituden) gemessen werden.
Obwohl das Kontrollverfahren vorstehend in Form einer Reihe von Handlungen oder Ereignissen veranschaulicht und beschrieben ist, versteht es sich, dass die verschiedenen Verfahren oder Prozesse dieser Offenlegung durch die veranschaulichte Ordnung derartiger Handlungen oder Ereignisse nicht beschränkt sind. In dieser Hinsicht – soweit nachstehend nicht ausdrücklich etwas anderes dargestellt ist – können einige Handlungen oder Ereignisse in einer abweichenden Reihenfolge und / oder zusammen mit anderen Handlungen oder Aktionen – zusätzlich zu den in diesem Schriftstück veranschaulichten und beschriebenen – entsprechend dieser Offenlegung auftreten. Es ist weiterhin anzumerken, dass eventuell nicht alle veranschaulichten Schritte erforderlich sind, um einem Prozess oder ein Verfahren entsprechend dieser Offenlegung zu implementieren; auch können eine oder mehrere dieser Handlungen kombiniert werden. Die veranschaulichten Verfahren und weitere Verfahren der Offenlegung können in Hardware, Software oder in Kombinationen davon implementiert werden, um die in diesem Schriftstück beschriebene Kontrollfunktionalität zu ermöglichen, und können in irgendeinem System, u. a. im vorstehend veranschaulichten System 100 angewandt werden, wobei die Offenlegung nicht auf die in diesem Schriftstück veranschaulichten und beschriebenen spezifischen Anwendungen und Ausführungsformen beschränkt ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14/596592 [0039]

Claims

Computer-Vision-gestütztes Verfahren zur Validierung eines Arbeitsablaufs einer ausführenden Person, wobei das Verfahren Folgendes umfasst: Festlegung einer erwarteten Aktionsabfolge in Verbindung mit einer Zielaktivität; Eingang eines Video-Streams von einem Bilderfassungsgerät, das eine Aktivität überwacht, die von einer zugeordneten ausführenden Person durchgeführt wird; Festlegung eines externen Cue im Video-Stream; Verbindung mit einem Frame, der den externen Cue als ersten Frame in einer Schlüsselbildabfolge erfasst; Festlegung einer Aktion, die von der zugeordneten ausführenden Person in einer Schlüsselbildabfolge ausgeführt wird; als Reaktion auf die Festlegung der Aktion in der Schlüsselbildabfolge, die einer erwarteten Aktion in der Zielaktivität entspricht, Verifizierung der Aktion als derzeit in der überwachten Aktivität ausgeführt; und als Reaktion auf die nicht erfolgte Festlegung der Aktion in der Schlüsselbildabfolge, Generierung einer Warnung, die einen Fehler in der überwachten Aktivität anzeigt.
Verfahren nach Anspruch 1, wobei der externe Cue aus einer Gruppe ausgewählt wird, bestehend aus: dem Erscheinungsbild eines bestimmten Objekts über die Objekterfassung; Video-Analyse zur Erfassung eines unbewegten Segments; überwachte Geste der ausführenden Person; akustisches Feedback; Stimmerkennung; Eingabe an einer GUI durch die zugeordnete ausführende Person; und Kombination der vorgenannten Elemente.
Verfahren nach Anspruch 1, das des Weiteren Folgendes umfasst: Suche nach einem Objekt im Video-Stream; Durchführung einer Quantifizierung über das Objekt, um einen Messwert in Verbindung mit dem Objekt festzulegen; Einbettung des Messwerts in den Video-Stream in Form von Metadaten.
Verfahren nach Anspruch 3, wobei die Quantifizierung Folgendes umfasst: Generierung eines Binärabbilds vom Objekt, das sich in einem Bild-Frame befindet; und Summierung der Pixel im Binärabbild, um den Messwert zu berechnen.
Verfahren nach Anspruch 3, wobei das Verfahren als Reaktion auf einen mit dem Arbeitsablauf verbundenen Fehler Folgendes umfasst: Extraktion des eingebetteten Messwerts aus dem Video-Stream; Vergleich des extrahierten Messwerts mit einem vorgegebenen Wert; und Generierung einer Warnung als Reaktion auf eine Differenz zwischen dem extrahierten Wert und dem vorgegebenen Wert, die einen vorgegebenen Schwellenwert erreicht und überschreitet.
System zur Validierung eines Arbeitsablaufs einer ausführenden Person, wobei das System eine Computereinrichtung einschließlich eines Speichers in Verbindung mit einem Prozessor umfasst, ausgelegt für: Festlegung einer erwarteten Aktionsabfolge in Verbindung mit einer Zielaktivität; Eingang eines Video-Streams von einem Bilderfassungsgerät, das eine Aktivität überwacht, die von einer zugeordneten ausführenden Person durchgeführt wird; Festlegung eines externen Cue im Video-Stream; Verbindung mit einem Frame, der den externen Cue als ersten Frame in einer Schlüsselbildabfolge erfasst; Festlegung einer Aktion, die von der zugeordneten ausführenden Person in einer Schlüsselbildabfolge ausgeführt wird; als Reaktion auf die Festlegung der Aktion in der Schlüsselbildabfolge, die einer erwarteten Aktion in der Zielaktivität entspricht, Verifizierung der Aktion als derzeit in der überwachten Aktivität ausgeführt; und als Reaktion auf die nicht erfolgte Festlegung der Aktion in der Schlüsselbildabfolge, Generierung einer Warnung, die einen Fehler in der überwachten Aktivität anzeigt.
Verfahren nach Anspruch 6, wobei der externe Cue aus einer Gruppe ausgewählt wird, bestehend aus: dem Erscheinungsbild eines bestimmten Objekts über die Objekterfassung; Video-Analyse zur Erfassung eines unbewegten Segments; überwachte Geste der ausführenden Person; akustisches Feedback; Stimmerkennung; Eingabe an einer GUI durch die zugeordnete ausführende Person; und Kombination der vorgenannten Elemente.
System nach Anspruch 6, wobei der Prozessor weiterhin ausgelegt ist für Folgendes: Suche nach einem Objekt im Video-Stream; Durchführung einer Quantifizierung über das Objekt, um einen dem Objekt zugeordneten Messwert festzulegen; und Einbettung des Messwerts in den Video-Stream in Form von Metadaten.
System nach Anspruch 8, wobei der Prozessor weiterhin ausgelegt ist für Folgendes: Generierung eines Binärabbilds vom Objekt, das sich in einem Bild-Frame befindet; und Summierung der Pixel im Binärabbild, um den Messwert zu berechnen.
Computer-Vision-gestütztes Verfahren zur Validierung eines Arbeitsablaufs einer ausführenden Person, wobei das Verfahren Folgendes umfasst: Festlegung einer erwarteten Aktionsabfolge in Verbindung mit einer Zielaktivität; Eingang eines Video-Streams von einem Bilderfassungsgerät, das eine Aktivität überwacht, die von einer zugeordneten ausführenden Person durchgeführt wird; Festlegung einer Aktion, die von der zugeordneten Person im überwachten Video-Stream ausgeführt wird; als Reaktion auf die Festlegung der Aktion, die einer erwarteten Aktion im überwachten Video-Stream entspricht, Verifizierung der Aktion, wie sie in der überwachten Aktivität ausgeführt wird; und als Reaktion auf die nicht erfolgte Festlegung der Aktion im überwachten Video-Stream, Generierung einer Warnung, die einen Fehler in der überwachten Aktivität anzeigt.