-
Die Erfindung beschäftigt sich mit einem Verfahren zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems, einer Anomaliedetektionsvorrichtung, einem Verfahren zum Trainieren der Anomaliedetektionsvorrichtung, einer Trainingsvorrichtung, einem Computerprogramm und einem Speichermedium.
-
Stand der Technik
-
Die nicht vorveröffentlichte
DE 10 2020 208 642.7 offenbart ein Verfahren und einer Vorrichtung zur Detektion von Anomalien in technischen Systemen.
-
Vorteile der Erfindung
-
Technische Systeme können zur Wahrnehmung von physikalische Umgebungszustandsgrößen der Umwelt oder Betriebszustandsgrößen des technischen Systems Sensoren verwenden, die entsprechende Sensoraufzeichnungen an das technische System übermitteln. Ein Sensor kann jedoch fehlerhafte Signale übermitteln, zum Beispiel, wenn er defekt ist. Um dieses Problem abzumildern können redundante Sensoren vorzugsweise gleichen Typs verwendet werden.
-
Es ist wünschenswert, die Sensoraufzeichnungen mehrerer Sensoren zu überwachen, um feststellen zu können, ob die Sensoraufzeichnungen anomales Verhalten aufweisen und falls ja, welcher Sensor bzw. welche Sensoren für das anomale Verhalten verantwortlich sind.
-
Das Verfahren mit Merkmalen des unabhängigen Anspruchs 1 ermöglicht die Erkennung von Anomalien in Sensoraufzeichnungen einer Mehrzahl von Sensoraufzeichnungen. Falls ein Sensor an Hand seines ausgegebenen Signals als anomal erkannt werden kann, hat dies den Vorteil, dass er automatisch einer Überprüfung unterzogen oder ausgetauscht werden kann. Alternativ oder zusätzlich ist vorstellbar, dass das technische System während des Betriebs vorteilhafterweise eine als anomal detektiertes Sensoraufzeichnung kurzfristig oder permanent für den weiteren Betrieb nicht mehr berücksichtigt. Dies ermöglicht eine korrekte Funktionsweise des technischen Systems auch unter Vorliegen eines defekten oder unverlässlichen Sensors bzw. einer falschen oder anomalen Sensoraufzeichnung.
-
Offenbarung der Erfindung
-
In einem ersten Aspekt beschäftigt sich die Erfindung mit einem computerimplementierten Verfahren zum Detektieren von Anomalien in einer Mehrzahl von Sensoraufzeichnungen eines technischen Systems umfassend die Schritte:
- • Ermitteln eines ersten Anomaliewertes, der bezüglich aller Sensoraufzeichnungen charakterisiert, ob eine Anomalie vorliegt oder nicht;
- • Ermitteln einer Mehrzahl von zweiten Anomaliewerten, wobei ein zweiter Anomaliewert aus der Mehrzahl von zweiten Anomaliewerten mit einer Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen korrespondiert und bezüglich der Sensoraufzeichnung charakterisiert, ob in anderen Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen eine Anomalie vorliegt oder nicht;
- • Detektieren einer Anomalie in einer Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen falls der erste Anomaliewert das Vorliegen einer Anomalie charakterisiert und der mit der Sensoraufzeichnung korrespondierende zweite Anomaliewert keine Anomalie charakterisiert und sich der zweite Anomaliewert über ein vordefiniertes Maß hinaus von anderen zweiten Anomaliewerten der Mehrzahl von zweiten Anomaliewerten unterscheidet.
-
Eine Sensoraufzeichnung kann als Ergebnis einer Messung einer physikalischen Umgebungsbedingung oder einer physikalischen Betriebsbedingung des technischen Systems mittels eines entsprechend geeigneten Sensors verstanden werden. Vorzugsweise wird die Mehrzahl von Sensoraufzeichnungen während des Betriebs des technischen Systems und zum selben Zeitpunkt aufgenommen.
-
Im Kontext der Erfindung kann in einer Sensoraufzeichnung eine Anomalie vorliegen oder eine Sensoraufzeichnung als anomal verstanden werden, falls ein Auftreten der Sensoraufzeichnung in Bezug zu anderen Messungen des zur Sensoraufzeichnung korrespondierenden Sensors unwahrscheinlich ist. Beispielswiese können Sensoraufzeichnungen Werte umfassen, die im Betrieb des technischen Systems in typische Wertebereiche fallen. Dass ein Wert außerhalb eines für den Wert typischen Wertebereichs liegt, kann als unwahrscheinlich oder anomal verstanden werden. Eine Sensoraufzeichnung könnte in diesem Fall als anomal verstanden werden, wenn zumindest ein Wert, den die Sensoraufzeichnung umfasst, außerhalb eines für den Wert typischen Wertebereichs liegt.
-
Das Verfahren kann so verstanden werden, dass zunächst für die Mehrzahl von Sensoraufzeichnungen mittels des ersten Anomaliewertes ermittelt wird, ob eine Anomalie bezüglich der Mehrzahl von Sensoraufzeichnungen vorliegt oder nicht. Für den Fall, dass eine Anomalie vorliegt, kann über die Mehrzahl von zweiten Anomaliewerte ermittelt werden, welche Sensoraufzeichnung für das anomale Verhalten verantwortlich ist. Vorzugsweise wird das Verfahren während des Betriebs des technischen Systems angewendet, um so Anomalien während des Betriebs des technischen Systems detektieren zu können.
-
Die Mehrzahl von Sensoraufzeichnungen kann vorzugsweise von einer Mehrzahl von Sensoren erfasst werden und dem technischen System bereitgestellt werden. Als Sensoren können sowohl solche verwendet werden, die im technischen System verbaut sind als auch solche, die nicht im technischen System verbaut sind, zum Beispiel Sensoren, die das technische System von außen beobachten können.
-
Vorzugsweise kann der erste Anomaliewert eine Wahrscheinlichkeit oder ein Wahrscheinlichkeitsdichtewert sein. In diesem Fall kann eine Anomalie in der Mehrzahl von Sensoraufzeichnungen vorliegen, falls der erste Anomaliewert unterhalb eines vordefinierten ersten Schwellenwerts liegt.
-
Ferner kann vorzugsweise ein zweiter Anomaliewert eine Wahrscheinlichkeit oder ein Wahrscheinlichkeitsdichtewert sein. In diesem Fall kann die zum zweiten Anomaliewert korrespondierende Sensoraufzeichnung als anomal verstanden werden, falls der zweite Anomaliewert unterhalb eines vordefinierten zweiten Schwellenwertes liegt. Auch ist vorstellbar, dass der zweite Schwellenwert der erste Schwellenwert ist.
-
Weiterhin ist denkbar, dass der erste Anomaliewert mittels eines ersten Anomaliedetektionsmodells auf Basis der Mehrzahl von Sensoraufzeichnungen ermittelt wird. Der erste Anomaliewert kann vom ersten Anomaliedetektionsmodell vorzugsweise mittels eines Verfahrens des maschinellen Lernens ermittelt werden. Der Vorteil der Verwendung des Verfahrens des maschinellen Lernens ist, dass hierdurch der erste Anomaliewert genauer ermitteln wird als beispielsweise bei der Ermittlung des ersten Wertes mittels eines regelbasierten Verfahrens. Hierdurch erhöht sich die Genauigkeit, mit der das Verfahren Anomalien im technischen System detektieren kann.
-
Insbesondere kann das Verfahren des maschinellen Lernens ein Normalisierender Fluss, Normalizing Flow, sein. In diesem Fall kann der Normalizing Flow derart ausgebildet sein, dass er die Mehrzahl von Sensoraufzeichnungen als Eingabe entgegennimmt und eine Ausgabe ermittelt, wobei die Ausgabe oder Teile davon als erster Anomaliewert zur Verfügung gestellt wird bzw. werden. Der Vorteil des Normalizing Flow für diesen Zweck ist, dass der Normalizing Flow eine sehr genaue Wahrscheinlichkeit oder einen sehr genauen Wahrscheinlichkeitsdichtewert bezüglich des Auftretens der Mehrzahl von Sensoraufzeichnungen ermitteln kann, was zu einer genaueren Detektion von Anomalien führt.
-
Es ist weiterhin vorstellbar, dass zum Ermitteln der Mehrzahl von zweiten Anomaliewerten für jede Sensoraufzeichnung ein korrespondierendes zweites Anomaliedetektionsmodell existiert, welches mit der entsprechenden Sensoraufzeichnung korrespondiert und ausgebildet ist, den zur Sensoraufzeichnung korrespondierenden zweiten Anomaliewert zu ermitteln. Das zweite Anomaliedetektionsmodell ist dabei vorzugsweise derart ausgebildet, dass es den zweiten Anomaliewert auf Basis der nicht mit dem zweiten Anomaliedetektionsmodell korrespondierenden Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen ermittelt. Der zweiten Anomaliewert kann vom zweiten Anomaliedetektionsmodell vorzugsweise mittels eines Verfahrens des maschinellen Lernens ermittelt werden. Der Vorteil der Verwendung des Verfahrens des maschinellen Lernens ist, dass hierdurch der zweite Anomaliewert genauer ermitteln wird als beispielsweise mittels eines regelbasierten Verfahrens. Hierdurch erhöht sich die Genauigkeit, mit der das Verfahren Anomalien im technischen System detektieren kann.
-
Insbesondere kann das Verfahren des maschinellen Lernens ein Normalizing Flow sein. In diesem Fall kann der Normalizing Flow derart ausgebildet sein, dass er die Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen bis auf die korrespondierende Sensoraufzeichnung als Eingabe entgegennimmt und eine Ausgabe ermittelt, wobei die Ausgabe oder Teile davon als zweiter Anomaliewert zur Verfügung gestellt wird bzw. werden. Der Vorteil des Normalizing Flow für diesen Zweck ist, dass der Normalizing Flow eine sehr genaue Wahrscheinlichkeit oder einen sehr genauen Wahrscheinlichkeitsdichtewert bezüglich des Auftretens aller Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen bis auf die korrespondierende Sensoraufzeichnung ermitteln kann, was zu einer genaueren Detektion von Anomalien führt.
-
In einem weiteren Aspekt beschäftigt sich die Erfindung mit einem computerimplementierten Verfahren zum Trainieren der Anomaliedetektionsvorrichtung, wobei das Verfahren die folgenden Schritte umfasst:
- • Bereitstellen einer Mehrzahl von Sensoraufzeichnungen des technischen Systems oder eines baugleichen technischen Systems oder eines ähnlichen technischen Systems;
- • Trainieren des ersten Anomaliedetektionsmodells basierend auf der Mehrzahl von Sensoraufzeichnungen;
- • Trainieren der Mehrzahl von zweiten Anomaliedetektionsmodellen, wobei jeweils ein zweites Anomaliedetektionsmodell für eine Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen basierend auf den anderen Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen trainiert wird.
-
Im Schritt des Bereitstellens werden die Sensoraufzeichnungen der Mehrzahl der Sensoraufzeichnungen vorzugsweise von einer Mehrzahl von verschiedenen Sensoren gleichen Typs zum selben Zeitpunkt bereitgestellt. Die einzelnen Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen können daher als jeweilige Messung zum selben Zeitpunkt verstanden werden.
-
Die Mehrzahl von Sensoraufzeichnungen kann daher als ein Trainingsdatum für das Verfahren verstanden werden. Vorzugsweise werden zum Training eine Mehrzahl von Trainingsdaten bereitgestellt und das erste Anomaliedetektionsmodell und/oder ein zweites Anomaliedetektionsmodell auf Basis der Mehrzahl von Trainingsdaten trainiert.
-
Im Schritt des Trainierens des ersten Anomaliedetektionsmodells kann das erste Anomaliedetektionsmodell vorzugsweise derart trainiert werden, dass es den Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen einen Wert zuweist, der eine Wahrscheinlichkeit oder einen Wahrscheinlichkeitsdichtewert bezüglich des Auftretens der Mehrzahl von Sensoraufzeichnungen charakterisiert. Zu diesem Zweck kann das erste Anomaliedetektionsmodell mit einem Trainingsverfahren des maschinellen Lernens trainiert werden, zum Beispiel mit einem Verfahren, dass eine vom ersten Anomaliedetektionsmodell ermittelte logarithmierte Mutmaßlichkeit, log-likelihood, der Trainingsdaten verbessert, zum Beispiel mit einem stochastisches Gradientenabstiegsverfahren, Stochastic Gradient Descent.
-
Im Schritt des Trainierens der Mehrzahl von zweiten Anomaliedetektionsmodellen kann ein zweites Anomaliedetektionsmodell als mit einer Sensoraufzeichnung korrespondierend verstanden werden. Das zweite Anomaliedetektionsmodell kann vorzugsweise derart trainiert werden, dass es den anderen Sensoraufzeichnungen eines Trainingsdatums, also den Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen ohne die korrespondierende Sensoraufzeichnung, einen Wert zuweist, der eine Wahrscheinlichkeit oder einen Wahrscheinlichkeitsdichtewert bezüglich eines Auftretens der anderen Sensoraufzeichnungen charakterisiert. Zu diesem Zweck kann das zweite Anomaliedetektionsmodell mit einem Verfahren des maschinellen Lernens trainiert werden, vorzugsweise mit einem Verfahren, dass eine vom zweiten Anomaliedetektionsmodell ermittelte loglikehood der anderen Sensoraufzeichnungen in den Trainingsdaten verbessert, zum Beispiel mit Stochastic Gradient Descent.
-
Weiterhin ist denkbar, dass die Mehrzahl von Sensoraufzeichnungen von einem zweiten technischen System bereitgestellt wird, welches baugleich zum technischen Systems ist oder zumindest ähnlich ist, zum Beispiel, wenn es baugleiche Sensoren verwendet oder umfasst. Zum Beispiel kann das technische System eine spezifische Art von Maschine sein, von der eine Mehrzahl von Exemplaren hergestellt wird. In diesem Fall ist denkbar, dass zumindest eines dieser Exemplare zum Aufzeichnen der Mehrzahl von Sensoraufzeichnungen verwendet wird und die Mehrzahl von Sensoraufzeichnungen dann zum Training der Anomaliedetektionsvorrichtung verwendet wird, die zur Anomaliedetektion für zumindest ein anderes Exemplar der Mehrzahl von Exemplaren verwendet wird.
-
Weiterhin ist denkbar, dass während des Entwicklungsprozesses des technischen Systems Sensoraufzeichnung von Prototypen des technischen Systems ermittelt werden. Die Prototypen können im Sinne der Erfindung als dem technischen System ähnlich verstanden werden und die so ermittelten Sensoraufzeichnung zum Trainings des technischen Systems verwendet werden.
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
- 1 schematisch einen Aufbau einer Anomaliedetektionsvorrichtung;
- 2 schematisch einen Aufbau eines Steuerungssystems zur Ansteuerung eines Aktors unter Verwendung der Anomaliedetektionsvorrichtung;
- 3 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
- 4 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
- 5 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
- 6 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
- 7 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
- 8 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
- 9 schematisch einen Aufbau einer Trainingsvorrichtung zum Training der Anomaliedetektionsvorrichtung.
-
Beschreibung der Ausführungsbeispiele
-
1 zeigt eine Anomaliedetektionsvorrichtung (70) zur Detektion von Anomalien in einer von drei Sensoraufzeichnungen (xa, xb, xc). Die Anomaliedetektionsvorrichtung (70) empfängt ein erstes Eingangssignal (x70) umfassend die drei Sensoraufzeichnungen. Das erste Eingangssignal (x70) wird einem ersten Anomaliedetektionsmodell (72) zugeführt, wobei das erste Anomaliedetektionsmodell ausgebildet ist, einen ersten Wahrscheinlichkeitsdichtewert zu ermitteln, der charakterisiert, wie wahrscheinlich das gemeinsame Auftreten der drei Sensoraufzeichnungen (xa, xb, xc) ist. Das erste Anomaliedetektionsmodell (72) ist im Ausführungsbeispiel ein Normalizing Flow.
-
Das erste Anomaliedetektionsmodell ermittelt auf Basis des ersten Eingangssignals (x70) einen ersten Wahrscheinlichkeitsdichtewert, welcher an eine erste Vergleichseinheit (74) weitergeleitet wird. Die erste Vergleichseinheit (74) vergleicht den ersten Wahrscheinlichkeitsdichtewert mit einem ersten Schwellenwert (Tu). Für den Fall, dass der erste Wahrscheinlichkeitsdichtewert größer oder gleich dem ersten Schwellenwert (Tu) ist, übermittelt die erste Vergleichseinheit (74) einen ersten Entscheidungswert an eine Entscheidungseinheit (76), welcher charakterisiert, dass keine Anomalie im Eingangssignal (x70), also in einer Kombination der drei Sensoraufzeichnungen (xa, xb, xc) vorliegt. Andernfalls wählt die erste Vergleichseinheit (74) den ersten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der Kombination der drei Sensoraufzeichnungen (xa, xb, xc) charakterisiert. Optional kann die erste Vergleichseinheit (74) auch dem vom ersten Anomaliedetektionsmodell (72) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
-
Des Weiteren wird das Eingangssignal (x70) einer Teilungseinheit (71) zugeführt, welche aus dem Eingangssignal (x70) die jeweiligen Sensoraufzeichnungen (xa, xb, xc) ermittelt. Anschließend werden die jeweiligen Sensoraufzeichnungen (xa, xb, xc) jeweils einem von drei zweiten Anomaliedetektionsmodellen (73a, 73b, 73c) zugeführt. Die zweite Sensoraufzeichnung (xb) und dritte Sensoraufzeichnung (xc) werden dem ersten der drei zweiten Anomaliedetektionsmodelle (73a) zugeführt, die erste Sensoraufzeichnung (xa) und die dritte Sensoraufzeichnung (xc) werden dem zweiten der drei zweiten Anomaliedetektionsmodelle (73b) zugeführt und die erste Sensoraufzeichnung (xa) und die zweite Sensoraufzeichnung (xb) werden dem dritten der drei zweiten Anomaliedetektionsmodelle (73c) zugeführt. Jedes der zweiten Anomaliedetektionsmodelle (73a, 73b, 73c) ermittelt für die dem jeweiligen Anomaliedetektionsmodell zugeführten Sensoraufzeichnungen (xa, xb, xc) einen Wahrscheinlichkeitsdichtewert, der charakterisiert, wie Wahrscheinlich das Auftreten der zugeführten Sensoraufzeichnungen (xa, xb, xc) ist.
-
Das erste der drei zweiten Anomaliedetektionsmodelle (73a) übergibt den zur zweiten Sensoraufzeichnung (xb) und dritten Sensoraufzeichnung (xc) ermittelten Wahrscheinlichkeitsdichtewert an eine zweite Vergleichseinheit (75a), die ermittelt, ob der vom ersten der drei zweiten Anomaliedetektionsmodelle (73a) ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich einem zweiten Schwellenwert (Ta) ist oder nicht. Ist der ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich dem zweiten Schwellenwert (Ta), übermittelt die zweite Vergleichseinheit (75a) einen zweiten Entscheidungswert an die Entscheidungseinheit (76), der charakterisiert, dass keine Anomalie in der zweiten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) vorliegt. Andernfalls wählt die zweite Vergleichseinheit (75a) den zweiten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der zweiten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) charakterisiert. Optional kann die zweite Vergleichseinheit (75a) auch den vom ersten der drei zweiten Anomaliedetektionsmodell (73a) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
-
Das zweite der drei zweiten Anomaliedetektionsmodelle (73b) übergibt den zur ersten Sensoraufzeichnung (xa) und dritten Sensoraufzeichnung (xc) ermittelten Wahrscheinlichkeitsdichtewert an eine dritte Vergleichseinheit (75b), die ermittelt, ob der vom zweiten der drei zweiten Anomaliedetektionsmodelle (73b) ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich einem dritten Schwellenwert (Tb) ist oder nicht. Ist der ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich dem dritten Schwellenwert (Tb), übermittelt die dritte Vergleichseinheit (75b) einen dritten Entscheidungswert an die Entscheidungseinheit (76), der charakterisiert, dass keine Anomalie in der ersten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) vorliegt. Andernfalls wählt die dritte Vergleichseinheit (75b) den dritten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der ersten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) charakterisiert. Optional kann die dritte Vergleichseinheit (75b) auch den vom zweiten der drei zweiten Anomaliedetektionsmodell (73b) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
-
Das dritte der drei zweiten Anomaliedetektionsmodelle (73c) übergibt den zur ersten Sensoraufzeichnung (xa) und zweiten Sensoraufzeichnung (xb) ermittelten Wahrscheinlichkeitsdichtewert an eine vierte Vergleichseinheit (75c), die ermittelt, ob der vom dritten der drei zweiten Anomaliedetektionsmodelle (73c) ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich einem vierten Schwellenwert (Tc) ist oder nicht. Ist der ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich dem vierten Schwellenwert (Tc), übermittelt die vierte Vergleichseinheit (75c) einen vierten Entscheidungswert an die Entscheidungseinheit (76), der charakterisiert, dass keine Anomalie in der ersten Sensoraufzeichnung (xa) und/oder zweiten Sensoraufzeichnung (xb) vorliegt. Andernfalls wählt die vierte Vergleichseinheit (75c) den vierten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der ersten Sensoraufzeichnung (xa) und/oder zweiten Sensoraufzeichnung (xb) charakterisiert. Optional kann die vierte Vergleichseinheit (75c) auch den vom dritten der drei zweiten Anomaliedetektionsmodelle (73a) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
-
Die drei zweiten Anomaliedetektionsmodelle (73a, 73b, 73c) sind im Ausführungsbeispiel jeweils ein Normalizing Flow.
-
Die Entscheidungseinheit (76) bestimmt auf Basis der übermittelten Entscheidungswerte ob eine Anomalie vorliegt und falls ja in welcher der Sensoraufzeichnungen (xa, xb, xc) die Anomalie vorliegt. Optional kann die Entscheidungseinheit (76) dies auch zusätzlich auf Basis der übermittelten Wahrscheinlichkeitsdichtewerte bestimmen. Falls der erste Entscheidungswert die Abwesenheit einer Anomalie charakterisiert, gibt die Anomaliedetektionsvorrichtung (70) eine Anomaliedetektionsausgabe (y70) aus, welche charakterisiert, dass keine Anomalie vorliegt. Falls der erste Entscheidungswert das Vorliegen einer Anomalie charakterisiert, ermittelt die Entscheidungseinheit zumindest einen Entscheidungswert aus der Menge des zweiten Entscheidungswerts, dritten Entscheidungswerts und vierten Entscheidungswerts, der die Abwesenheit einer Anomalie charakterisiert. Die Anomaliedetektionsausgabe (y70) wird in diesem Fall von der Entscheidungseinheit (76) derart gewählt, dass es ein Vorliegen einer Anomalie in der Sensoraufzeichnung (xa, xb, xc) charakterisiert, welche nicht zur Ermittlung des ermittelten Entscheidungswertes verwendet wurde.
-
Optional kann auch mehr als eine Sensoraufzeichnung (xa, xb, xc) als anomal von der Anomaliedetektionsausgabe (y70) charakterisiert werden. Optional kann weiterhin eine Sensoraufzeichnung (xa, xb, xc) nur dann als anomal von der Anomaliedetektionsausgabe (y70) charakterisiert werden, wenn der vom zur Sensoraufzeichnung (xa, xb, xc) korrespondierenden zweiten Anomaliedetektionsmodell (73a, 73b, 73c) ermittelte Wahrscheinlichkeitsdichtewert die von den anderen zweiten Anomaliedetektionsmodellen (73a, 73b, 73c) ermitteln Wahrscheinlichkeitsdichtewerte um ein vordefiniertes Maß übersteigt.
-
Die Einschränkung auf drei Sensoraufzeichnung ist in diesem Ausführungsbeispiel beispielhaft gewählt. Mutatis mutandis kann die Anomaliedetektionsvorrichtung (70) auch für eine andere Mehrzahl von Sensoraufzeichnungen im Eingangssignal (x70) verwendet werden.
-
2 zeigt einen Aktor (10) in seiner Umgebung (20) in Interaktion mit einem Steuerungssystem (40). In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung (20) in mehreren Sensoren (30) erfasst. Die Sensoren (30) umfassen bildgebende Sensoren, wie etwa Kameras. Wahlweise können die Sensoren (30) auch Sensoren anderen Typs umfassen, beispielsweise solche, die physikalischen Umgebungsbedingungen oder Betriebsbedingungen des Steuerungssystems (40) messen können.
-
Die Signale der Sensoren (S) werden an das Steuerungssystem (40) übermittelt. Das Steuerungssystem (40) empfängt somit eine Folge von Sensoraufzeichnungen (S). Das Steuerungssystem (40) ermittelt hieraus Ansteuersignale (A), welche an den Aktor (10) übertragen werden.
-
Das Steuerungssystem (40) empfängt die Folge von Sensoraufzeichnungen (S) des Sensors (30) in einer optionalen Empfangseinheit (50), die die Folge von Sensoraufzeichnungen (S) in eine Folge von Eingangsbildern (x60) umwandelt. Ein Eingangsbild (x60) kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung einer Sensoraufzeichnung einer Kamera sein, welche in den Sensoraufzeichnungen (S) enthalten ist. Das Eingangsbild (x60) umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird das Eingangsbild (x60) abhängig von der Sensoraufzeichnung (S) ermittelt. Die Folge von Eingangsbildern (x60) wird einem Bildklassifikator (60), im Ausführungsbeispiel ein neuronales Netz, zugeführt.
-
Das Steuerungssystem (40) umfasst die Anomaliedetektionsvorrichtung (70). Diese ist in diesem Ausführungsbeispiel eingerichtet, Anomalien in den Sensoraufzeichnungen (S) der bildgebenden Sensoren (30) zu ermitteln. In weiteren Ausführungsbeispielen ist vorstellbar, dass die Anomaliedetektionsvorrichtung (70) eingerichtet ist, Anomalien in Sensoraufzeichnungen (S) der Sensoren anderen Typs zu detektieren. Die Folge von Sensoraufzeichnungen (S) wird von der Empfangseinheit (50) in eine Folge von Eingangssignalen (x70) für die Anomaliedetektionsvorrichtung umgewandelt. Falls die Anomaliedetektionsvorrichtung eingerichtet ist, Anomalien in Sensoraufzeichnungen bildgebender Sensoren zu ermitteln, können die Eingangssignale (x70) wahlweise auch das Eingangsbild (x60) umfassen.
-
Der Bildklassifikator (60) wird vorzugsweise parametriert durch erste Parameter (ϕ1), die in einem Parameterspeicher (P) hinterlegt sind und von diesem bereitgestellt werden. Die Anomaliedetektionsvorrichtung (70) wird vorzugsweise parametriert durch zweite Parameter (ϕ2), die ebenfalls im Parameterspeicher hinterlegt sind und von diesem bereitgestellt werden.
-
Der Bildklassifikator (60) ermittelt aus den Eingangsbildern (x60) Ausgangsgrößen (y60), die ein Klassifikation der Eingabebilder (x60) charakterisieren. Die Anomaliedetektionsvorrichtung (70) ermittelt aus den Eingangssignalen (x70) eine Anomaliedetektionsausgabe (y70).
-
Die Ausgangsgrößen (y60) und die Anomaliedetektionsausgabe (y70) werden einer Umformeinheit (80) zugeführt, die hieraus Ansteuersignale (A) ermittelt, welche dem Aktor (10) zugeführt werden, um den Aktor (10) entsprechend anzusteuern. Eine Ausgangsgröße (y60) umfasst Informationen über Objekte, die auf einem entsprechenden Eingangsbild (x60) zu erkennen sind.
-
Der Aktor (10) empfängt die Ansteuersignale (A), wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor (10) kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal (A) ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor (10) angesteuert wird.
-
Falls die Anomaliedetektionsausgabe (y70) das Vorliegen einer Anomalie charakterisiert, kann das Ansteuersignal (A) derart gewählt werden, dass die möglichen Aktionen des Aktors (10) eingeschränkt werden. Falls keine Anomalie vorliegt, ist denkbar, dass die möglichen Aktionen nicht auf Grund einer Anomalie eingeschränkt werden, sondern auf Basis der durch den Bildklassifikator (60) ermittelten Umgebung (20) des Steuerungssystems (40). Des Weiteren ist vorstellbar, dass im Falle des Vorliegens einer Anomalie zumindest Teile der Sensoraufzeichnungen (S) an einen Hersteller oder Betreiber des Steuerungssystems (40) übermittelt werden.
-
Alternativ oder zusätzlich ist möglich, dass die Anomaliedetektionsausgabe (y70) auch an die Empfangseinheit (50) übermittelt wird. Die Empfangseinheit kann dann beispielsweise für den Fall, dass eine Anomalie in der Sensoraufzeichnung (S) vorliegt, aus dem das Eingabebild (x60) ermittelt wird, eine andere Sensoraufzeichnung zur Ermittlung des Eingabebildes (x60) auswählen.
-
In weiteren Ausführungsformen umfasst das Steuerungssystem (40) die Sensoren (30). In noch weiteren Ausführungsformen umfasst das Steuerungssystem (40) alternativ oder zusätzlich auch den Aktor (10).
-
In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem (40) zumindest einen Prozessor (45) und wenigstens ein maschinenlesbares Speichermedium (46), auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren (45) ausgeführt werden, das Steuerungssystem (40) veranlassen, das erfindungsgemäße Verfahren auszuführen.
-
In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor (10) eine Anzeigeeinheit (10a) vorgesehen. Im Falle des Vorliegens einer Anomalie kann die Anzeigeeinheit (10a) beispielsweise derart angesteuert werden, dass das Vorliegen einem Benutzer oder Betreiber des Steuerungssystems angezeigt wird.
-
3 zeigt, wie das Steuerungssystem (40) zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs (100), eingesetzt werden kann.
-
Bei den Sensoren (30) kann es sich beispielsweise um eine vorzugsweise im Kraftfahrzeug (100) angeordnete Mehrzahl von Videosensor handeln. Die Empfangseinheit (50) kann dann zumindest eine Sensoraufzeichnung (S) der Videosensoren als Eingabebilde (x60) an den Bildklassifikator (60) weiterleiten.
-
Der Bildklassifikator (60) ist eingerichtet, aus den Eingangsbildern (x60) Objekte zu identifizieren.
-
Bei dem vorzugsweise im Kraftfahrzeug (100) angeordneten Aktor (10) kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs (100) handeln. Das Ansteuersignal (A) kann dann derart ermittelt werden, dass der Aktor oder die Aktoren (10) derart angesteuert wird, dass das Kraftfahrzeug (100) beispielsweise eine Kollision mit den vom Bildklassifikator (60) identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
-
Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal (A) derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom künstlichen neuronalen Netz (60) identifizierten Objekten verhindert.
-
Alternativ oder zusätzlich kann mit dem Ansteuersignal (A) die Anzeigeeinheit (10a) angesteuert werden, und beispielsweise die ermittelten sicheren Bereiche dargestellt werden. Auch ist es beispielsweise beim einem Kraftfahrzeug (100) mit nicht automatisierter Lenkung möglich, dass die Anzeigeeinheit (10a) mit dem Ansteuersignal (A) derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug (100) droht, mit einem der sicher identifizierten Objekte zu kollidieren.
-
4 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem (40) zur Ansteuerung einer Fertigungsmaschine (11) eines Fertigungssystems (200) verwendet wird, indem ein diese Fertigungsmaschine (11) steuernder Aktor (10) angesteuert wird. Bei der Fertigungsmaschine (11) kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln.
-
Die Sensoren (30) können beispielsweise einen bildgebenden Sensor umfassen, der z.B. Eigenschaften von Fertigungserzeugnissen (12a, 12b) erfasst. Es ist möglich, dass diese Fertigungserzeugnisse (12a, 12b) beweglich sind. Es ist möglich, dass der die Fertigungsmaschine (11) steuernde Aktor (10) abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse (12a, 12b) angesteuert wird, damit die Fertigungsmaschine (11) entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen Fertigungserzeugnisses (12a, 12b) ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse (12a, 12b) (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine (11) entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
-
Des Weiteren kann die Fertigungsmaschine (11) Sensoren (30) umfassen, die physikalische Umgebungsbedingungen oder Betriebszustände der Fertigungsmaschine (11) messen können. Die Sensoraufzeichnungen (S) dieser Sensoren (30) können der Anomaliedetektionsvorrichtung (70) zugeführt werden, um zu bestimmen, ob die Fertigungsmaschine (11) unter normalen Umgebungsbedingungen und in einem normalen Betriebszustand arbeitet. Falls von der Anomaliedetektionsvorrichtung (70) eine Anomalie detektiert wird, kann der Betrieb der Fertigungsmaschine (11) beispielsweise gestoppt werden oder eine automatische eine Wartung veranlasst werden.
-
5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines Zugangssystems (300) eingesetzt wird. Das Zugangssystem (300) kann eine physische Zugangskontrolle, beispielsweise eine Tür (401) umfassen. Bei den Sensoren (30) kann es sich zum Beispiel um Videosensoren handeln, die eingerichtet sind, Personen vor dem Zugangssystem (300) zu erfassen. Mittels des Bildklassifikators (60) können die erfassten Eingabebilder (x60) interpretiert werden. Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktor (10) kann ein Schloss sein, dass abhängig vom Ansteuersignal (A) die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür (401) öffnet, oder nicht. Hierzu kann das Ansteuersignal (A) abhängig von der der Interpretation des Objektidentifikationssystems (60) gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
-
Die Bilder der Sensoren (30) können der Anomaliedetektionsvorrichtung (70) als Eingabesignale (x70) zugeführt werden. Falls die Anomaliedetektionsvorrichtung (70) eine Anomalie detektiert kann zumindest temporär der Zugang blockiert werden und/oder eine Untersuchung durch ein Wachpersonal automatisch veranlasst werden.
-
6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines Überwachungssystems (400) verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors (10) die Anzeigeeinheit (10a) vorgesehen ist, die vom Steuerungssystem (40) angesteuert wird. Beispielsweise kann vom künstlichen neuronalen Netz (60) zuverlässig eine Identität der von den Sensoren (30) aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal (A) dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit (10a) farblich hervorgehoben dargestellt wird.
-
7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines persönlichen Assistenten (250) eingesetzt wird. Die Sensoren (30) sind bevorzugt Videosensoren, die Bilder einer Geste eines Nutzers (249) empfangen.
-
Abhängig von den Sensoraufzeichnungen (S) des Sensors (30) ermittelt das Steuerungssystem (40) ein Ansteuersignal (A) des persönlichen Assistenten (250), beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten (250) wird dann dieses ermittelte Ansteuersignal (A) übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal (A) ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer (249) entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom künstlichen neuronalen Netz (60) erkannten Geste ermittelt werden. Das Steuerungssystem (40) kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten (250) wählen und/oder das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung (250) wählen.
-
Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent (250) Informationen aus einer Datenbank abruft und sie für den Nutzer (249) rezipierbar wiedergibt.
-
Anstelle des persönlichen Assistenten (250) kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
-
8 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines medizinischen bildgebenden Systems (500), beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Die Sensoren (30) können beispielsweise durch bildgebende Sensor gegeben sein, durch das Steuerungssystem (40) wird die Anzeigeeinheit (10a) angesteuert. Beispielsweise kann vom Bildklassifikator (60) ermittelt werden, ob ein vom zumindest einem bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal (A) dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit (10a) farblich hervorgehoben dargestellt wird.
-
Die Bilder der Sensoren (30) werden als Eingabesignale (x70) an die Anomaliedetektionsvorrichtung (70) übermittelt. Für den Fall, dass eine Anomalie detektiert wird, kann dies zum Beispiel auf der Anzeigeeinheit (10a) dargestellt werden und/oder eine Wartung des Systems (500) automatisch veranlasst werden.
-
9 zeigt ein Ausführungsbeispiel eines Trainingssystems (140) welches ausgebildet ist den Anomaliedetektor (70) zu trainieren. Zum Training greift eine Trainingsdateneinheit (150) auf eine computerimplementierte Datenbank (St2) zu, wobei die Datenbank (St2) zumindest einen Trainingsdatensatz (T) umfasst, wobei der Trainingsdatensatz (T) jeweils Tupel (xi) von Sensoraufzeichnungen umfasst.
-
Die Trainingsdateneinheit (150) ermittelt zumindest ein Tupel (xi) von Sensoraufzeichnungen des Trainingsdatensatzes (T) und übermittelt das Tupel (xi) an die Anomaliedetektionsvorrichtung (70). Die Anomaliedetektionsvorrichtung (70) bestimmt mittels des ersten Anomaliedetektionsmodells und der Mehrzahl von zweiten Anomaliedetektionsmodellen einen ersten Anomaliewert bzw. eine Mehrzahl von zweiten Anomaliewerten.
-
Der erste Anomaliewert und die Mehrzahl von zweiten Anomaliewerten werden als Ausgabe (ŷi) an eine Veränderungseinheit (180) übermittelt.
-
Basierend auf der ermittelten Ausgabe (ŷi) und einer gewünschten Ausgabe (yi) von einem gewünschtem ersten Anomaliewert und einer Mehrzahl von gewünschten zweiten Anomaliewerten werden dann von der Veränderungseinheit (180) neue Modellparameter (Φ') für das erste Anomaliedetektionsmodell und/oder die Mehrzahl der zweiten Anomaliedetektionsmodelle bestimmt. Im Ausführungsbeispiel ist denkbar, dass die Anomaliedetektionsmodelle jeweils ein Normalizing Flow sind. In diesem Fall kann die Veränderungseinheit (180) die neuen Modellparameter (Φ') mittels eines Gradientenabstiegsverfahren, wie etwa Stochastic Gradient Descent oder Adam, ermitteln.
-
Die ermittelten neuen Modellparameter (Φ') werden in einem Modellparameterspeicher (St1) gespeichert.
-
In weiteren Ausführungsbeispielen wird das beschriebene Training iterativ für eine vordefinierte Anzahl an Iterationsschritten wiederholt oder iterativ wiederholt, bis eine Differenz zwischen ermittelter Ausgabe (ŷi) und gewünschter Ausgabe (yi) einen vordefinierten Schwellenwert unterschreitet. In mindestens einer der Iterationen werden die in einer vorherigen Iteration bestimmten neuen Modellparameter (Φ') als Modellparameter (Φ) der Anomaliedetektionsvorrichtung verwendet.
-
Des Weiteren kann das Trainingssystem (140) mindestens einen Prozessor (145) und mindestens ein maschinenlesbares Speichermedium (146) umfassen, welches Befehle enthält, welche, wenn sie durch den Prozessor (145) ausgeführt werden, das Trainingssystem (140) veranlassen, ein Trainingsverfahren nach einem der Aspekte der Erfindung auszuführen.
-
Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-