DE102020209163A1 - Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems - Google Patents

Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems Download PDF

Info

Publication number
DE102020209163A1
DE102020209163A1 DE102020209163.3A DE102020209163A DE102020209163A1 DE 102020209163 A1 DE102020209163 A1 DE 102020209163A1 DE 102020209163 A DE102020209163 A DE 102020209163A DE 102020209163 A1 DE102020209163 A1 DE 102020209163A1
Authority
DE
Germany
Prior art keywords
anomaly
sensor
value
anomaly detection
recordings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020209163.3A
Other languages
English (en)
Inventor
Christoph-Nikolas Straehle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020209163.3A priority Critical patent/DE102020209163A1/de
Priority to US17/379,241 priority patent/US11867593B2/en
Priority to CN202110818762.2A priority patent/CN114036995A/zh
Publication of DE102020209163A1 publication Critical patent/DE102020209163A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • G01M99/005Testing of complete machines, e.g. washing-machines or mobile phones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Computerimplementiertes Verfahren zum Detektieren von Anomalien in einer Mehrzahl (x70) von Sensoraufzeichnungen eines technischen Systems (100, 200, 250, 300, 400, 500) umfassend die Schritte:
• Ermitteln eines ersten Anomaliewertes, der bezüglich aller Sensoraufzeichnungen (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen charakterisiert, ob eine Anomalie vorliegt oder nicht;
• Ermitteln einer Mehrzahl von zweiten Anomaliewerten, wobei ein zweiter Anomaliewert aus der Mehrzahl von zweiten Anomaliewerten mit einer Sensoraufzeichnung (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen (xa, xb, xc) korrespondiert und bezüglich der Sensoraufzeichnung (xa, xb, xc) charakterisiert, ob in anderen Sensoraufzeichnungen (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen eine Anomalie vorliegt oder nicht;
• Detektieren einer Anomalie in einer Sensoraufzeichnung (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen (xa, xb, xc), falls der erste Anomaliewert das Vorliegen einer Anomalie charakterisiert und der mit der Sensoraufzeichnung (xa, xb, xc) korrespondierende zweite Anomaliewert keine Anomalie charakterisiert und sich der zweite Anomaliewert über ein vordefiniertes Maß hinaus von anderen zweiten Anomaliewerten der Mehrzahl von zweiten Anomaliewerten unterscheidet.

Description

  • Die Erfindung beschäftigt sich mit einem Verfahren zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems, einer Anomaliedetektionsvorrichtung, einem Verfahren zum Trainieren der Anomaliedetektionsvorrichtung, einer Trainingsvorrichtung, einem Computerprogramm und einem Speichermedium.
  • Stand der Technik
  • Die nicht vorveröffentlichte DE 10 2020 208 642.7 offenbart ein Verfahren und einer Vorrichtung zur Detektion von Anomalien in technischen Systemen.
  • Vorteile der Erfindung
  • Technische Systeme können zur Wahrnehmung von physikalische Umgebungszustandsgrößen der Umwelt oder Betriebszustandsgrößen des technischen Systems Sensoren verwenden, die entsprechende Sensoraufzeichnungen an das technische System übermitteln. Ein Sensor kann jedoch fehlerhafte Signale übermitteln, zum Beispiel, wenn er defekt ist. Um dieses Problem abzumildern können redundante Sensoren vorzugsweise gleichen Typs verwendet werden.
  • Es ist wünschenswert, die Sensoraufzeichnungen mehrerer Sensoren zu überwachen, um feststellen zu können, ob die Sensoraufzeichnungen anomales Verhalten aufweisen und falls ja, welcher Sensor bzw. welche Sensoren für das anomale Verhalten verantwortlich sind.
  • Das Verfahren mit Merkmalen des unabhängigen Anspruchs 1 ermöglicht die Erkennung von Anomalien in Sensoraufzeichnungen einer Mehrzahl von Sensoraufzeichnungen. Falls ein Sensor an Hand seines ausgegebenen Signals als anomal erkannt werden kann, hat dies den Vorteil, dass er automatisch einer Überprüfung unterzogen oder ausgetauscht werden kann. Alternativ oder zusätzlich ist vorstellbar, dass das technische System während des Betriebs vorteilhafterweise eine als anomal detektiertes Sensoraufzeichnung kurzfristig oder permanent für den weiteren Betrieb nicht mehr berücksichtigt. Dies ermöglicht eine korrekte Funktionsweise des technischen Systems auch unter Vorliegen eines defekten oder unverlässlichen Sensors bzw. einer falschen oder anomalen Sensoraufzeichnung.
  • Offenbarung der Erfindung
  • In einem ersten Aspekt beschäftigt sich die Erfindung mit einem computerimplementierten Verfahren zum Detektieren von Anomalien in einer Mehrzahl von Sensoraufzeichnungen eines technischen Systems umfassend die Schritte:
    • • Ermitteln eines ersten Anomaliewertes, der bezüglich aller Sensoraufzeichnungen charakterisiert, ob eine Anomalie vorliegt oder nicht;
    • • Ermitteln einer Mehrzahl von zweiten Anomaliewerten, wobei ein zweiter Anomaliewert aus der Mehrzahl von zweiten Anomaliewerten mit einer Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen korrespondiert und bezüglich der Sensoraufzeichnung charakterisiert, ob in anderen Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen eine Anomalie vorliegt oder nicht;
    • • Detektieren einer Anomalie in einer Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen falls der erste Anomaliewert das Vorliegen einer Anomalie charakterisiert und der mit der Sensoraufzeichnung korrespondierende zweite Anomaliewert keine Anomalie charakterisiert und sich der zweite Anomaliewert über ein vordefiniertes Maß hinaus von anderen zweiten Anomaliewerten der Mehrzahl von zweiten Anomaliewerten unterscheidet.
  • Eine Sensoraufzeichnung kann als Ergebnis einer Messung einer physikalischen Umgebungsbedingung oder einer physikalischen Betriebsbedingung des technischen Systems mittels eines entsprechend geeigneten Sensors verstanden werden. Vorzugsweise wird die Mehrzahl von Sensoraufzeichnungen während des Betriebs des technischen Systems und zum selben Zeitpunkt aufgenommen.
  • Im Kontext der Erfindung kann in einer Sensoraufzeichnung eine Anomalie vorliegen oder eine Sensoraufzeichnung als anomal verstanden werden, falls ein Auftreten der Sensoraufzeichnung in Bezug zu anderen Messungen des zur Sensoraufzeichnung korrespondierenden Sensors unwahrscheinlich ist. Beispielswiese können Sensoraufzeichnungen Werte umfassen, die im Betrieb des technischen Systems in typische Wertebereiche fallen. Dass ein Wert außerhalb eines für den Wert typischen Wertebereichs liegt, kann als unwahrscheinlich oder anomal verstanden werden. Eine Sensoraufzeichnung könnte in diesem Fall als anomal verstanden werden, wenn zumindest ein Wert, den die Sensoraufzeichnung umfasst, außerhalb eines für den Wert typischen Wertebereichs liegt.
  • Das Verfahren kann so verstanden werden, dass zunächst für die Mehrzahl von Sensoraufzeichnungen mittels des ersten Anomaliewertes ermittelt wird, ob eine Anomalie bezüglich der Mehrzahl von Sensoraufzeichnungen vorliegt oder nicht. Für den Fall, dass eine Anomalie vorliegt, kann über die Mehrzahl von zweiten Anomaliewerte ermittelt werden, welche Sensoraufzeichnung für das anomale Verhalten verantwortlich ist. Vorzugsweise wird das Verfahren während des Betriebs des technischen Systems angewendet, um so Anomalien während des Betriebs des technischen Systems detektieren zu können.
  • Die Mehrzahl von Sensoraufzeichnungen kann vorzugsweise von einer Mehrzahl von Sensoren erfasst werden und dem technischen System bereitgestellt werden. Als Sensoren können sowohl solche verwendet werden, die im technischen System verbaut sind als auch solche, die nicht im technischen System verbaut sind, zum Beispiel Sensoren, die das technische System von außen beobachten können.
  • Vorzugsweise kann der erste Anomaliewert eine Wahrscheinlichkeit oder ein Wahrscheinlichkeitsdichtewert sein. In diesem Fall kann eine Anomalie in der Mehrzahl von Sensoraufzeichnungen vorliegen, falls der erste Anomaliewert unterhalb eines vordefinierten ersten Schwellenwerts liegt.
  • Ferner kann vorzugsweise ein zweiter Anomaliewert eine Wahrscheinlichkeit oder ein Wahrscheinlichkeitsdichtewert sein. In diesem Fall kann die zum zweiten Anomaliewert korrespondierende Sensoraufzeichnung als anomal verstanden werden, falls der zweite Anomaliewert unterhalb eines vordefinierten zweiten Schwellenwertes liegt. Auch ist vorstellbar, dass der zweite Schwellenwert der erste Schwellenwert ist.
  • Weiterhin ist denkbar, dass der erste Anomaliewert mittels eines ersten Anomaliedetektionsmodells auf Basis der Mehrzahl von Sensoraufzeichnungen ermittelt wird. Der erste Anomaliewert kann vom ersten Anomaliedetektionsmodell vorzugsweise mittels eines Verfahrens des maschinellen Lernens ermittelt werden. Der Vorteil der Verwendung des Verfahrens des maschinellen Lernens ist, dass hierdurch der erste Anomaliewert genauer ermitteln wird als beispielsweise bei der Ermittlung des ersten Wertes mittels eines regelbasierten Verfahrens. Hierdurch erhöht sich die Genauigkeit, mit der das Verfahren Anomalien im technischen System detektieren kann.
  • Insbesondere kann das Verfahren des maschinellen Lernens ein Normalisierender Fluss, Normalizing Flow, sein. In diesem Fall kann der Normalizing Flow derart ausgebildet sein, dass er die Mehrzahl von Sensoraufzeichnungen als Eingabe entgegennimmt und eine Ausgabe ermittelt, wobei die Ausgabe oder Teile davon als erster Anomaliewert zur Verfügung gestellt wird bzw. werden. Der Vorteil des Normalizing Flow für diesen Zweck ist, dass der Normalizing Flow eine sehr genaue Wahrscheinlichkeit oder einen sehr genauen Wahrscheinlichkeitsdichtewert bezüglich des Auftretens der Mehrzahl von Sensoraufzeichnungen ermitteln kann, was zu einer genaueren Detektion von Anomalien führt.
  • Es ist weiterhin vorstellbar, dass zum Ermitteln der Mehrzahl von zweiten Anomaliewerten für jede Sensoraufzeichnung ein korrespondierendes zweites Anomaliedetektionsmodell existiert, welches mit der entsprechenden Sensoraufzeichnung korrespondiert und ausgebildet ist, den zur Sensoraufzeichnung korrespondierenden zweiten Anomaliewert zu ermitteln. Das zweite Anomaliedetektionsmodell ist dabei vorzugsweise derart ausgebildet, dass es den zweiten Anomaliewert auf Basis der nicht mit dem zweiten Anomaliedetektionsmodell korrespondierenden Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen ermittelt. Der zweiten Anomaliewert kann vom zweiten Anomaliedetektionsmodell vorzugsweise mittels eines Verfahrens des maschinellen Lernens ermittelt werden. Der Vorteil der Verwendung des Verfahrens des maschinellen Lernens ist, dass hierdurch der zweite Anomaliewert genauer ermitteln wird als beispielsweise mittels eines regelbasierten Verfahrens. Hierdurch erhöht sich die Genauigkeit, mit der das Verfahren Anomalien im technischen System detektieren kann.
  • Insbesondere kann das Verfahren des maschinellen Lernens ein Normalizing Flow sein. In diesem Fall kann der Normalizing Flow derart ausgebildet sein, dass er die Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen bis auf die korrespondierende Sensoraufzeichnung als Eingabe entgegennimmt und eine Ausgabe ermittelt, wobei die Ausgabe oder Teile davon als zweiter Anomaliewert zur Verfügung gestellt wird bzw. werden. Der Vorteil des Normalizing Flow für diesen Zweck ist, dass der Normalizing Flow eine sehr genaue Wahrscheinlichkeit oder einen sehr genauen Wahrscheinlichkeitsdichtewert bezüglich des Auftretens aller Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen bis auf die korrespondierende Sensoraufzeichnung ermitteln kann, was zu einer genaueren Detektion von Anomalien führt.
  • In einem weiteren Aspekt beschäftigt sich die Erfindung mit einem computerimplementierten Verfahren zum Trainieren der Anomaliedetektionsvorrichtung, wobei das Verfahren die folgenden Schritte umfasst:
    • • Bereitstellen einer Mehrzahl von Sensoraufzeichnungen des technischen Systems oder eines baugleichen technischen Systems oder eines ähnlichen technischen Systems;
    • • Trainieren des ersten Anomaliedetektionsmodells basierend auf der Mehrzahl von Sensoraufzeichnungen;
    • • Trainieren der Mehrzahl von zweiten Anomaliedetektionsmodellen, wobei jeweils ein zweites Anomaliedetektionsmodell für eine Sensoraufzeichnung der Mehrzahl von Sensoraufzeichnungen basierend auf den anderen Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen trainiert wird.
  • Im Schritt des Bereitstellens werden die Sensoraufzeichnungen der Mehrzahl der Sensoraufzeichnungen vorzugsweise von einer Mehrzahl von verschiedenen Sensoren gleichen Typs zum selben Zeitpunkt bereitgestellt. Die einzelnen Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen können daher als jeweilige Messung zum selben Zeitpunkt verstanden werden.
  • Die Mehrzahl von Sensoraufzeichnungen kann daher als ein Trainingsdatum für das Verfahren verstanden werden. Vorzugsweise werden zum Training eine Mehrzahl von Trainingsdaten bereitgestellt und das erste Anomaliedetektionsmodell und/oder ein zweites Anomaliedetektionsmodell auf Basis der Mehrzahl von Trainingsdaten trainiert.
  • Im Schritt des Trainierens des ersten Anomaliedetektionsmodells kann das erste Anomaliedetektionsmodell vorzugsweise derart trainiert werden, dass es den Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen einen Wert zuweist, der eine Wahrscheinlichkeit oder einen Wahrscheinlichkeitsdichtewert bezüglich des Auftretens der Mehrzahl von Sensoraufzeichnungen charakterisiert. Zu diesem Zweck kann das erste Anomaliedetektionsmodell mit einem Trainingsverfahren des maschinellen Lernens trainiert werden, zum Beispiel mit einem Verfahren, dass eine vom ersten Anomaliedetektionsmodell ermittelte logarithmierte Mutmaßlichkeit, log-likelihood, der Trainingsdaten verbessert, zum Beispiel mit einem stochastisches Gradientenabstiegsverfahren, Stochastic Gradient Descent.
  • Im Schritt des Trainierens der Mehrzahl von zweiten Anomaliedetektionsmodellen kann ein zweites Anomaliedetektionsmodell als mit einer Sensoraufzeichnung korrespondierend verstanden werden. Das zweite Anomaliedetektionsmodell kann vorzugsweise derart trainiert werden, dass es den anderen Sensoraufzeichnungen eines Trainingsdatums, also den Sensoraufzeichnungen der Mehrzahl von Sensoraufzeichnungen ohne die korrespondierende Sensoraufzeichnung, einen Wert zuweist, der eine Wahrscheinlichkeit oder einen Wahrscheinlichkeitsdichtewert bezüglich eines Auftretens der anderen Sensoraufzeichnungen charakterisiert. Zu diesem Zweck kann das zweite Anomaliedetektionsmodell mit einem Verfahren des maschinellen Lernens trainiert werden, vorzugsweise mit einem Verfahren, dass eine vom zweiten Anomaliedetektionsmodell ermittelte loglikehood der anderen Sensoraufzeichnungen in den Trainingsdaten verbessert, zum Beispiel mit Stochastic Gradient Descent.
  • Weiterhin ist denkbar, dass die Mehrzahl von Sensoraufzeichnungen von einem zweiten technischen System bereitgestellt wird, welches baugleich zum technischen Systems ist oder zumindest ähnlich ist, zum Beispiel, wenn es baugleiche Sensoren verwendet oder umfasst. Zum Beispiel kann das technische System eine spezifische Art von Maschine sein, von der eine Mehrzahl von Exemplaren hergestellt wird. In diesem Fall ist denkbar, dass zumindest eines dieser Exemplare zum Aufzeichnen der Mehrzahl von Sensoraufzeichnungen verwendet wird und die Mehrzahl von Sensoraufzeichnungen dann zum Training der Anomaliedetektionsvorrichtung verwendet wird, die zur Anomaliedetektion für zumindest ein anderes Exemplar der Mehrzahl von Exemplaren verwendet wird.
  • Weiterhin ist denkbar, dass während des Entwicklungsprozesses des technischen Systems Sensoraufzeichnung von Prototypen des technischen Systems ermittelt werden. Die Prototypen können im Sinne der Erfindung als dem technischen System ähnlich verstanden werden und die so ermittelten Sensoraufzeichnung zum Trainings des technischen Systems verwendet werden.
  • Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
    • 1 schematisch einen Aufbau einer Anomaliedetektionsvorrichtung;
    • 2 schematisch einen Aufbau eines Steuerungssystems zur Ansteuerung eines Aktors unter Verwendung der Anomaliedetektionsvorrichtung;
    • 3 schematisch ein Ausführungsbeispiel zur Steuerung eines wenigstens teilautonomen Roboters;
    • 4 schematisch ein Ausführungsbeispiel zur Steuerung eines Fertigungssystems;
    • 5 schematisch ein Ausführungsbeispiel zur Steuerung eines Zugangssystems;
    • 6 schematisch ein Ausführungsbeispiel zur Steuerung eines Überwachungssystems;
    • 7 schematisch ein Ausführungsbeispiel zur Steuerung eines persönlichen Assistenten;
    • 8 schematisch ein Ausführungsbeispiel zur Steuerung eines medizinisch bildgebenden Systems;
    • 9 schematisch einen Aufbau einer Trainingsvorrichtung zum Training der Anomaliedetektionsvorrichtung.
  • Beschreibung der Ausführungsbeispiele
  • 1 zeigt eine Anomaliedetektionsvorrichtung (70) zur Detektion von Anomalien in einer von drei Sensoraufzeichnungen (xa, xb, xc). Die Anomaliedetektionsvorrichtung (70) empfängt ein erstes Eingangssignal (x70) umfassend die drei Sensoraufzeichnungen. Das erste Eingangssignal (x70) wird einem ersten Anomaliedetektionsmodell (72) zugeführt, wobei das erste Anomaliedetektionsmodell ausgebildet ist, einen ersten Wahrscheinlichkeitsdichtewert zu ermitteln, der charakterisiert, wie wahrscheinlich das gemeinsame Auftreten der drei Sensoraufzeichnungen (xa, xb, xc) ist. Das erste Anomaliedetektionsmodell (72) ist im Ausführungsbeispiel ein Normalizing Flow.
  • Das erste Anomaliedetektionsmodell ermittelt auf Basis des ersten Eingangssignals (x70) einen ersten Wahrscheinlichkeitsdichtewert, welcher an eine erste Vergleichseinheit (74) weitergeleitet wird. Die erste Vergleichseinheit (74) vergleicht den ersten Wahrscheinlichkeitsdichtewert mit einem ersten Schwellenwert (Tu). Für den Fall, dass der erste Wahrscheinlichkeitsdichtewert größer oder gleich dem ersten Schwellenwert (Tu) ist, übermittelt die erste Vergleichseinheit (74) einen ersten Entscheidungswert an eine Entscheidungseinheit (76), welcher charakterisiert, dass keine Anomalie im Eingangssignal (x70), also in einer Kombination der drei Sensoraufzeichnungen (xa, xb, xc) vorliegt. Andernfalls wählt die erste Vergleichseinheit (74) den ersten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der Kombination der drei Sensoraufzeichnungen (xa, xb, xc) charakterisiert. Optional kann die erste Vergleichseinheit (74) auch dem vom ersten Anomaliedetektionsmodell (72) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
  • Des Weiteren wird das Eingangssignal (x70) einer Teilungseinheit (71) zugeführt, welche aus dem Eingangssignal (x70) die jeweiligen Sensoraufzeichnungen (xa, xb, xc) ermittelt. Anschließend werden die jeweiligen Sensoraufzeichnungen (xa, xb, xc) jeweils einem von drei zweiten Anomaliedetektionsmodellen (73a, 73b, 73c) zugeführt. Die zweite Sensoraufzeichnung (xb) und dritte Sensoraufzeichnung (xc) werden dem ersten der drei zweiten Anomaliedetektionsmodelle (73a) zugeführt, die erste Sensoraufzeichnung (xa) und die dritte Sensoraufzeichnung (xc) werden dem zweiten der drei zweiten Anomaliedetektionsmodelle (73b) zugeführt und die erste Sensoraufzeichnung (xa) und die zweite Sensoraufzeichnung (xb) werden dem dritten der drei zweiten Anomaliedetektionsmodelle (73c) zugeführt. Jedes der zweiten Anomaliedetektionsmodelle (73a, 73b, 73c) ermittelt für die dem jeweiligen Anomaliedetektionsmodell zugeführten Sensoraufzeichnungen (xa, xb, xc) einen Wahrscheinlichkeitsdichtewert, der charakterisiert, wie Wahrscheinlich das Auftreten der zugeführten Sensoraufzeichnungen (xa, xb, xc) ist.
  • Das erste der drei zweiten Anomaliedetektionsmodelle (73a) übergibt den zur zweiten Sensoraufzeichnung (xb) und dritten Sensoraufzeichnung (xc) ermittelten Wahrscheinlichkeitsdichtewert an eine zweite Vergleichseinheit (75a), die ermittelt, ob der vom ersten der drei zweiten Anomaliedetektionsmodelle (73a) ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich einem zweiten Schwellenwert (Ta) ist oder nicht. Ist der ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich dem zweiten Schwellenwert (Ta), übermittelt die zweite Vergleichseinheit (75a) einen zweiten Entscheidungswert an die Entscheidungseinheit (76), der charakterisiert, dass keine Anomalie in der zweiten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) vorliegt. Andernfalls wählt die zweite Vergleichseinheit (75a) den zweiten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der zweiten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) charakterisiert. Optional kann die zweite Vergleichseinheit (75a) auch den vom ersten der drei zweiten Anomaliedetektionsmodell (73a) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
  • Das zweite der drei zweiten Anomaliedetektionsmodelle (73b) übergibt den zur ersten Sensoraufzeichnung (xa) und dritten Sensoraufzeichnung (xc) ermittelten Wahrscheinlichkeitsdichtewert an eine dritte Vergleichseinheit (75b), die ermittelt, ob der vom zweiten der drei zweiten Anomaliedetektionsmodelle (73b) ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich einem dritten Schwellenwert (Tb) ist oder nicht. Ist der ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich dem dritten Schwellenwert (Tb), übermittelt die dritte Vergleichseinheit (75b) einen dritten Entscheidungswert an die Entscheidungseinheit (76), der charakterisiert, dass keine Anomalie in der ersten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) vorliegt. Andernfalls wählt die dritte Vergleichseinheit (75b) den dritten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der ersten Sensoraufzeichnung (xb) und/oder dritten Sensoraufzeichnung (xc) charakterisiert. Optional kann die dritte Vergleichseinheit (75b) auch den vom zweiten der drei zweiten Anomaliedetektionsmodell (73b) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
  • Das dritte der drei zweiten Anomaliedetektionsmodelle (73c) übergibt den zur ersten Sensoraufzeichnung (xa) und zweiten Sensoraufzeichnung (xb) ermittelten Wahrscheinlichkeitsdichtewert an eine vierte Vergleichseinheit (75c), die ermittelt, ob der vom dritten der drei zweiten Anomaliedetektionsmodelle (73c) ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich einem vierten Schwellenwert (Tc) ist oder nicht. Ist der ermittelte Wahrscheinlichkeitsdichtewert größer oder gleich dem vierten Schwellenwert (Tc), übermittelt die vierte Vergleichseinheit (75c) einen vierten Entscheidungswert an die Entscheidungseinheit (76), der charakterisiert, dass keine Anomalie in der ersten Sensoraufzeichnung (xa) und/oder zweiten Sensoraufzeichnung (xb) vorliegt. Andernfalls wählt die vierte Vergleichseinheit (75c) den vierten Entscheidungswert derart, dass er das Vorliegen einer Anomalie in der ersten Sensoraufzeichnung (xa) und/oder zweiten Sensoraufzeichnung (xb) charakterisiert. Optional kann die vierte Vergleichseinheit (75c) auch den vom dritten der drei zweiten Anomaliedetektionsmodelle (73a) ermittelten Wahrscheinlichkeitsdichtewert an die Entscheidungseinheit (76) übermitteln.
  • Die drei zweiten Anomaliedetektionsmodelle (73a, 73b, 73c) sind im Ausführungsbeispiel jeweils ein Normalizing Flow.
  • Die Entscheidungseinheit (76) bestimmt auf Basis der übermittelten Entscheidungswerte ob eine Anomalie vorliegt und falls ja in welcher der Sensoraufzeichnungen (xa, xb, xc) die Anomalie vorliegt. Optional kann die Entscheidungseinheit (76) dies auch zusätzlich auf Basis der übermittelten Wahrscheinlichkeitsdichtewerte bestimmen. Falls der erste Entscheidungswert die Abwesenheit einer Anomalie charakterisiert, gibt die Anomaliedetektionsvorrichtung (70) eine Anomaliedetektionsausgabe (y70) aus, welche charakterisiert, dass keine Anomalie vorliegt. Falls der erste Entscheidungswert das Vorliegen einer Anomalie charakterisiert, ermittelt die Entscheidungseinheit zumindest einen Entscheidungswert aus der Menge des zweiten Entscheidungswerts, dritten Entscheidungswerts und vierten Entscheidungswerts, der die Abwesenheit einer Anomalie charakterisiert. Die Anomaliedetektionsausgabe (y70) wird in diesem Fall von der Entscheidungseinheit (76) derart gewählt, dass es ein Vorliegen einer Anomalie in der Sensoraufzeichnung (xa, xb, xc) charakterisiert, welche nicht zur Ermittlung des ermittelten Entscheidungswertes verwendet wurde.
  • Optional kann auch mehr als eine Sensoraufzeichnung (xa, xb, xc) als anomal von der Anomaliedetektionsausgabe (y70) charakterisiert werden. Optional kann weiterhin eine Sensoraufzeichnung (xa, xb, xc) nur dann als anomal von der Anomaliedetektionsausgabe (y70) charakterisiert werden, wenn der vom zur Sensoraufzeichnung (xa, xb, xc) korrespondierenden zweiten Anomaliedetektionsmodell (73a, 73b, 73c) ermittelte Wahrscheinlichkeitsdichtewert die von den anderen zweiten Anomaliedetektionsmodellen (73a, 73b, 73c) ermitteln Wahrscheinlichkeitsdichtewerte um ein vordefiniertes Maß übersteigt.
  • Die Einschränkung auf drei Sensoraufzeichnung ist in diesem Ausführungsbeispiel beispielhaft gewählt. Mutatis mutandis kann die Anomaliedetektionsvorrichtung (70) auch für eine andere Mehrzahl von Sensoraufzeichnungen im Eingangssignal (x70) verwendet werden.
  • 2 zeigt einen Aktor (10) in seiner Umgebung (20) in Interaktion mit einem Steuerungssystem (40). In vorzugsweise regelmäßigen zeitlichen Abständen wird die Umgebung (20) in mehreren Sensoren (30) erfasst. Die Sensoren (30) umfassen bildgebende Sensoren, wie etwa Kameras. Wahlweise können die Sensoren (30) auch Sensoren anderen Typs umfassen, beispielsweise solche, die physikalischen Umgebungsbedingungen oder Betriebsbedingungen des Steuerungssystems (40) messen können.
  • Die Signale der Sensoren (S) werden an das Steuerungssystem (40) übermittelt. Das Steuerungssystem (40) empfängt somit eine Folge von Sensoraufzeichnungen (S). Das Steuerungssystem (40) ermittelt hieraus Ansteuersignale (A), welche an den Aktor (10) übertragen werden.
  • Das Steuerungssystem (40) empfängt die Folge von Sensoraufzeichnungen (S) des Sensors (30) in einer optionalen Empfangseinheit (50), die die Folge von Sensoraufzeichnungen (S) in eine Folge von Eingangsbildern (x60) umwandelt. Ein Eingangsbild (x60) kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung einer Sensoraufzeichnung einer Kamera sein, welche in den Sensoraufzeichnungen (S) enthalten ist. Das Eingangsbild (x60) umfasst einzelne Frames einer Videoaufzeichnung. Mit anderen Worten wird das Eingangsbild (x60) abhängig von der Sensoraufzeichnung (S) ermittelt. Die Folge von Eingangsbildern (x60) wird einem Bildklassifikator (60), im Ausführungsbeispiel ein neuronales Netz, zugeführt.
  • Das Steuerungssystem (40) umfasst die Anomaliedetektionsvorrichtung (70). Diese ist in diesem Ausführungsbeispiel eingerichtet, Anomalien in den Sensoraufzeichnungen (S) der bildgebenden Sensoren (30) zu ermitteln. In weiteren Ausführungsbeispielen ist vorstellbar, dass die Anomaliedetektionsvorrichtung (70) eingerichtet ist, Anomalien in Sensoraufzeichnungen (S) der Sensoren anderen Typs zu detektieren. Die Folge von Sensoraufzeichnungen (S) wird von der Empfangseinheit (50) in eine Folge von Eingangssignalen (x70) für die Anomaliedetektionsvorrichtung umgewandelt. Falls die Anomaliedetektionsvorrichtung eingerichtet ist, Anomalien in Sensoraufzeichnungen bildgebender Sensoren zu ermitteln, können die Eingangssignale (x70) wahlweise auch das Eingangsbild (x60) umfassen.
  • Der Bildklassifikator (60) wird vorzugsweise parametriert durch erste Parameter (ϕ1), die in einem Parameterspeicher (P) hinterlegt sind und von diesem bereitgestellt werden. Die Anomaliedetektionsvorrichtung (70) wird vorzugsweise parametriert durch zweite Parameter (ϕ2), die ebenfalls im Parameterspeicher hinterlegt sind und von diesem bereitgestellt werden.
  • Der Bildklassifikator (60) ermittelt aus den Eingangsbildern (x60) Ausgangsgrößen (y60), die ein Klassifikation der Eingabebilder (x60) charakterisieren. Die Anomaliedetektionsvorrichtung (70) ermittelt aus den Eingangssignalen (x70) eine Anomaliedetektionsausgabe (y70).
  • Die Ausgangsgrößen (y60) und die Anomaliedetektionsausgabe (y70) werden einer Umformeinheit (80) zugeführt, die hieraus Ansteuersignale (A) ermittelt, welche dem Aktor (10) zugeführt werden, um den Aktor (10) entsprechend anzusteuern. Eine Ausgangsgröße (y60) umfasst Informationen über Objekte, die auf einem entsprechenden Eingangsbild (x60) zu erkennen sind.
  • Der Aktor (10) empfängt die Ansteuersignale (A), wird entsprechend angesteuert und führt eine entsprechende Aktion aus. Der Aktor (10) kann hierbei eine (nicht notwendigerweise baulich integrierte) Ansteuerlogik umfassen, welches aus dem Ansteuersignal (A) ein zweites Ansteuersignal ermittelt, mit dem dann der Aktor (10) angesteuert wird.
  • Falls die Anomaliedetektionsausgabe (y70) das Vorliegen einer Anomalie charakterisiert, kann das Ansteuersignal (A) derart gewählt werden, dass die möglichen Aktionen des Aktors (10) eingeschränkt werden. Falls keine Anomalie vorliegt, ist denkbar, dass die möglichen Aktionen nicht auf Grund einer Anomalie eingeschränkt werden, sondern auf Basis der durch den Bildklassifikator (60) ermittelten Umgebung (20) des Steuerungssystems (40). Des Weiteren ist vorstellbar, dass im Falle des Vorliegens einer Anomalie zumindest Teile der Sensoraufzeichnungen (S) an einen Hersteller oder Betreiber des Steuerungssystems (40) übermittelt werden.
  • Alternativ oder zusätzlich ist möglich, dass die Anomaliedetektionsausgabe (y70) auch an die Empfangseinheit (50) übermittelt wird. Die Empfangseinheit kann dann beispielsweise für den Fall, dass eine Anomalie in der Sensoraufzeichnung (S) vorliegt, aus dem das Eingabebild (x60) ermittelt wird, eine andere Sensoraufzeichnung zur Ermittlung des Eingabebildes (x60) auswählen.
  • In weiteren Ausführungsformen umfasst das Steuerungssystem (40) die Sensoren (30). In noch weiteren Ausführungsformen umfasst das Steuerungssystem (40) alternativ oder zusätzlich auch den Aktor (10).
  • In weiteren bevorzugten Ausführungsformen umfasst das Steuerungssystem (40) zumindest einen Prozessor (45) und wenigstens ein maschinenlesbares Speichermedium (46), auf dem Anweisungen gespeichert sind, die dann, wenn sie auf den Prozessoren (45) ausgeführt werden, das Steuerungssystem (40) veranlassen, das erfindungsgemäße Verfahren auszuführen.
  • In alternativen Ausführungsformen ist alternativ oder zusätzlich zum Aktor (10) eine Anzeigeeinheit (10a) vorgesehen. Im Falle des Vorliegens einer Anomalie kann die Anzeigeeinheit (10a) beispielsweise derart angesteuert werden, dass das Vorliegen einem Benutzer oder Betreiber des Steuerungssystems angezeigt wird.
  • 3 zeigt, wie das Steuerungssystem (40) zur Steuerung eines wenigstens teilautonomen Roboters, hier eines wenigstens teilautonomen Kraftfahrzeugs (100), eingesetzt werden kann.
  • Bei den Sensoren (30) kann es sich beispielsweise um eine vorzugsweise im Kraftfahrzeug (100) angeordnete Mehrzahl von Videosensor handeln. Die Empfangseinheit (50) kann dann zumindest eine Sensoraufzeichnung (S) der Videosensoren als Eingabebilde (x60) an den Bildklassifikator (60) weiterleiten.
  • Der Bildklassifikator (60) ist eingerichtet, aus den Eingangsbildern (x60) Objekte zu identifizieren.
  • Bei dem vorzugsweise im Kraftfahrzeug (100) angeordneten Aktor (10) kann es sich beispielsweise um eine Bremse, einen Antrieb oder eine Lenkung des Kraftfahrzeugs (100) handeln. Das Ansteuersignal (A) kann dann derart ermittelt werden, dass der Aktor oder die Aktoren (10) derart angesteuert wird, dass das Kraftfahrzeug (100) beispielsweise eine Kollision mit den vom Bildklassifikator (60) identifizierten Objekte verhindert, insbesondere, wenn es sich um Objekte bestimmter Klassen, z.B. um Fußgänger, handelt.
  • Alternativ kann es sich bei dem wenigstens teilautonomen Roboter auch um einen anderen mobilen Roboter (nicht abgebildet) handeln, beispielsweise um einen solchen, der sich durch Fliegen, Schwimmen, Tauchen oder Schreiten fortbewegt. Bei dem mobilen Roboter kann es sich beispielsweise auch um einen wenigstens teilautonomen Rasenmäher oder einen wenigstens teilautonomen Putzroboter handeln. Auch in diesen Fällen kann das Ansteuersignal (A) derart ermittelt werden, dass Antrieb und/oder Lenkung des mobilen Roboters derart angesteuert werden, dass der wenigstens teilautonome Roboter beispielsweise eine Kollision mit vom künstlichen neuronalen Netz (60) identifizierten Objekten verhindert.
  • Alternativ oder zusätzlich kann mit dem Ansteuersignal (A) die Anzeigeeinheit (10a) angesteuert werden, und beispielsweise die ermittelten sicheren Bereiche dargestellt werden. Auch ist es beispielsweise beim einem Kraftfahrzeug (100) mit nicht automatisierter Lenkung möglich, dass die Anzeigeeinheit (10a) mit dem Ansteuersignal (A) derart angesteuert wird, dass sie ein optisches oder akustisches Warnsignal ausgibt, wenn ermittelt wird, dass das Kraftfahrzeug (100) droht, mit einem der sicher identifizierten Objekte zu kollidieren.
  • 4 zeigt ein Ausführungsbeispiel, in dem das Steuerungssystem (40) zur Ansteuerung einer Fertigungsmaschine (11) eines Fertigungssystems (200) verwendet wird, indem ein diese Fertigungsmaschine (11) steuernder Aktor (10) angesteuert wird. Bei der Fertigungsmaschine (11) kann es sich beispielsweise um eine Maschine zum Stanzen, Sägen, Bohren und/oder Schneiden handeln.
  • Die Sensoren (30) können beispielsweise einen bildgebenden Sensor umfassen, der z.B. Eigenschaften von Fertigungserzeugnissen (12a, 12b) erfasst. Es ist möglich, dass diese Fertigungserzeugnisse (12a, 12b) beweglich sind. Es ist möglich, dass der die Fertigungsmaschine (11) steuernde Aktor (10) abhängig von einer Zuordnung der erfassten Fertigungserzeugnisse (12a, 12b) angesteuert wird, damit die Fertigungsmaschine (11) entsprechend einen nachfolgenden Bearbeitungsschritt des richtigen Fertigungserzeugnisses (12a, 12b) ausführt. Es ist auch möglich, dass durch Identifikation der richtigen Eigenschaften desselben der Fertigungserzeugnisse (12a, 12b) (d.h. ohne eine Fehlzuordnung) die Fertigungsmaschine (11) entsprechend den gleichen Fertigungsschritt für eine Bearbeitung eines nachfolgenden Fertigungserzeugnisses anpasst.
  • Des Weiteren kann die Fertigungsmaschine (11) Sensoren (30) umfassen, die physikalische Umgebungsbedingungen oder Betriebszustände der Fertigungsmaschine (11) messen können. Die Sensoraufzeichnungen (S) dieser Sensoren (30) können der Anomaliedetektionsvorrichtung (70) zugeführt werden, um zu bestimmen, ob die Fertigungsmaschine (11) unter normalen Umgebungsbedingungen und in einem normalen Betriebszustand arbeitet. Falls von der Anomaliedetektionsvorrichtung (70) eine Anomalie detektiert wird, kann der Betrieb der Fertigungsmaschine (11) beispielsweise gestoppt werden oder eine automatische eine Wartung veranlasst werden.
  • 5 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines Zugangssystems (300) eingesetzt wird. Das Zugangssystem (300) kann eine physische Zugangskontrolle, beispielsweise eine Tür (401) umfassen. Bei den Sensoren (30) kann es sich zum Beispiel um Videosensoren handeln, die eingerichtet sind, Personen vor dem Zugangssystem (300) zu erfassen. Mittels des Bildklassifikators (60) können die erfassten Eingabebilder (x60) interpretiert werden. Sind mehrere Personen gleichzeitig erfasst, kann durch eine Zuordnung der Personen (also der Objekte) zueinander beispielweise die Identität der Personen besonders zuverlässig ermittelt werden, beispielsweise durch eine Analyse ihrer Bewegungen. Der Aktor (10) kann ein Schloss sein, dass abhängig vom Ansteuersignal (A) die Zugangskontrolle freigibt, oder nicht, beispielsweise die Tür (401) öffnet, oder nicht. Hierzu kann das Ansteuersignal (A) abhängig von der der Interpretation des Objektidentifikationssystems (60) gewählt werden, beispielsweise abhängig von der ermittelten Identität der Person. An Stelle der physischen Zugangskontrolle kann auch eine logische Zugangskontrolle vorgesehen sein.
  • Die Bilder der Sensoren (30) können der Anomaliedetektionsvorrichtung (70) als Eingabesignale (x70) zugeführt werden. Falls die Anomaliedetektionsvorrichtung (70) eine Anomalie detektiert kann zumindest temporär der Zugang blockiert werden und/oder eine Untersuchung durch ein Wachpersonal automatisch veranlasst werden.
  • 6 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines Überwachungssystems (400) verwendet wird. Von dem in 5 dargestellten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel dadurch, dass an Stelle des Aktors (10) die Anzeigeeinheit (10a) vorgesehen ist, die vom Steuerungssystem (40) angesteuert wird. Beispielsweise kann vom künstlichen neuronalen Netz (60) zuverlässig eine Identität der von den Sensoren (30) aufgenommenen Gegenstände ermittelt werden, um abhängig davon z.B. darauf zu schließen, welche verdächtig werden, und das Ansteuersignal (A) dann derart gewählt werden, dass dieser Gegenstand von der Anzeigeeinheit (10a) farblich hervorgehoben dargestellt wird.
  • 7 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines persönlichen Assistenten (250) eingesetzt wird. Die Sensoren (30) sind bevorzugt Videosensoren, die Bilder einer Geste eines Nutzers (249) empfangen.
  • Abhängig von den Sensoraufzeichnungen (S) des Sensors (30) ermittelt das Steuerungssystem (40) ein Ansteuersignal (A) des persönlichen Assistenten (250), beispielsweise, indem das neuronale Netz eine Gestenerkennung durchführt. Dem persönlichen Assistenten (250) wird dann dieses ermittelte Ansteuersignal (A) übermittelt und er somit entsprechend angesteuert. Dieses ermittelte Ansteuersignal (A) ist kann insbesondere derart gewählt werden, dass es einer vermuteten gewünschten Ansteuerung durch den Nutzer (249) entspricht. Diese vermutete gewünschte Ansteuerung kann abhängig von der vom künstlichen neuronalen Netz (60) erkannten Geste ermittelt werden. Das Steuerungssystem (40) kann dann abhängig von der vermuteten gewünschten Ansteuerung das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten (250) wählen und/oder das Ansteuersignal (A) zur Übermittlung an den persönlichen Assistenten entsprechend der vermuteten gewünschten Ansteuerung (250) wählen.
  • Diese entsprechende Ansteuerung kann beispielsweise beinhalten, dass der persönliche Assistent (250) Informationen aus einer Datenbank abruft und sie für den Nutzer (249) rezipierbar wiedergibt.
  • Anstelle des persönlichen Assistenten (250) kann auch ein Haushaltsgerät (nicht abgebildet), insbesondere eine Waschmaschine, ein Herd, ein Backofen, eine Mikrowelle oder eine Spülmaschine vorgesehen sein, um entsprechend angesteuert zu werden.
  • 8 zeigt ein Ausführungsbeispiel, bei dem das Steuerungssystem (40) zur Steuerung eines medizinischen bildgebenden Systems (500), beispielsweise eines MRT-, Röntgen- oder Ultraschallgeräts, verwendet wird. Die Sensoren (30) können beispielsweise durch bildgebende Sensor gegeben sein, durch das Steuerungssystem (40) wird die Anzeigeeinheit (10a) angesteuert. Beispielsweise kann vom Bildklassifikator (60) ermittelt werden, ob ein vom zumindest einem bildgebenden Sensor aufgenommener Bereich auffällig ist, und das Ansteuersignal (A) dann derart gewählt werden, dass dieser Bereich von der Anzeigeeinheit (10a) farblich hervorgehoben dargestellt wird.
  • Die Bilder der Sensoren (30) werden als Eingabesignale (x70) an die Anomaliedetektionsvorrichtung (70) übermittelt. Für den Fall, dass eine Anomalie detektiert wird, kann dies zum Beispiel auf der Anzeigeeinheit (10a) dargestellt werden und/oder eine Wartung des Systems (500) automatisch veranlasst werden.
  • 9 zeigt ein Ausführungsbeispiel eines Trainingssystems (140) welches ausgebildet ist den Anomaliedetektor (70) zu trainieren. Zum Training greift eine Trainingsdateneinheit (150) auf eine computerimplementierte Datenbank (St2) zu, wobei die Datenbank (St2) zumindest einen Trainingsdatensatz (T) umfasst, wobei der Trainingsdatensatz (T) jeweils Tupel (xi) von Sensoraufzeichnungen umfasst.
  • Die Trainingsdateneinheit (150) ermittelt zumindest ein Tupel (xi) von Sensoraufzeichnungen des Trainingsdatensatzes (T) und übermittelt das Tupel (xi) an die Anomaliedetektionsvorrichtung (70). Die Anomaliedetektionsvorrichtung (70) bestimmt mittels des ersten Anomaliedetektionsmodells und der Mehrzahl von zweiten Anomaliedetektionsmodellen einen ersten Anomaliewert bzw. eine Mehrzahl von zweiten Anomaliewerten.
  • Der erste Anomaliewert und die Mehrzahl von zweiten Anomaliewerten werden als Ausgabe (ŷi) an eine Veränderungseinheit (180) übermittelt.
  • Basierend auf der ermittelten Ausgabe (ŷi) und einer gewünschten Ausgabe (yi) von einem gewünschtem ersten Anomaliewert und einer Mehrzahl von gewünschten zweiten Anomaliewerten werden dann von der Veränderungseinheit (180) neue Modellparameter (Φ') für das erste Anomaliedetektionsmodell und/oder die Mehrzahl der zweiten Anomaliedetektionsmodelle bestimmt. Im Ausführungsbeispiel ist denkbar, dass die Anomaliedetektionsmodelle jeweils ein Normalizing Flow sind. In diesem Fall kann die Veränderungseinheit (180) die neuen Modellparameter (Φ') mittels eines Gradientenabstiegsverfahren, wie etwa Stochastic Gradient Descent oder Adam, ermitteln.
  • Die ermittelten neuen Modellparameter (Φ') werden in einem Modellparameterspeicher (St1) gespeichert.
  • In weiteren Ausführungsbeispielen wird das beschriebene Training iterativ für eine vordefinierte Anzahl an Iterationsschritten wiederholt oder iterativ wiederholt, bis eine Differenz zwischen ermittelter Ausgabe (ŷi) und gewünschter Ausgabe (yi) einen vordefinierten Schwellenwert unterschreitet. In mindestens einer der Iterationen werden die in einer vorherigen Iteration bestimmten neuen Modellparameter (Φ') als Modellparameter (Φ) der Anomaliedetektionsvorrichtung verwendet.
  • Des Weiteren kann das Trainingssystem (140) mindestens einen Prozessor (145) und mindestens ein maschinenlesbares Speichermedium (146) umfassen, welches Befehle enthält, welche, wenn sie durch den Prozessor (145) ausgeführt werden, das Trainingssystem (140) veranlassen, ein Trainingsverfahren nach einem der Aspekte der Erfindung auszuführen.
  • Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102020208642 [0002]

Claims (10)

  1. Computerimplementiertes Verfahren zum Detektieren von Anomalien in einer Mehrzahl (x70) von Sensoraufzeichnungen eines technischen Systems (100, 200, 250, 300, 400, 500) umfassend die Schritte: a. Ermitteln eines ersten Anomaliewertes, der bezüglich aller Sensoraufzeichnungen (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen charakterisiert, ob eine Anomalie vorliegt oder nicht; b. Ermitteln einer Mehrzahl von zweiten Anomaliewerten, wobei ein zweiter Anomaliewert aus der Mehrzahl von zweiten Anomaliewerten mit einer Sensoraufzeichnung (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen (xa, xb, xc) korrespondiert und bezüglich der Sensoraufzeichnung (xa, xb, xc) charakterisiert, ob in anderen Sensoraufzeichnungen (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen eine Anomalie vorliegt oder nicht; c. Detektieren einer Anomalie in einer Sensoraufzeichnung (xa, xb, xc) der Mehrzahl (x70) von Sensoraufzeichnungen (xa, xb, xc), falls der erste Anomaliewert das Vorliegen einer Anomalie charakterisiert und der mit der Sensoraufzeichnung (xa, xb, xc) korrespondierende zweite Anomaliewert keine Anomalie charakterisiert und sich der zweite Anomaliewert über ein vordefiniertes Maß hinaus von anderen zweiten Anomaliewerten der Mehrzahl von zweiten Anomaliewerten unterscheidet.
  2. Verfahren nach Anspruch 1, wobei der erste Anomaliewert eine Wahrscheinlichkeit oder einen Wahrscheinlichkeitsdichtewert charakterisiert, mit welcher oder welchem die Mehrzahl (x70) von Sensoraufzeichnungen (xa, xb, xc) auftritt und/oder ein zweiter Anomaliewert eine Wahrscheinlichkeit oder einen Wahrscheinlichkeitsdichtewert charakterisiert, mit der die Mehrzahl (x70) der Sensoraufzeichnungen (xa, xb, xc) bis auf die mit dem zweiten Anomaliewert korrespondierende Sensoraufzeichnung (xa, xb, xc) auftritt.
  3. Verfahren nach Anspruch 2, wobei der erste Anomaliewert mittels eines ersten Anomaliedetektionsmodells (72) ermittelt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Mehrzahl von zweiten Anomaliewerten mittels einer Mehrzahl von zweiten Anomaliedetektionsmodellen (73a, 73b, 73c) ermittelt wird, wobei jeweils ein zweites Anomaliedetektionsmodell (73a, 73b, 73c) der Mehrzahl von zweiten Anomaliedetektionsmodellen (73a, 73b, 73c) mit einer Sensoraufzeichnung (xa, xb, xc) korrespondiert und den mit der Sensoraufzeichnung (xa, xb, xc) korrespondierenden zweiten Anomaliewert ermittelt.
  5. Verfahren nach Anspruch 3 oder 4, wobei das erste Anomaliedetektionsmodell (72) ein Normalisierendes Fluss Modell, Normalizing Flow Modell, umfasst und/oder ein zweites Anomaliedetektionsmodell (73a, 73b, 73c) ein Normalizing Flow Modell umfasst.
  6. Anomaliedetektionsvorrichtung (70), welche ausgebildet ist das Verfahren nach einem der vorherigen Ansprüche auszuführen.
  7. Computerimplementiertes Verfahren zum Trainieren der Anomaliedetektionsvorrichtung (70) nach Anspruch 6, wobei die Anomaliedetektionsvorrichtung (70) ausgebildet das Verfahren nach einem der Ansprüche 3 bis 5 auszuführen, wobei das Verfahren die folgenden Schritte umfasst: a. Bereitstellen einer Mehrzahl von Sensoraufzeichnungen (xi) des technischen Systems (100, 200, 250, 300, 400, 500) oder eines baugleichen technischen Systems oder eines ähnlichen technischen Systems; b. Trainieren des ersten Anomaliedetektionsmodells (72) basierend auf der Mehrzahl (xi) von Sensoraufzeichnungen; c. Trainieren der Mehrzahl von zweiten Anomaliedetektionsmodellen (73a, 73b, 73c), wobei jeweils ein zweites Anomaliedetektionsmodell (73a, 73b, 73c) für eine Sensoraufzeichnung der Mehrzahl (xi) von Sensoraufzeichnungen basierend auf den anderen Sensoraufzeichnungen der Mehrzahl (xi) von Sensoraufzeichnungen trainiert wird.
  8. Trainingsvorrichtung (140), welche eingerichtet ist, das Verfahren nach Anspruch 7 auszuführen.
  9. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 5 oder nach Anspruch 7 auszuführen.
  10. Maschinenlesbares Speichermedium (46, 146), auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.
DE102020209163.3A 2020-07-21 2020-07-21 Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems Pending DE102020209163A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020209163.3A DE102020209163A1 (de) 2020-07-21 2020-07-21 Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems
US17/379,241 US11867593B2 (en) 2020-07-21 2021-07-19 Method and device for detecting anomalies in sensor recordings of a technical system
CN202110818762.2A CN114036995A (zh) 2020-07-21 2021-07-20 用于探测技术***的传感器记录中的异常的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020209163.3A DE102020209163A1 (de) 2020-07-21 2020-07-21 Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems

Publications (1)

Publication Number Publication Date
DE102020209163A1 true DE102020209163A1 (de) 2022-01-27

Family

ID=79179310

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020209163.3A Pending DE102020209163A1 (de) 2020-07-21 2020-07-21 Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems

Country Status (3)

Country Link
US (1) US11867593B2 (de)
CN (1) CN114036995A (de)
DE (1) DE102020209163A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115941807B (zh) * 2022-12-22 2024-02-23 陕西通信规划设计研究院有限公司 一种园区安防***数据高效压缩方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019219727A1 (de) 2018-12-26 2020-07-02 Presenso Ltd. System und Verfahren zum Detektieren von Anomalien in Sensordaten von industriellen Maschinen, die in einer vorbestimmten Umgebung angeordnet sind
DE112018007100T5 (de) 2018-03-20 2020-11-05 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesystem und verfahren zum erzeugen einer displayanzeige
DE102020208642A1 (de) 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018007100T5 (de) 2018-03-20 2020-11-05 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesystem und verfahren zum erzeugen einer displayanzeige
DE102019219727A1 (de) 2018-12-26 2020-07-02 Presenso Ltd. System und Verfahren zum Detektieren von Anomalien in Sensordaten von industriellen Maschinen, die in einer vorbestimmten Umgebung angeordnet sind
DE102020208642A1 (de) 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen

Also Published As

Publication number Publication date
US20220026313A1 (en) 2022-01-27
US11867593B2 (en) 2024-01-09
CN114036995A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
DE102020208642A1 (de) Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen
DE102020212515A1 (de) Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems
DE102020214860A1 (de) System und verfahren zum erkennen eines böswilligen angriffs
DE102020209163A1 (de) Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems
DE102020209162A1 (de) Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems
DE102019209566A1 (de) Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems
DE102021005092A1 (de) Verfahren und Vorrichtung zur Erkennung von Emotionszuständen von Insassen eines Fahrzeuges
EP3546308A1 (de) Verfahren zum betrieb eines steuergeräts, kraftfahrzeug und computerprogramm
DE102019202523A1 (de) Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems
DE102018218834A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Ansteuersignals
EP3701428B1 (de) Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems
DE102021119813A1 (de) Verfahren zum Kontrollieren einer Belegung mindestens eines Innenraums eines Kraftfahrzeugs
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE10222072A1 (de) Diagnoseverfahren für dynamische Systeme
DE202020104005U1 (de) Vorrichtung zum Erstellen eines Systems zum automatisierten Erstellen von maschinellen Lernsystemen
WO2021148392A1 (de) Verfahren und vorrichtung zur objektidentifikation basierend auf sensordaten
DE102019217300A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102021108907A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Klassifikation und/oder eines Regressionsergebnisses unter fehlenden Sensordaten
DE102020211474A1 (de) Verfahren und Vorrichtung zum Trainieren und Betreiben eines Bildklassifikators
DE102018216295B4 (de) Verfahren und Vorrichtung zum Ermitteln eines Ansteuersignals zum Ansteuern eines Aktors
DE102020213814A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Abdeckung eines neuronalen Netzes
DE102020204005A1 (de) Verfahren und Vorrichtung zum Training eines Bildklassifikators
DE102019207408A1 (de) Verfahren und Vorrichtung zum Betreiben eines neuronalen Netzes
DE102020203807A1 (de) Verfahren und Vorrichtung zum Trainieren eines Bildklassifikators

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication