WO2023237205A1 - Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts - Google Patents

Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts Download PDF

Info

Publication number
WO2023237205A1
WO2023237205A1 PCT/EP2022/065756 EP2022065756W WO2023237205A1 WO 2023237205 A1 WO2023237205 A1 WO 2023237205A1 EP 2022065756 W EP2022065756 W EP 2022065756W WO 2023237205 A1 WO2023237205 A1 WO 2023237205A1
Authority
WO
WIPO (PCT)
Prior art keywords
computing
elc1
elcn
computing device
model
Prior art date
Application number
PCT/EP2022/065756
Other languages
English (en)
French (fr)
Inventor
Daniel SCHALL
Original Assignee
Siemens Ag Österreich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Ag Österreich filed Critical Siemens Ag Österreich
Priority to PCT/EP2022/065756 priority Critical patent/WO2023237205A1/de
Publication of WO2023237205A1 publication Critical patent/WO2023237205A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/501—Performance criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Definitions

  • the invention relates to a computer-implemented method and a computing system for processing a set of computing tasks by a system comprising at least a first computing device and at least two second computing devices, each with a processor and a memory, the at least a first Computing device is connected to the at least two second computing devices by respective communication connections.
  • the invention also relates to the use of the method for anomaly detection when operating a technical device.
  • the invention further relates to a computer program, an electronically readable data carrier and a data carrier signal.
  • AI artificial intelligence systems
  • ML machine learning models
  • a computing device with a processor and memory is located at the edge. Additionally, edge devices often do not have sufficient capabilities to perform full training of ML models.
  • an ML method is to be executed on a distributed system, additional complexity may arise, namely in that an initial model for anomaly detection must be trained in the cloud and then distributed to various edge devices .
  • an initial model is often created in the cloud, trained and deployed to distributed clients.
  • a calculation at the edge may be preferred for data protection reasons.
  • An application of this ML model is therefore advantageously carried out at the edge, whereby ML model updates from the operation or application of the ML model are also carried out at the edge for the same reasons, but this requires a very high computing capacity
  • a highly parallelized computing core such as a GPU (graphic processing unit).
  • the pure application of an ML model can mostly be carried out on computing devices with simpler complexity and capacity. This also includes, for example, data collection by sensors such as cameras or by a PLC (programmable logic controller) or other sensor means.
  • sensors such as cameras or by a PLC (programmable logic controller) or other sensor means.
  • PLC programmable logic controller
  • the object according to the invention is solved by a method of the type mentioned at the beginning, the following steps being carried out: i) determining a weight function for each computing task from the set of computing tasks between the at least one first computing device and the at least two second computing devices, whereby the Weight function has:
  • an edge device which includes the computing devices, can be designed to be optimally adapted for the corresponding use.
  • the weight function is determined in each case by the priority, the communication parameter and the ranking factor each being in a value range between 0 and 1 and the sum of which forms a calculation parameter, and the storage parameters and the execution parameters each lie in a value range between 0 and 1 and the sum of which forms a calculation parameter, and the difference between calculation parameters Parameters and calculation parameters form the weight function.
  • step i) it is checked whether the respective weight function is equal to zero, and if so, the associated calculation task is divided into sub-arithmetic tasks and the sub-arithmetic tasks are added to the set of calculation tasks and the current calculation task is removed from the set of calculation tasks and the method is continued with step i).
  • a calculation task is assigned to a weight function and is represented by it, according to which a subset of a weight function also corresponds to a subset of a calculation task. Accordingly, partial calculation tasks can also be assigned partial weight functions.
  • the method is used for anomaly detection when operating a technical device, which is operated by a client-server system with a server and a client with the at least one first computing device and
  • the following procedural steps must also be carried out: a) Acquiring from the operation of the technical device and providing first training data from the client to the server, generating and training a first model in the form of an auto-encoder by the server, and providing the first model in the form of first weights from the server to the client, as well as loading and storing the first model in the at least one first computing device, b) acquiring operating data of the technical device and determining an anomaly parameter with regard to the agreement with the first model by the at least one first computing device, c) Check whether the anomaly characteristic is within a predetermined value range, if so, continue with step b), otherwise continue with step d), d) provide the first model weights of the auto-encoder and save with the anomaly characteristic in the memory by the at least one first computing
  • the new ML model can be distributed to other clients without distributing the raw data itself in the distributed client-server system, resulting in improved data security and privacy .
  • the anomaly parameter is the reconstruction error of the auto-encoder.
  • the size of the memory occupancy of the memory of the at least one first computing device for storing the number of stored first model weights of the auto-encoder predetermined in step e) is proportional to the bandwidth of the communication connection between the at least a first computing device and at least two second computing devices are provided. This ensures that the model is only updated when a predetermined number of reconstruction errors are exceeded.
  • the second model weights calculated in step f) are provided by the client to the server, and the client-server system preferably has a further client with a further technical device and the server is set up for this purpose to provide the second model weights to the other client through federated learning.
  • the object according to the invention is achieved by a computing system of the type mentioned at the outset, comprising at least a first computing device and at least two second computing devices, each with a processor and a memory, the at least one first computing device each being connected to the at least two second computing devices by a Communication connection is connected and the computing system is set up to carry out the method according to the invention.
  • the object according to the invention is solved by a computer program comprising commands which, when executed by a computer, cause it to carry out the method according to the invention.
  • the object according to the invention is achieved by an electronically readable data carrier with readable control information stored thereon, which at least corresponds to that according to the invention Include computer program and are designed such that they carry out the method according to the invention when using the data carrier in a computing device.
  • the object according to the invention is achieved by a data carrier signal which transmits the computer program according to the invention.
  • Fig. 1 an exemplary embodiment of the method according to the invention as a flow chart
  • FIG. 2 an exemplary embodiment of the system according to the invention as a block diagram
  • FIG. 3 an exemplary embodiment of a use of the method according to the invention as a flow chart
  • Fig. 4 an exemplary embodiment of a use of the system according to the invention as a block diagram.
  • Fig. 1 shows an exemplary embodiment of the method according to the invention as a flow chart, the method being based on one shown in FIG. 2 can run.
  • the process for processing a number of computing tasks by a system is at least partially computer-implemented.
  • a computing system includes at least a first computing device ELC1-ELCN and at least two second computing devices EAC1-EACN, each with a processor and a memory.
  • the at least one first computing device ELC1-ELCN is connected to the at least two second computing devices EAC1-EACN through respective communication connections.
  • the following procedural steps are carried out: i) determining a weight function wll-wl3, wNl-wN3 for each calculation task from the set of calculation tasks between the at least one first computing device ELC1-ELCN and the at least two second computing devices EAC1-EACN, the weight function having:
  • the weight function can be determined in each case by the priority, the communication parameter and the ranking factor each being in a value range between 0 and 1 and the sum of which forms a calculation parameter, and the storage parameter and the execution parameter each in one Value range between 0 and 1 and the sum of which forms a calculation parameter, and the difference between the calculation parameter and the calculation parameter forms the weight function.
  • the priority P (priority factor) for a current computing task which is selected by a first computing device, can be in the value range 0% ... 100%.
  • a high value like 100% means that the model needs an urgent update, and a low value like 1% means that an update is not necessary.
  • the communication parameter E (“communication efficiency factor”) can also be in the value range 0% ... 100%, where a high value such as 100% means that there is very good network quality, and a low value like 1% means that the connection has poor transmission quality.
  • the ranking factor S (English “starvation factor”) can also be in the value range 0% ... 100%, whereby the ranking factor is increased with each iteration, for example by 10%. This serves to determine the urgency of processing a calculation task increase gradually so as not to “starve” the calculation task.
  • the memory parameter U (“utilization factor”) can also be in the value range 0% ... 100%, whereby the memory Parameters can map a memory occupancy of the main memory and/or hard drive storage.
  • the memory may be required, for example, to temporarily or permanently store a data set on a second computing device.
  • a high value like 100% means the model has a high memory footprint
  • a low value like 1% means the model has a low memory footprint
  • the execution parameter C (English “computational factor”) can also be in the value range 0% ... 100%, whereby the execution parameter can represent a computing capacity.
  • the computing capacity can be required, for example, to carry out a computing task to a second computing device.
  • a high value such as 100% means that the model has a high computing requirement - for example due to a high number of parallel processing cores, like a GPU - and a low value such as 1% means that the model has a low computing requirement
  • the calculation parameter is formed by the sum of the priority, the communication parameter and the ordering factor.
  • the calculation parameter is formed by the sum of the storage parameter and the execution parameter.
  • the weight function w AB (P + E + 5) - ((/ + C) is obtained, where A is a first computing device and B is a second computing device.
  • calculation tasks that have not yet been processed are then recorded and processed as a new iteration loop as previously carried out until all calculation tasks have been completed.
  • a computing task this means that it has a high priority, there is good network bandwidth, the computing task is intended to be processed for the first time, the data set is of moderate size and a moderate computing requirement is planned. It is therefore likely that a request to process the computing task will be completed successfully, even if there is currently a high load on a second computing device. It can also be considered whether a model update is requested in order to process the computing task by the second computing device in order to improve the parameters for determining the weight function.
  • step i) it can optionally be checked after step i) whether the respective weight function is equal to zero, and if so, the associated calculation task is divided into sub-arithmetic tasks and the sub-arithmetic tasks are added to the set of calculation tasks and the current calculation task is removed from the Amount of calculation tasks is removed and the method is continued with step i).
  • a calculation task should advantageously be divided into smaller partial calculation tasks in order to achieve efficient processing.
  • FIG. 3 An advantageous use of the method for anomaly detection when operating a technical device is shown in Fig. 3 shown, for which the system of FIG. 4 can be used.
  • a client-server system CSS for anomaly detection when operating a technical device TD1 comprises a server S and a client Kl with a first computing device 1 and a further, in this example, identical client K2 with a further technical device TD2.
  • the first computing device 1 has a processor and a memory.
  • the client Kl further comprises a second computing device 2, which communicates with the first computing device 1 via a communication cation connection C is connected, the communication connection C having a predefined bandwidth.
  • the client Kl preferably records test data DT with the aid of the first computing device 1 during a reference operation of the technical device TD1, which represents a permissible, valid operation of the technical device TD1.
  • the data acquisition can be done, for example, with a sensor means such as a camera and the test data DT can be camera recordings.
  • the global model can be provided to clients K1, K2 for operating the technical device TD1 in the form of weights of the global model.
  • the process is computer-implemented, meaning one or more steps are carried out by a computer.
  • the method can be used particularly advantageously for anomaly detection when operating a technical device TD1, which is operated by a client-server system CSS with a server S and a client Kl with the at least one first computing device ELC1-ELCN, and additionally
  • the following procedural steps are carried out: a) recording from the operation of the technical device TD1 and providing first training data DT from the client Kl to the server S, generating and training a first model in the form of an auto-encoder by the server, and Providing the first model in the form of first weights from the server S to the client Kl, as well as loading and saving the first model in the at least one first computing device ELC1-ELCN, b) acquiring operating data of the technical device TD1 and determining an anomaly parameter with regard to the agreement with the first model by the at least one first computing device ELC1-ELCN, c) checking whether the anomaly parameter lies within a predetermined value range , if yes, continue with step b), otherwise continue with step d), d
  • Weights for respective anomaly parameters to the at least two second computing devices EAC1-EACN which is included by the client Kl and calculating a second model in the form of an auto-encoder with second model weights by determining the inference by one of the at least two second computing devices EAC1-EACN, g) transmitting the second model weights of the previously calculated second model to the at least one first computing device ELC1-ELCN, and deleting the first model weights transmitted in step f) from the memory of the at least one first computing device ELC1-ELCN , and continue with step b),
  • the size of the memory occupancy of the memory of the at least one first computing device ELC1-ELCN for storing the number of stored first model weights of the auto-encoder predetermined in step e) is proportional to the bandwidth of the communication connection C between the at least a first computing device ELC1-ELCN and at least two second computing devices EAC1-EACN are provided.
  • the at least two second computing devices EAC1-EACN are preferably graphics processors ("graphics processing unit", or GPU for short), which are processors specialized and optimized for efficient calculation and can be used for artificial intelligence and machine learning. Because GPUs do an extraordinary amount Offering computing power, they can achieve enormous acceleration in computing tasks due to parallel processing, for example.
  • a graphics processor can be an integrated part of the first computing device, such as an integrated graphics card of an edge computer.
  • Providing the first model weights of the auto-encoder in step d) is also referred to as “embedding” compressed features or a compressed feature space, which is formed by the model weights.
  • the second model weights calculated in step f) can be provided to the server S by the client Kl.
  • Server S can now update its global ML model.
  • the system can provide the second model weights to the further client K2 through federated learning.
  • edge advanced computing Client with high processing capacity (“edge advanced computing”)
  • TD1, TD2 technical device e.g. motor of a production plant wll-wl3, wNl-wN3 weight, weight function

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

Computer-implementiertes Verfahren zur Bearbeitung einer Menge an Rechenaufgaben durch ein System, umfassend zumindest eine erste Rechenvorrichtung (ELC1-ELCN) und zumindest zwei zweite Rechenvorrichtungen (EAC1-EACN), wobei folgende Schritte ausgeführt werden: i) Bestimmen jeweils einer Gewichtsfunktion (w11-w13, wN1-wN3) für jede Rechenaufgabe aus der Menge an Rechenaufgaben zwischen der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) und den zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN), ii) Ermitteln der Ausführungskapazität hinsichtlich Kommunikations-, Speicher- und Ausführungs-Eigenschaften der zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN), iii) Sortieren der zuvor bestimmten Gewichtfunktionen (w11-w13, wN1-wN3), und Festlegen einer Teilmenge der sortierten Gewichtsfunktionen, welche innerhalb eines vorbestimmen Wertebereichs der ermittelten Ausführungskapazität liegen, iv) Verteilen der Teilmenge der Rechenaufgaben, welche der Teilmenge der sortierten Gewichtsfunktionen zugeordnet ist, an die zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN), Ausführen der Teilmenge an Rechenaufgaben und Löschen der zugehörigen Gewichtsfunktion, v) Erhöhen des Reihungsfaktors für die Rechenaufgaben, die im vorhergehenden Schritt aufgrund der Ausführungskapazität nicht verteilt wurden, vi) Solange Gewichtsfunktionen vorliegen, Fortsetzen mit Schritt ii), sonst Beenden.

Description

Computer- Implementiertes Verfahren und System zur Anomalie- Erkennung beim Betrieb eines technischen Geräts
Die Erfindung betri f ft ein computer-implementiertes Verfahren und ein Rechen-System zur Bearbeitung einer Menge an Rechenaufgaben durch ein System, umfassend zumindest eine erste Rechenvorrichtung und zumindest zwei zweite Rechenvorrichtungen, j eweils mit einem Prozessor und einem Speicher, wobei die zumindest eine erste Rechenvorrichtung mit den zumindest zwei zweiten Rechenvorrichtungen durch j eweilige Kommunikationsverbindungen verbunden sind .
Die Erfindung betri f ft auch eine Verwendung des Verfahrens zur Anomalie-Erkennung beim Betrieb eines technischen Geräts .
Ferner betri f ft die Erfindung ein Computerprogramm, einen elektronisch lesbaren Datenträger und ein Datenträgersignal .
Typische Systeme künstlicher Intelligenz ( kurz „KI" ) passen Modelle des maschinellen Lernens ( kurz „ML" ) nur sehr langsam an neue Daten oder Umgebungsänderungen an . Der typische ML- Lebens zyklus umfasst drei Phasen : i ) Datenerfassung und Datenaufbereitung, ii ) Modellerstellung und iii ) Modellbereitstellung und Inferenz .
Das Schließen von Daten auf (hypothetische ) Modelle wird als statistische Inferenz bezeichnet .
ML-Modelle können sich j edoch häufig nicht schnell an Live- Daten oder neue Eingabedaten anpassen .
Ferner sind nicht alle Daten in einem Cloud-Edge-Kontext in der Cloud verfügbar . Das Senden aller Daten an die Cloud umgeht den Vorteil des Edge-Computing .
In einem Klienten-Server-System liegt eine Rechenvorrichtung mit einem Prozessor und einem Speicher an der Edge . Außerdem verfügen Edge-Geräte häufig nicht über ausreichende Fähigkeiten, um ein vollständiges Training von ML-Modellen durchzuführen .
In modernen Cloud-Edge-Umgebungen nach dem Stand der Technik wird beispielsweise das Training und die Inferenz nur in der Cloud durchgeführt . Dies hat den Vorteil , dass alle Daten an einem Ort verarbeitet und gespeichert werden . Klienten rufen diese Daten von einer zentralen Stelle ab . Jedoch ist keine Echt zeitinteraktion mit einem Prozess , welcher an einem Klienten ausgeführt wird, möglich .
Alternativ wird im Stand der Technik Training in der Cloud und die Inferenz an der Edge durchgeführt . Dies führt dazu, dass performantes Training in der Cloud und Prozessinteraktion in Echtzeit an der Edge ausgeführt wird . Jedoch werden dabei Daten über die Cloud und die Edge verstreut verarbeitet oder gespeichert , was nachteilig ist , da das Aktualisieren von Modellen typischerweise nur in der Cloud möglich ist .
Soll ein ML-Verfahren j edoch auf einem verteilten System ausgeführt werden, kann sich zusätzlich eine höhere Komplexität ergeben, nämlich insofern, als ein initiales Modell zur Anomalie-Erkennung in der Cloud trainiert werden muss , und anschließen an diverse Edge-Vorrichtungen verteilt werden muss .
Dabei ist es oft schwierig, eine geeignete Verteilung von Rechen-Aufgaben, wie ML-Modell-Aktualisierungen durch erneutes Training, an mehrere performante Rechen-Vorrichtungen durchzuführen und eine vorteilhafte Auslastung des gesamten Rechen-Systems an der Edge zu erreichen .
Im Kontext von maschinellem Lernen wird häufig ein Initiales Modell in der Cloud erzeugt , trainiert und verteilten Klienten bereitgestellt .
Eine Berechnung and er Edge kann aus Datenschutz-Gründen bevorzugt werden . Eine Anwendung dieses ML-Modells erfolgt daher vorteilhaft an der Edge , wobei ML-Modell-Aktualisierungen aus dem Betrieb beziehungsweise der Anwendung des ML-Modells aus denselben Gründen ebenfalls an der Edge durchgeführt werden, was j edoch eine sehr hohe Rechen-Kapazität , wie beispielsweise mit einem hoch parallelisierten Rechen-Kern wie einer GPU ( engl- „graphic processing unit" ) , erfordern kann .
Die reine Anwendung eines ML-Modells kann meistens auf Rechenvorrichtungen mit einfacherer Komplexität und Kapazität ausgeführt werden . Dies umfasst beispielsweise auch Datenerfassung durch Sensoren wie Kameras oder von einer PLC ( engl . „programmable logic controller" ) oder anderen Sensor-Mitteln .
Es ist daher Aufgabe der Erfindung eine Lösung bereitzustellen, mittels welcher eine vorteilhafte Verteilung von Rechenaufgaben auf mehrere Rechenvorrichtungen durchgeführt werden kann .
Die erfindungsgemäße Aufgabe wird durch ein Verfahren eingangs genannter Art gelöst , wobei folgende Schritte ausgeführt werden : i ) Bestimmen j eweils einer Gewichts funktion für j ede Rechenaufgabe aus der Menge an Rechenaufgaben zwischen der zumindest einen ersten Rechenvorrichtung und den zumindest zwei zweiten Rechenvorrichtungen, wobei die Gewichts funktion aufweist :
• eine Priorität der Rechenaufgabe ,
• einen Kommunikations-Parameter bezüglich der Kommunikations Verbindung,
• einen Reihungs faktor für die Bearbeitung der Rechenaufgabe , vorzugsweise beginnend bei null ,
• einen Speicher-Parameter für den benötigten Speicherbedarf bei der Aus führung der Rechenaufgabe , • einen Aus führungs-Parameter für den benötigten Rechenbedarf bei der Aus führung der Rechenaufgabe , ii ) Ermitteln der Aus führungskapazität hinsichtlich Kommunikations- , Speicher- und Aus führungs-Eigenschaften der zumindest zwei zweiten Rechenvorrichtungen, iii ) Sortieren der zuvor bestimmten Gewicht funktionen, und Festlegen einer Teilmenge der sortierten Gewichtsfunktionen, welche innerhalb eines vorbestimmen Wertebereichs der ermittelten Aus führungskapazität liegen, iv) Verteilen der Teilmenge der Rechenaufgaben, welche der Teilmenge der sortierten Gewichts funktionen zugeordnet ist , an die zumindest zwei zweiten Rechenvorrichtungen, Aus führen der Teilmenge an Rechenaufgaben und Löschen der zugehörigen Gewichts funktion, v) Erhöhen des Reihungs faktors für die Rechenaufgaben, die im vorhergehenden Schritt aufgrund der Aus führungskapazität nicht verteilt wurden, vi ) Solange Gewichts funktionen vorliegen, Fortsetzen mit Schritt ii ) , sonst Beenden .
Dadurch wird erreicht , dass die Rechen-Aufgaben auf besonders ef fi ziente Weise im Rechen-System abgearbeitet werden können und eine Edge-Vorrichtung, welche die Rechen-Vorrichtungen umfasst , für die entsprechende Verwendung optimal angepasst ausgelegt werden kann .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass j eweils die Gewichts funktion bestimmt wird, indem die Priorität , der Kommunikations-Parameter und der Reihungs faktor j eweils in einem Wertebereich zwischen 0 und 1 liegen und deren Summe einen Rechen-Parameter bilden, und der Speicher- Parameter und der Aus führungs-Parameter j eweils in einem Wertebereich zwischen 0 und 1 liegen und deren Summe einen Berechnungs-Parameter bilden, und die Di f ferenz von Rechen- Parameter und Berechnungs-Parameter die Gewichts funktion bilden .
Dadurch wird erreicht , dass die Gewichts funktion auf eine einfache Weise bestimmt werden kann und welche besonders repräsentative Parameter zur Lösung der erfindungsgemäßen Aufgabe verwendet .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass nach Schritt i ) geprüft wird, ob die j eweilige Gewichts funktion gleich null ist , und falls j a, die zugehörige Rechenaufgabe in Teil-Rechenaufgaben unterteilt wird und die Teil- Rechenaufgaben der Menge an Rechenaufgaben hinzugefügt wird und die aktuelle Rechenaufgabe aus der Menge an Rechenaufgaben entfernt wird und das Verfahren mit Schritt i ) fortgesetzt wird .
Dadurch wird erreicht , dass auch große Rechenaufgaben beziehungsweise deren zugeordneten Gewichts funktionen - beispielsweise mit hohem Rechenbedarf oder hohem Speicherbedarf - durch das Verfahren ef fi zient abgearbeitet werden können und zugleich andere Rechenaufgaben nicht zu lange unbearbeitet bleiben .
Eine Rechenaufgabe ist einer Gewichts funktion zugeordnet und durch diese abgebildet , wonach eine Teilmenge einer Gewichtsfunktion auch einer Teilmenge einer Rechenaufgabe entspricht . Dementsprechend können Teil-Rechenaufgaben auch Teil- Gewichts funktionen zugeordnet werden .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass das Verfahren eine Verwendung zur Anomalie-Erkennung beim Betrieb eines technischen Geräts findet , welches von einem Kli- enten-Server-System mit einem Server und einen Klienten mit der zumindest einen ersten Rechenvorrichtung betrieben wird und zusätzlich folgende Verfahrens-Schritte ausgeführt werden : a ) Erfassen aus dem Betrieb des technischen Geräts und Bereitstellen von ersten Trainings-Daten vom Klienten an den Server, Erzeugen und Trainieren eines ersten Modells in Form eines Auto-Encoders durch den Server, und Bereitstellen des ersten Modells in Form von ersten Gewichten vom Server an den Klienten, sowie Laden und Speichern des ersten Modells in der zumindest einen ersten Rechenvorrichtung, b ) Erfassen von Betriebs-Daten des technischen Geräts und Bestimmen einer Anomalie-Kenngröße hinsichtlich der Übereinstimmung mit dem ersten Modell durch die zumindest eine erste Rechenvorrichtung, c ) Prüfen, ob die Anomalie-Kenngröße innerhalb eines vorbestimmten Werte-Bereichs liegt , wenn j a, fortfahren mit Schritt b ) , sonst fortfahren mit Schritt d) , d) Bereitstellen der ersten Modell-Gewichte des Auto- Encoders und Speichern mit der Anomalie-Kenngröße im Speicher durch die zumindest eine erste Rechenvorrichtung, e ) Prüfen, ob eine vorbestimmte Anzahl an gespeicherten ersten Modell-Gewichte des Auto-Encoders für j eweilige Anomalie-Kenngrößen erreicht ist , wenn j a, dann Fortfahren mit Schritt b ) , sonst Fortfahren mit Schritt f ) , f ) Übermitteln der gespeicherten ersten Modell-Gewichte für j eweilige Anomalie-Kenngrößen an die zumindest zwei zweiten Rechenvorrichtungen, welche vom Klienten umfasst ist und Berechnen eines zweiten Modells in Form eines Auto- Encoders mit zweiten Modell-Gewichten durch Bestimmen der Inferenz durch eine der zumindest zwei zweiten Rechenvorrichtungen, g) Übermitteln der zweiten Modell-Gewichte des zuvor berechneten zweiten Modells an die zumindest eine erste Rechenvorrichtung, und Löschen der im Schritt f ) übermittelten ersten Modell-Gewichte aus dem Speicher der zumindest ei- nen ersten Rechenvorrichtung, und Fortfahrten mit Schritt b ) .
Dadurch ist ein Modell-Training in der Cloud vorgesehen, die Inferenz wird j edoch an der Edge berechnet , außerdem erfolgt ein erneutes Trainieren ( engl . „re-training" ) an der Edge .
Dadurch ist es möglich ein performantes Training in der Cloud aus zuführen, sowie eine Prozess- Interaktion in Echtzeit zu erlauben, und ferner ein Re-Training von ML-Modellen wiederum an der Edge durchzuführen, um beispielsweise die Modellgenauigkeit aufgrund neuer Trainings-Daten, welche aus dem vorhergehenden Betrieb eines technischen Geräts mit dem vorhergehenden ML-Modell gewonnen wurden, zu verbessern .
Die Daten liegen zwar über Klienten und Server verteilt , j edoch kann durch Anwendung föderierten Lernens das neue ML- Modell an andere Klienten verteilt werden, ohne die Rohdaten selbst im verteilten Klienten-Server-System zu verteilen, was zu einer verbesserten Datensicherheit und Privatsphäre führt .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die Anomalie-Kenngröße der Rekonstruktions-Fehler des Auto- Encoders ist .
Dadurch kann auf besonders einfache Weise eine besonders aussagekräftige Anomalie-Kenngröße ermittelt werden .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die Größe der Speicherbelegung des Speichers der zumindest einen ersten Rechenvorrichtung zum Speichern der im Schritt e ) vorbestimmte Anzahl an gespeicherten ersten Modell- Gewichte des Auto-Encoders proportional zur Bandbreite der Kommunikations-Verbindung zwischen der zumindest einen ersten Rechenvorrichtung und der zumindest zwei zweiten Rechenvorrichtungen vorgesehen ist . Dadurch wird erreicht , dass erst bei Überschreiten einer vorgegebenen Anzahl an Rekonstruktions-Fehlern eine Aktualisierung des Modells erfolgt .
In einer Weiterbildung der Erfindung ist es vorgesehen, dass die im Schritt f ) berechneten zweiten Modell-Gewichte vom Klienten dem Server bereitgestellt werden, und das Klienten- Server-System vorzugsweise einen weiteren Klienten mit einem weiteren technischen Gerät aufweist und der Server dazu eingerichtet ist , die zweiten Modell-Gewichte dem weiteren Klienten durch föderiertes Lernen bereitzustellen .
Dadurch kann erreicht werden, dass das aktualisierte zweite Modell auf einfache Weise von weiteren Klienten genutzt werden können, ohne selbst dafür nötige Rechenoperationen aus zuführen . Somit ist für weitere Klienten eine Bauart mit reduzierter Komplexität und geringeren Kosten möglich, und es können insbesondere Prinzipen föderierten Lernens angewendet werden .
Die erfindungsgemäße Aufgabe wird durch ein Rechen-System eingangs genannter Art gelöst , umfassend zumindest eine erste Rechenvorrichtung und zumindest zwei zweite Rechenvorrichtungen, j eweils mit einem Prozessor und einem Speicher, wobei die zumindest eine erste Rechenvorrichtung j eweils mit den zumindest zwei zweiten Rechenvorrichtungen durch eine Kommunikationsverbindung verbunden ist und das Rechen-System dazu eingerichtet ist , das erfindungsgemäße Verfahren aus zuführen .
Die erfindungsgemäße Aufgabe wird durch ein Computerprogramm gelöst , umfassend Befehle , welche bei deren Aus führung durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren aus zuführen .
Die erfindungsgemäße Aufgabe wird durch einen elektronisch lesbaren Datenträger mit darauf gespeicherten lesbaren Steuerinformationen gelöst , welche zumindest das erfindungsgemäße Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das erfindungsgemäße Verfahren durchführen .
Die erfindungsgemäße Aufgabe wird durch ein Datenträgersignal gelöst , welches das erfindungsgemäße Computerprogramm überträgt .
Die Erfindung wird nachfolgend anhand eines in den beigeschlossenen Zeichnungen dargestellten Aus führungsbeispiels näher erläutert . In den Zeichnungen zeigt :
Fig . 1 ein Aus führungsbeispiel des erfindungsgemäßen Verfahrens als Ablauf diagramm,
Fig . 2 ein Aus führungsbeispiel des erfindungsgemäßen Systems als Blockschaltbild,
Fig . 3 ein Aus führungsbeispiel einer Verwendung des erfindungsgemäßen Verfahrens als Ablauf diagramm,
Fig . 4 ein Aus führungsbeispiel einer Verwendung des erfindungsgemäßen Systems als Blockschaltbild .
Fig . 1 stellt ein Aus führungsbeispiel des erfindungsgemäßen Verfahrens als Ablauf diagramm dar, wobei das Verfahren auf einem in der Fig . 2 dargestellten System ablaufen kann .
Das Verfahren zur Bearbeitung einer Menge an Rechenaufgaben durch ein System ist zumindest in Teilen computerimplementiert .
Ein Rechen-System umfasst zumindest eine erste Rechenvorrichtung ELC1-ELCN und zumindest zwei zweite Rechenvorrichtungen EAC1-EACN, j eweils mit einem Prozessor und einem Speicher .
Die zumindest eine erste Rechenvorrichtung ELC1-ELCN ist mit den zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN durch j eweilige Kommunikationsverbindungen verbunden .
Folgende Verfahrens-Schritte werden ausgeführt : i) Bestimmen jeweils einer Gewichtsfunktion wll-wl3, wNl- wN3 für jede Rechenaufgabe aus der Menge an Rechenaufgaben zwischen der zumindest einen ersten Rechenvorrichtung ELC1-ELCN und den zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN, wobei die Gewichtsfunktion aufweist:
• eine Priorität der Rechenaufgabe,
• einen Kommunikations-Parameter bezüglich der Kommunikations Verbindung,
• einen Reihungsfaktor für die Bearbeitung der Rechenaufgabe, vorzugsweise beginnend bei null,
• einen Speicher-Parameter für den benötigten Speicherbedarf bei der Ausführung der Rechenaufgabe,
• einen Ausführungs-Parameter für den benötigten Rechenbedarf bei der Ausführung der Rechenaufgabe, ii) Ermitteln der Ausführungskapazität hinsichtlich Kommunikations-, Speicher- und Ausführungs-Eigenschaften der zumindest zwei zweiten Rechenvorrichtungen EAC1- EACN, iii) Sortieren der zuvor bestimmten Gewicht funktionen wll- wl3, wNl-wN3, und Festlegen einer Teilmenge der sortierten Gewichtsfunktionen, welche innerhalb eines vorbestimmen Wertebereichs der ermittelten Ausführungskapazität liegen, iv) Verteilen der Teilmenge der Rechenaufgaben, welche der Teilmenge der sortierten Gewichtsfunktionen zugeordnet ist, an die zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN, Ausführen der Teilmenge an Rechenaufgaben und Löschen der zugehörigen Gewichtsfunktion, v) Erhöhen des Reihungsfaktors für die Rechenaufgaben, die im vorhergehenden Schritt aufgrund der Ausführungskapazität nicht verteilt wurden, vi) Solange Gewichtsfunktionen vorliegen, Fortsetzen mit Schritt ii) , sonst Beenden.
Optional kann die Gewichtsfunktion jeweils bestimmt werden, indem die Priorität, der Kommunikations-Parameter und der Reihungsfaktor jeweils in einem Wertebereich zwischen 0 und 1 liegen und deren Summe einen Rechen-Parameter bilden, und der Speicher-Parameter und der Ausführungs-Parameter jeweils in einem Wertebereich zwischen 0 und 1 liegen und deren Summe einen Berechnungs-Parameter bilden, und die Differenz von Rechen-Parameter und Berechnungs-Parameter die Gewichtsfunktion bilden .
Beispielsweise kann die Priorität P (engl. „priority factor") für eine aktuelle Rechenaufgabe, welche durch eine erste Rechenvorrichtung ausgewählt ist, im Werte-Bereich 0% ... 100% liegen .
Ein hoher Wert wie 100% bedeutet, dass das Modell eine dringende Aktualisierung benötigt, und ein niedriger Wert wie 1% bedeutet, dass eine Aktualisierung nicht notwendig ist.
Der Kommunikations-Parameter E (engl. „communication efficiency factor") kann ebenso im Werte-Bereich 0% ... 100% liegen, wobei hoher Wert wie 100% bedeutet, dass eine sehr gute Netzwerk-Qualität vorliegt, und ein niedriger Wert wie 1% bedeutet, dass die Verbindung eine schlechte Übertragungs- Qualität aufweist.
Der Reihungsfaktor S (engl. „starvation factor") kann ebenso im Werte-Bereich 0% ... 100% liegen, wobei der Reihungsfaktor bei jedem Iterationsdurchgang erhöht wird, beispielsweise um 10%. Dies dient dazu, die Dringlichkeit der Abarbeitung einer Rechenaufgabe schrittweise zu erhöhen, um die Rechenaufgabe nicht „verhungern" zu lassen.
Der Speicher-Parameter U (engl. „utilization factor") kann auch im Werte-Bereich 0% ... 100% liegen, wobei der Speicher- Parameter eine Speicher-Belegung des Arbeitsspeichers und/oder des Festplattenspeichers abbilden kann . Der Speicher kann benötigt werden, um beispielsweise temporär oder dauerhaft einen Datensatz auf einer zweiten Rechenvorrichtung zu speichern .
Ein hoher Wert wie 100% bedeutet , dass das Modell einen hohen Speicherbedarf aufweist , und ein niedriger Wert wie 1 % bedeutet , dass das Modell einen niedrigen Speicherbedarf aufweist .
Der Aus führungs-Parameter C ( engl . „computational factor" ) kann auch im Werte-Bereich 0% ... 100% liegen, wobei der Ausführungs-Parameter eine Rechenkapazität abbilden kann . Die Rechenkapazität kann benötigt werden, um beispielsweise eine Rechenaufgabe auf einer zweiten Rechenvorrichtung aus zuführen .
Ein hoher Wert wie 100% bedeutet , dass das Modell einen hohen Rechenbedarf aufweist - beispielsweise durch eine hohe Anzahl parallel organisierter Rechenkerne , wie bei einer GPU - , und ein niedriger Wert wie 1 % bedeutet , dass das Modell einen niedrigen Rechenbedarf aufweist
Der Rechen-Parameter wird durch die Summe der Priorität , des Kommunikations-Parameters und des Reihungs faktors gebildet .
Der Berechnungs-Parameter wird durch die Summe des Speicher- Parameters und des Aus führungs-Parameters gebildet .
Wird der Berechnungs-Parameter von dem Rechen-Parameter subtrahiert , erhält man die Gewichts funktion wAB = (P + E + 5) - ((/ + C) wobei A eine erste Rechenvorrichtung und B eine zweite Rechenvorrichtung ist .
Für j ede Rechenaufgabe mit einer Gewichts funktion von mehr als 100% können diese „ausgehende" Kanten sortiert werden, wenn zur Veranschaulichung eine Analogie zu einem bipartiten Graphen wie nach Fig . 2 hergestellt wird .
Nach der Neusortierung werden all j ene Kanten entfernt , welche im aktuellen Durchlauf nicht abgearbeitet werden können und der verbleibende Graph wird zur weiteren Bearbeitung herangezogen .
Anschließend werden die noch nicht abgearbeiteten Rechenaufgaben erfasst und als neue Iterationsschlei fe wie zuvor ausgeführt bearbeitet , bis alle Rechenaufgaben erledigt sind .
Beispielsweise können P=100% , E=80% , S=0% sowie U=50% , C= 50% gewählt werden, sodass die Gewichts funktion w=80% beträgt .
In diesem Beispiel bedeutet das für eine Rechenaufgabe , dass sie eine hohe Priorität aufweist , eine gute Netzwerk- Bandbreite vorliegt , die Rechenaufgabe erstmalig zur Abarbeitung vorgesehen ist , eine moderate Größe des Datensatzes vorliegt und ein moderater Rechenbedarf vorgesehen ist . Daher ist es wahrscheinlich, dass eine Anforderung zur Abarbeitung der Rechenaufgabe erfolgreich erledigt wird, auch wenn aktuell eine hohe Last bei einer zweiten Rechenvorrichtung vorliegt . Es kann ferner erwogen werden, ob zur Abarbeitung der Rechenaufgabe durch die zweite Rechenvorrichtung eine Modell- Aktualisierung angefordert wird, um die Parameter zur Bestimmung der Gewichts funktion zu verbessern .
Fernern kann optional nach Schritt i ) geprüft werden, ob die j eweilige Gewichts funktion gleich null ist , und falls j a, die zugehörige Rechenaufgabe in Teil-Rechenaufgaben unterteilt wird und die Teil-Rechenaufgaben der Menge an Rechenaufgaben hinzugefügt wird und die aktuelle Rechenaufgabe aus der Menge an Rechenaufgaben entfernt wird und das Verfahren mit Schritt i ) fortgesetzt wird .
Beispielsweise können P=80% , E=50% , S=0% sowie U=80% , C= 0% gewählt werden, sodass die Gewichts funktion w=-30% beträgt . In diesem Beispiel bedeutet das für eine Rechenaufgabe , dass sie eine hohe Priorität aufweist , eine eher moderate Netzwerk-Bandbreite vorliegt , die Rechenaufgabe erstmalig zur Abarbeitung vorgesehen ist , eine große Größe des Datensatzes vorliegt und ein hoher Rechenbedarf vorgesehen ist . Daher ist es unwahrscheinlich, dass eine Anforderung zur Abarbeitung der Rechenaufgabe erfolgreich erledigt wird, wenn aktuell eine hohe Last bei einer zweiten Rechenvorrichtung vorliegt , solange der Reihungs faktor S erhöht wird oder eine erste Rechenvorrichtung die Rechenaufgabe in kleinere Teil- Rechenaufgaben mit kleineren Datensätzen unterteilt .
Mit anderen Worten kann anhand des Vorliegens einer negativen Gewichts funktion erkannt werden, dass eine Rechenaufgabe vorteilhafterweise in kleinere Teilrechenaufgaben unterteilt werden soll , um eine ef fi ziente Abarbeitung zu erreichen .
Eine vorteilhafte Verwendung des Verfahrens zur Anomalie- Erkennung beim Betrieb eines technischen Geräts ist in Fig . 3 dargestellt , wofür das System der Fig . 4 verwendet werden kann .
Ein Klienten-Server-System CSS zur Anomalie-Erkennung beim Betrieb eines technischen Geräts TD1 umfasst einen Server S und einen Klienten Kl mit einer ersten Rechenvorrichtung 1 und einen weiteren, in diesem Beispiel baugleichen Klienten K2 mit einem weiteren technischen Gerät TD2 .
Es können j edoch auch weitere Klienten im System eingesetzt werden, welche eine einfachere Bauart vorweisen und das das Modell mithil fe föderierten Lernens beziehen .
Die erste Rechenvorrichtung 1 weist einen Prozessor und einen Speicher auf .
Der Klient Kl umfasst ferner eine zweite Rechenvorrichtung 2 , welche mit der ersten Rechenvorrichtung 1 über eine Kommuni- kations-Verbindung C verbunden ist , wobei die Kommunikations- Verbindung C eine vordefinierte Bandbreite aufweist .
Der Klient Kl erfasst vorzugsweise mithil fe der ersten Rechenvorrichtung 1 während eines Referenzbetriebs des technischen Geräts TD1 Testdaten DT , welche einen zulässigen, gültigen Betrieb technischen Geräts TD1 repräsentieren .
Die Datenerfassung kann beispielsweise mit einem Sensor- Mittel wie einer Kamera erfolgen und die Testdaten DT können Kamera-Aufnahmen sein .
Mithil fe dieser Testdaten DT kann im Server durch Anwendung eines Auto-Encoders ein globales Modell auf Basis maschinellen Lernens für das technische Geräts TD1 erzeugt und trainiert werden .
In weiterer Folge kann das globale Modell an Klienten Kl , K2 zum Betrieb des technische Geräts TD1 in Form von Gewichten des globalen Modells bereitgestellt werden .
Das Verfahren ist computer-implementiert , das heißt ein oder mehrere Schritte werden von einem Computer ausgeführt .
Das Verfahren kann besonders vorteilhaft zur Anomalie- Erkennung beim Betrieb eines technischen Geräts TD1 , welches von einem Klienten-Server-System CSS mit einem Server S und einen Klienten Kl mit der zumindest einen ersten Rechenvorrichtung ELC1-ELCN betrieben wird, verwendet werden, und zusätzlich folgende Verfahrens-Schritte ausgeführt werden : a) Erfassen aus dem Betrieb des technischen Geräts TD1 und Bereitstellen von ersten Trainings-Daten DT vom Klienten Kl an den Server S , Erzeugen und Trainieren eines ersten Modells in Form eines Auto-Encoders durch den Server, und Bereitstellen des ersten Modells in Form von ersten Gewichten vom Server S an den Klienten Kl , sowie Laden und Speichern des ersten Modells in der zumindest einen ersten Rechenvorrichtung ELC1-ELCN, b) Erfassen von Betriebs-Daten des technischen Geräts TD1 und Bestimmen einer Anomalie-Kenngröße hinsichtlich der Übereinstimmung mit dem ersten Modell durch die zumindest eine erste Rechenvorrichtung ELC1-ELCN, c) Prüfen, ob die Anomalie-Kenngröße innerhalb eines vorbestimmten Werte-Bereichs liegt , wenn j a, fortfahren mit Schritt b ) , sonst fortfahren mit Schritt d) , d) Bereitstellen der ersten Modell-Gewichte des Auto- Encoders und Speichern mit der Anomalie-Kenngröße im Speicher durch die zumindest eine erste Rechenvorrichtung ELC1-ELCN, e ) Prüfen, ob eine vorbestimmte Anzahl an gespeicherten ersten Modell-Gewichte des Auto-Encoders für j eweilige Anomalie-Kenngrößen erreicht ist , wenn j a, dann Fortfahren mit Schritt b ) , sonst Fortfahren mit Schritt f ) , f ) Übermitteln der gespeicherten ersten Modell-Gewichte für j eweilige Anomalie-Kenngrößen an die zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN, welche vom Klienten Kl umfasst ist und Berechnen eines zweiten Modells in Form eines Auto-Encoders mit zweiten Modell-Gewichten durch Bestimmen der Inferenz durch eine der zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN, g) Übermitteln der zweiten Modell-Gewichte des zuvor berechneten zweiten Modells an die zumindest eine erste Rechenvorrichtung ELC1-ELCN, und Löschen der im Schritt f ) übermittelten ersten Modell-Gewichte aus dem Speicher der zumindest einen ersten Rechenvorrichtung ELC1-ELCN, und Fortfahrten mit Schritt b ) ,
Die Größe der Speicherbelegung des Speichers der zumindest einen ersten Rechenvorrichtung ELC1-ELCN zum Speichern der im Schritt e ) vorbestimmte Anzahl an gespeicherten ersten Modell-Gewichte des Auto-Encoders ist proportional zur Bandbreite der Kommunikations-Verbindung C zwischen der zumindest einen ersten Rechenvorrichtung ELC1-ELCN und der zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN vorgesehen .
Die zumindest zwei zweiten Rechenvorrichtungen EAC1-EACN sind vorzugsweise Grafikprozessoren ( engl . „graphics processing unit" , kurz GPU) , welche auf ef fi ziente Berechnung spezialisierte und optimierte Prozessoren sind und für künstliche Intelligenz und maschinelles Lernen verwendet werden kann . Weil GPUs außerordentlich viel Rechenleistung bieten, können sie beispielsweise aufgrund von Parallelverarbeitung eine enorme Beschleunigung bei Rechenaufgaben erzielen .
Ein Grafik-Prozessor kann integrierter Teil der ersten Rechenvorrichtung sein, wie eine integrierte Grafikkarte eines Edge-Computers .
Das Bereitstellen der ersten Modell-Gewichte des Auto- Encoders im Schritt d) wird auch als „embedding" komprimierter Merkmale beziehungsweise eines komprimierten Merkmalsraums , welcher durch die Modell-Gewichte gebildet wird, bezeichnet .
Es ist klar, dass im gesamten Verfahren ein oder mehrere Anomalie-Kenngrößen angewendet werden können .
Die im Schritt f ) berechneten zweiten Modell-Gewichte können vom Klienten Kl dem Server S bereitgestellt werden .
Der Server S kann sein globales ML-Modell nun aktualisieren .
Wenn das Klienten-Server-System CSS zumindest einen weiteren Klienten K2 mit einem weiteren technischen Gerät TD2 aufweist , kann das System dem weiteren Klienten K2 durch föderiertes Lernen die zweiten Modell-Gewichte bereitstellen . Bezugszeichenliste :
C Datenverbindung mit Übertragungskapazität, (engl.
„communication line")
CSS Klienten-Server-System (engl. „client-server- system" )
D, DT Daten, Trainings-Daten
EAC Rechenvorrichtung mit Prozessor und Speicher,
Klient mit hoher Verarbeitungs- Kapazität (engl. „edge advanced compute")
ELC Rechenvorrichtung mit Prozessor und Speicher ,
Klient mit geringer Verarbeitungs- Kapazität (engl. „edge limited computing")
Kl, Kl Klient, Edge-Vorrichtung
S Server
TD1, TD2 technisches Gerät, z.B. Motor einer Produktionsanlage wll-wl3, wNl-wN3 Gewicht, Gewichtsfunktion

Claims

Patentansprüche
1 . Computer-implementiertes Verfahren zur Bearbeitung einer Menge an Rechenaufgaben durch ein System, umfassend zumindest eine erste Rechenvorrichtung (ELC1-ELCN) und zumindest zwei zweite Rechenvorrichtungen (EAC1-EACN) , j eweils mit einem Prozessor und einem Speicher, wobei die zumindest eine erste Rechenvorrichtung (ELC1-ELCN) mit den zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) durch j eweilige Kommunikationsverbindungen verbunden sind und folgende Schritte ausgeführt werden : i ) Bestimmen j eweils einer Gewichts funktion (wl l-wl 3 , wNl-wN3 ) für j ede Rechenaufgabe aus der Menge an Rechenaufgaben zwischen der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) und den zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) , wobei die Gewichts funktion aufweist :
• eine Priorität der Rechenaufgabe ,
• einen Kommunikations-Parameter bezüglich der Kommunikations Verbindung,
• einen Reihungs faktor für die Bearbeitung der Rechenaufgabe , vorzugsweise beginnend bei null ,
• einen Speicher-Parameter für den benötigten Speicherbedarf bei der Aus führung der Rechenaufgabe ,
• einen Aus führungs-Parameter für den benötigten Rechenbedarf bei der Aus führung der Rechenaufgabe , ii ) Ermitteln der Aus führungskapazität hinsichtlich Kommunikations- , Speicher- und Aus führungs-Eigenschaften der zumindest zwei zweiten Rechenvorrichtungen (EAC1- EACN) , iii ) Sortieren der zuvor bestimmten Gewicht funktio- nen (wl l-wl 3 , wNl-wN3 ) , und Festlegen einer Teilmenge der sortierten Gewichts funktionen, welche innerhalb eines vorbestimmen Wertebereichs der ermittelten Ausführungskapazität liegen, iv) Verteilen der Teilmenge der Rechenaufgaben, welche der Teilmenge der sortierten Gewichts funktionen zugeordnet ist , an die zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) , Aus führen der Teilmenge an Rechenaufgaben und Löschen der zugehörigen Gewichtsfunktion, v) Erhöhen des Reihungs faktors für die Rechenaufgaben, die im vorhergehenden Schritt aufgrund der Aus führungskapazität nicht verteilt wurden, vi ) Solange Gewichts funktionen vorliegen, Fortsetzen mit Schritt ii ) , sonst Beenden .
2 . Verfahren nach dem vorhergehenden Anspruch, wobei j eweils die Gewichts funktion bestimmt wird, indem die Priorität , der Kommunikations-Parameter und der Reihungs faktor j eweils in einem Wertebereich zwischen 0 und 1 liegen und deren Summe einen Rechen-Parameter bilden, und der Speicher- Parameter und der Aus führungs-Parameter j eweils in einem Wertebereich zwischen 0 und 1 liegen und deren Summe einen Berechnungs-Parameter bilden, und die Di f ferenz von Rechen- Parameter und Berechnungs-Parameter die Gewichts funktion bilden .
3 . Verfahren nach dem vorhergehenden Anspruch, wobei nach Schritt i ) geprüft wird, ob die j eweilige Gewichts funktion gleich null ist , und falls j a, die zugehörige Rechenaufgabe in Teil-Rechenaufgaben unterteilt wird und die Teil- Rechenaufgaben der Menge an Rechenaufgaben hinzugefügt wird und die aktuelle Rechenaufgabe aus der Menge an Rechenaufgaben entfernt wird und das Verfahren mit Schritt i ) fortgesetzt wird .
4 . Verwendung der Verfahrens nach einem der vorhergehenden Ansprüche zur Anomalie-Erkennung beim Betrieb eines techni- sehen Geräts ( TD1 ) , welches von einem Klienten-Server-
System ( CSS ) mit einem Server ( S ) und einen Klienten (Kl ) mit der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) betrieben wird und zusätzlich folgende Verfahrens-Schritte ausgeführt werden : a ) Erfassen aus dem Betrieb des technischen Geräts ( TD1 ) und Bereitstellen von ersten Trainings-Daten ( DT ) vom Klienten (Kl ) an den Server ( S ) , Erzeugen und Trainieren eines ersten Modells in Form eines Auto-Encoders durch den Server, und Bereitstellen des ersten Modells in Form von ersten Gewichten vom Server ( S ) an den Klienten (Kl ) , sowie Laden und Speichern des ersten Modells in der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) , b ) Erfassen von Betriebs-Daten des technischen Geräts ( TD1 ) und Bestimmen einer Anomalie-Kenngröße hinsichtlich der Übereinstimmung mit dem ersten Modell durch die zumindest eine erste Rechenvorrichtung (ELC1-ELCN) , c ) Prüfen, ob die Anomalie-Kenngröße innerhalb eines vorbestimmten Werte-Bereichs liegt , wenn j a, fortfahren mit Schritt b ) , sonst fortfahren mit Schritt d) , d) Bereitstellen der ersten Modell-Gewichte des Auto- Encoders und Speichern mit der Anomalie-Kenngröße im Speicher durch die zumindest eine erste Rechenvorrichtung (ELC1-ELCN) , e ) Prüfen, ob eine vorbestimmte Anzahl an gespeicherten ersten Modell-Gewichte des Auto-Encoders für j eweilige Anomalie-Kenngrößen erreicht ist , wenn j a, dann Fortfahren mit Schritt b ) , sonst Fortfahren mit Schritt f ) , f ) Übermitteln der gespeicherten ersten Modell-Gewichte für j eweilige Anomalie-Kenngrößen an die zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) , welche vom Klienten (Kl ) umfasst ist und Berechnen eines zweiten Modells in Form eines Auto-Encoders mit zweiten Modell-Gewichten durch Bestimmen der Inferenz durch eine der zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) , g) Übermitteln der zweiten Modell-Gewichte des zuvor berechneten zweiten Modells an die zumindest eine erste Rechenvorrichtung (ELC1-ELCN) , und Löschen der im Schritt f ) übermittelten ersten Modell-Gewichte aus dem Speicher der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) , und Fortfahrten mit Schritt b ) ,
5. Verwendung nach dem vorhergehenden Anspruch, wobei die Anomalie-Kenngröße der Rekonstruktions-Fehler des Auto- Encoders ist .
6. Verwendung nach einem der Ansprüche 4 oder 5 , wobei die Größe der Speicherbelegung des Speichers der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) zum Speichern der im Schritt e ) vorbestimmte Anzahl an gespeicherten ersten Modell-Gewichte des Auto-Encoders proportional zur Bandbreite der Kommunikations-Verbindung ( C ) zwischen der zumindest einen ersten Rechenvorrichtung (ELC1-ELCN) und der zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) vorgesehen ist .
7 . Verwendung nach einem der Ansprüche 4 bis 6 , wobei die im Schritt f ) berechneten zweiten Modell-Gewichte vom Klienten (Kl ) dem Server ( S ) bereitgestellt werden, und das Klien- ten-Server-System vorzugsweise einen weiteren Klienten (K2 ) mit einem weiteren technischen Gerät ( TD2 ) aufweist und der Server ( S ) dazu eingerichtet ist , die zweiten Modell-Gewichte dem weiteren Klienten (K2 ) durch föderiertes Lernen bereitzustellen .
8 . Rechen-System zur Bearbeitung einer Menge an Rechenaufgaben, umfassend zumindest eine erste Rechenvorrichtung (ELC1-ELCN) und zumindest zwei zweite Rechenvorrichtungen (EAC1-EACN) , j eweils mit einem Prozessor und einem Speicher, wobei die zumindest eine erste Rechenvorrichtung (ELC1- ELCN) j eweils mit den zumindest zwei zweiten Rechenvorrichtungen (EAC1-EACN) durch eine Kommunikationsverbindung verbunden ist und das Rechen-System dazu eingerichtet ist , das Verfahren nach einem der Ansprüche 1 bis 3 aus zuführen .
9. Computerprogramm, umfassend Befehle , welche bei deren
Aus führung durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 3 aus zuführen .
10 . Elektronisch lesbarer Datenträger mit darauf gespeicherten lesbaren Steuerinformationen, welche zumindest das Compu- terprogramm nach dem vorhergehenden Anspruch umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Recheneinrichtung das Verfahren nach einem der Ansprüche 1 bis 3 durchführen .
11 . Datenträgersignal , welches das Computerprogramm nach An- spruch 9 überträgt .
PCT/EP2022/065756 2022-06-09 2022-06-09 Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts WO2023237205A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/065756 WO2023237205A1 (de) 2022-06-09 2022-06-09 Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2022/065756 WO2023237205A1 (de) 2022-06-09 2022-06-09 Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts

Publications (1)

Publication Number Publication Date
WO2023237205A1 true WO2023237205A1 (de) 2023-12-14

Family

ID=82321591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/065756 WO2023237205A1 (de) 2022-06-09 2022-06-09 Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts

Country Status (1)

Country Link
WO (1) WO2023237205A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0652513A1 (de) * 1993-11-04 1995-05-10 International Business Machines Corporation Taskfolgeplan für ein Multiprozessorsystem
US20090254914A1 (en) * 2008-04-07 2009-10-08 At&T Services, Inc. Optimized usage of collector resources for performance data collection through even task assignment
WO2021050790A1 (en) * 2019-09-11 2021-03-18 C3.Ai, Inc. Systems and methods for predicting manufacturing process risks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0652513A1 (de) * 1993-11-04 1995-05-10 International Business Machines Corporation Taskfolgeplan für ein Multiprozessorsystem
US20090254914A1 (en) * 2008-04-07 2009-10-08 At&T Services, Inc. Optimized usage of collector resources for performance data collection through even task assignment
WO2021050790A1 (en) * 2019-09-11 2021-03-18 C3.Ai, Inc. Systems and methods for predicting manufacturing process risks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINWON AN ET AL: "SNU Data Mining Center 2015-2 Special Lecture on IE Variational Autoencoder based Anomaly Detection using Reconstruction Probability", 27 December 2015 (2015-12-27), XP055688241, Retrieved from the Internet <URL:http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf> *

Similar Documents

Publication Publication Date Title
EP3876060B1 (de) Verfahren und recheneinheit zur ursachenanalyse eines anomalen zustandes einer maschine
EP3508930A1 (de) System und verfahren zur steuerung und/oder analytik eines industriellen prozesses
DE102019217613A1 (de) Verfahren zur diagnose eines motorzustands und diagnostisches modellierungsverfahren dafür
EP3825796A1 (de) Verfahren und vorrichtung zum ki-basierten betreiben eines automatisierungssystems
DE102019007340A1 (de) Technik zum Einrichten und Betreiben eines neuronalen Netzwerks
DE112016003529T5 (de) Suchsystem
DE102021204550A1 (de) Verfahren zum Erzeugen wenigstens eines Datensatzes zum Trainieren eines Algorithmus maschinellen Lernens
DE102020207449A1 (de) Verfahren, Computerprogramm und Vorrichtung zum Verarbeiten von Signalen
DE112020006810T5 (de) Betriebszustands-klassifikationssystem und betriebszustands-klassifikationsverfahren
EP3736742A1 (de) Maschinelles lernsystem, sowie ein verfahren, ein computerprogramm und eine vorrichtung zum erstellen des maschinellen lernsystems
WO2023237205A1 (de) Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts
EP3812949A1 (de) Konfigurierbarer digitaler zwilling
EP3901713B1 (de) Verfahren und system zum betrieb einer technischen anlage mit einem optimalen modell
EP3650964B1 (de) Verfahren zum steuern oder regeln eines technischen systems
WO2023202778A1 (de) Computer-implementiertes verfahren und system zur anomalie-erkennung beim betrieb eines technischen geräts
EP3953865A1 (de) Verfahren, vorrichtung und computerprogramm zum betreiben eines tiefen neuronalen netzes
DE102019214436A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines künstlichen neuronalen Netzes
WO2019242968A1 (de) Recheneinheit, verfahren und computerprogramm zum multiplizieren zumindest zweier multiplikanden
DE102020132042A1 (de) Verfahren, System, Testsystem und Computerprogrammprodukt zur prädiktiven Bestimmung von Testergebnissen für ein technisches Testobjekt
DE102022209953A1 (de) Verfahren zum Ermitteln einer optimalen Route zur Herstellung eines Produkts entlang einer wenigstens eine Prozessstation aufweisenden Produktionslinie
DE102021124252A1 (de) Neuronale Netzwerksysteme für abstraktes Denken
DE102018216727A1 (de) Verfahren zum Behandeln von Daten in einer zentralen Recheneinheit
DE102021207275A1 (de) Verfahren zum Erzeugen eines künstlichen neuronalen Netzes
WO2014146686A1 (de) Werkzeug und verfahren zur simulation einer technischen anlage
DE202022103792U1 (de) Vorrichtung zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22735359

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)