DE102021132399A1 - Method, system and computer program product for autonomously constructing and/or designing at least one component for an entity - Google Patents
Method, system and computer program product for autonomously constructing and/or designing at least one component for an entity Download PDFInfo
- Publication number
- DE102021132399A1 DE102021132399A1 DE102021132399.1A DE102021132399A DE102021132399A1 DE 102021132399 A1 DE102021132399 A1 DE 102021132399A1 DE 102021132399 A DE102021132399 A DE 102021132399A DE 102021132399 A1 DE102021132399 A1 DE 102021132399A1
- Authority
- DE
- Germany
- Prior art keywords
- module
- data
- component
- learning
- natural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum autonomen Konstruieren und/oder Designen von zumindest einer Komponente (10) einer Entität (20), umfassend:- Generieren von natürlichen und/oder sensorbasierten Daten (250) in einem Eingabemodul (200), wobei die Daten (250) Textnachrichten, Sprachnachrichten, Bilder, Diagramme, und/oder Videosequenzen in Bezug auf die Komponente (10) und/oder die Entität (20) umfassen, die von einer natürlichen Person und/oder Sensoren (500) erzeugt und/oder aus einer Datenbank (520) abgerufen werden;- Übermitteln der natürlichen und/oder sensorbasierten Daten (250) an ein Transformermodul (300), wobei das Transformermodul (300) Algorithmen der künstlichen Intelligenz verwendet;- Transformieren der natürlichen und/oder sensorbasierten Daten (250) in codierte Daten (350) als Zustände (si), Parameter (pi), Parameterwerte und/oder Eigenschaften (ei) der Komponente (10), so dass sie von einem Lernverstärkungsmodul (400) bearbeitbar sind, das einen Algorithmus des verstärkenden Lernens verwendet;- Weitergeben der codierten Daten (350) an das Lernverstärkungsmodul (400) und Berechnen von modellierten Werten für die Zustände (si), Parameter (pi), Parameterwerte und/oder Eigenschaften (ei) der Komponente (10) zur Erzeugung von Ausgabedaten (470);- Ausgeben der Ausgabedaten (470) durch ein Ausgabemodul (800).The invention relates to a method for autonomously constructing and/or designing at least one component (10) of an entity (20), comprising:- generating natural and/or sensor-based data (250) in an input module (200), the data ( 250) include text messages, voice messages, images, diagrams, and/or video sequences relating to the component (10) and/or the entity (20) generated by a natural person and/or sensors (500) and/or from a database (520);- transmitting the natural and/or sensor-based data (250) to a transformer module (300), the transformer module (300) using artificial intelligence algorithms;- transforming the natural and/or sensor-based data (250) in encoded data (350) as states (si), parameters (pi), parameter values and/or properties (ei) of the component (10) so that they can be processed by a learning reinforcement module (400) using a reinforcement learning algorithm ;- Forwarding the encoded data (350) to the learning reinforcement module (400) and calculating modeled values for the states (si), parameters (pi), parameter values and/or properties (ei) of the component (10) to generate output data ( 470);- outputting the output data (470) by an output module (800).
Description
Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zum autonomen Konstruieren und/oder Designen von zumindest einer Komponente für eine Entität.The invention relates to a method, a system and a computer program product for autonomously constructing and/or designing at least one component for an entity.
Im Maschinenbau und in der Automobiltechnik werden eine Vielzahl von Bauteilen mit mechanischen, mechatronischen, elektrischen, elektronischen, hydraulischen, chemischen, etc. Komponenten benötigt, die aufgrund von neuen Modellreihen, Umweltvorgaben, etc. einer ständigen Weiterentwicklung unterworfen sind, die zeit- und kostenintensiv ist. Beispiele sind Komponenten für einen Elektromotor oder ein Bremssystem eines Kraftfahrzeugs.In mechanical engineering and in automotive engineering, a large number of components with mechanical, mechatronic, electrical, electronic, hydraulic, chemical, etc. components are required, which are subject to constant further development due to new model series, environmental specifications, etc., which is time-consuming and costly is. Examples are components for an electric motor or a braking system of a motor vehicle.
Die Wahl oder das Design einer Komponente für eine Entität wie ein Kraftfahrzeug oder eine Produktionsanlage richtet sich nach ausgewählten Randbedingungen und Parametern. Bei einer mechanischen oder mechatronischen Komponente sind dies beispielsweise eine relative Geschwindigkeit zwischen zwei beweglichen Bauteilkomponenten, eine Betriebstemperatur, die Lebensdauer, das Material der Bauteilkomponente, bestimmte mechanische Belastungen etc. Eine Komponente kann in der Weise konstruiert oder designt werden, dass verschiedene Parameter wie die Dimension, die Gestalt, die Materialien oder der elektrische Widerstand geändert werden unter Einhaltung von gewählten Randbedingungen. In der Regel erfolgt das Design einer Komponente oder der Aufbau einer komplexeren Entität aufgrund des Fachwissens und der Erfahrung von Experten wie Ingenieuren. Allerdings ist dies mit einem erheblichen Zeit- und damit Kostenaufwand verbunden. Es werden daher zunehmend Optimierungsalgorithmen eingesetzt, die jedoch häufig wiederum für eine bestimmte Aufgabenstellung programmiert werden müssen und daher in der Regel nur für diese spezifische Aufgabe geeignet sind. Ein universeller Einsatz ist häufig nicht möglich und limitiert daher den Anwendungsbereich.The choice or design of a component for an entity such as a motor vehicle or a production facility depends on selected boundary conditions and parameters. In the case of a mechanical or mechatronic component, these are, for example, a relative speed between two moving components, an operating temperature, the service life, the material of the component, certain mechanical loads, etc. A component can be constructed or designed in such a way that various parameters such as the dimension , the shape, the materials or the electrical resistance can be changed while adhering to selected boundary conditions. Typically, designing a component or building a more complex entity is done based on the expertise and experience of experts such as engineers. However, this is associated with a considerable expenditure of time and thus costs. Optimization algorithms are therefore increasingly being used, but these in turn often have to be programmed for a specific task and are therefore generally only suitable for this specific task. Universal use is often not possible and therefore limits the area of application.
Die
Die
Die
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein Verfahren, ein System und ein Computerprogrammprodukt zum autonomen Konstruieren und/oder Designen von zumindest einer Komponente einer Entität zu schaffen, das sich durch eine hohe Zuverlässigkeit, Sicherheit und Genauigkeit auszeichnet und sich einfach implementieren lässt.The object on which the invention is based is now to create a method, a system and a computer program product for autonomously constructing and/or designing at least one component of an entity, which is characterized by high reliability, security and accuracy and is easy to implement leaves.
Gemäß der vorliegenden Erfindung werden ein Verfahren, ein System und ein Computerprogrammprodukt vorgeschlagen, durch die eine optimierte und autonome Konstruktion von zumindest einer Komponente einer Entität ermöglicht wird, so dass der Konstruktionsprozess bzw. Designprozess weniger Zeit benötigt, Kosten einspart und zugleich eine optimierte Lösung für eine Konstruktionsaufgabe/Designaufgabe gefunden werden kann.According to the present invention, a method, a system and a computer program product are proposed by which an optimized and autonomous construction of at least one component of an entity is made possible, so that the construction process or design process takes less time, saves costs and at the same time an optimized solution for a construction task/design task can be found.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 11, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.This object is achieved according to the invention with regard to a method by the features of patent claim 1, with regard to a system by the features of patent claim 11, and with regard to a computer program product by the features of patent claim 15. The further claims relate to preferred embodiments of the invention.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zum autonomen Konstruieren und/oder Designen von zumindest einer Komponente einer Entität bereit. Das Verfahren umfasst die folgenden Verfahrensschritte:
- - Generieren von natürlichen und/oder sensorbasierten Daten in einem Eingabemodul, wobei die Daten Textnachrichten, Sprachnachrichten, Bilder, Diagramme, und/oder Videosequenzen in Bezug auf die Komponente und/oder die Entität umfassen, die von einer natürlichen Person und/oder Sensoren erzeugt werden und/oder aus einer Datenbank abgerufen werden;
- - Übermitteln der natürlichen und/oder sensorbasierten Daten an ein Transformermodul, wobei das Transformermodul Algorithmen der künstlichen Intelligenz verwendet;
- - Transformieren der natürlichen und/oder sensorbasierten Daten in codierte Daten als Zustände si, Parameter pi, Parameterwerte und/oder Eigenschaften ei der Komponente, so dass sie von einem Lernverstärkungsmodul bearbeitbar sind, das einen Algorithmus des verstärkenden Lernens verwendet;
- - Weitergeben der codierten Daten an das Lernverstärkungsmodul und Berechnen von modellierten Werten für die Zustände si, Parameter pi, Parameterwerte und/oder Eigenschaften ei der Komponente zur Erzeugung von Ausgabedaten;
- - Ausgeben der Ausgabedaten durch ein Ausgabemodul.
- - Generate natural and/or sensor-based data in an input module, the data comprising text messages, voice messages, images, diagrams, and/or video sequences relating to the component and/or entity generated by a natural person and/or sensors and/or retrieved from a database;
- - Transmitting the natural and/or sensor-based data to a transformer module, the transformer module using artificial intelligence algorithms;
- - Transforming the natural and/or sensor-based data into encoded data as states s i , parameters p i , parameter values and/or properties e i of the component such that they are operable by a learning reinforcement module using a reinforcement learning algorithm;
- - passing the coded data to the learning reinforcement module and calculating modeled values for the states s i , parameters p i , parameter values and/or properties e i of the component to generate output data;
- - Outputting the output data by an output module.
In einer Weiterentwicklung ist vorgesehen, dass das Transformermodul zumindest einen Encoder und zumindest einen Decoder aufweist, die durch zumindest einen Trainingsdatensatz und einen Aufmerksamkeitsalgorithmus trainiert werden, um natürliche und/oder sensorbasierte Daten in codierte Daten für das Lernverstärkungsmodul zu transformieren.A further development provides that the transformer module has at least one encoder and at least one decoder, which are trained by at least one training data set and an attention algorithm in order to transform natural and/or sensor-based data into coded data for the learning reinforcement module.
Vorteilhafterweise verwenden der Encoder und der Decoder neuronale Netze und/oder rekurrente neuronale Netze und/oder gefaltete neuronale Netze (Convolutional Neural Networks).Advantageously, the encoder and the decoder use neural networks and/or recurrent neural networks and/or convolutional neural networks.
In einer vorteilhaften Ausführungsform ist der Algorithmus des verstärkenden Lernens des Lernverstärkungsmoduls als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation oder als Actor-Critic ausgebildet.In an advantageous embodiment, the reinforcement learning algorithm of the learning reinforcement module is designed as a Markov decision process or as temporal difference learning (TD learning) or as Q-learning or as SARSA or as a Monte Carlo simulation or as an actor-critic.
Insbesondere stellt ein Parameter pi und/oder ein Parameterwert und/oder eine Eigenschaften ei der Komponente eine Dimension, ein Material, eine Formgebung, einen Kennwert, einen Messwert, einen Sicherheitsfaktor, einen thermischen Widerstand, einen elektrischen Widerstand, eine Leitfähigkeit, eine Festigkeit, ein Bruchverhalten, eine Farbe, eine Dichte, eine plastische Verformung, einen Spannungs-, Druck,- Biegungswiderstand, eine Werkstoffeigenschaft, eine Oberflächeneigenschaft oder eine Wärmebehandlung dar.In particular, a parameter p i and/or a parameter value and/or a property e i of the component represents a dimension, a material, a shape, a characteristic value, a measured value, a safety factor, a thermal resistance, an electrical resistance, a conductivity, a Strength, fracture behavior, color, density, plastic deformation, stress, compression, flexural resistance, material property, surface property or heat treatment.
In einer Ausführungsform weist das Lernverstärkungsmodul zumindest einen Lernverstärkungs-Agenten, ein Aktionsmodul, ein Umgebungsmodul, ein Zustandsmodul und ein Belohnungsmodul auf.In one embodiment, the learning reinforcement module includes at least a learning reinforcement agent, an action module, an environment module, a state module, and a reward module.
Insbesondere ist vorgesehen, dass ein Zustand si der Komponente durch das Zustandsmodul bestimmt wird, wobei ein Zustand si durch Parameter pi und/oder Parameterwerte und/oder eine Eigenschaft ei der Komponente definiert wird.In particular, it is provided that a state s i of the component is determined by the state module, a state s i being defined by parameters p i and/or parameter values and/or a property e i of the component.
In einer Weiterentwicklung ist vorgesehen, dass eine Berechnungsfunktion fi und/oder eine Aktion ai basierend auf einer Richtlinie für den Zustand si ausgewählt wird für die Modifizierung zumindest eines Parameters pi und/oder eines Parameterwertes und/oder einer Eigenschaft ei der Komponente von dem Lernverstärkungs-Agenten; wobei ein neuer Zustand si+1 von dem Umgebungsmoduls aufgrund des modifizierten Wertes für den Parameter pi und/oder den Parameterwert und/oder die Eigenschaft ei berechnet wird; wobei der neue Zustand si+1 mit einem Ziel-Zustand st verglichen wird und eine Abweichung Δ für ein Vergleichsergebnis in dem Zustandsmodul berechnet wird; wobei eine Belohnung ri von dem Belohnungsmodul für das Vergleichsergebnis ermittelt wird; und wobei die Zustände si und/oder Aktionen ai so lange geändert werden, bis der Ziel-Zustand st erreicht ist, der in Form von Ausgabedaten ausgegeben wird.A further development provides that a calculation function f i and/or an action a i is selected based on a guideline for the state si for modifying at least one parameter p i and/or a parameter value and/or a property e i der component of the learning reinforcement agent; wherein a new state s i+1 is calculated by the environment module based on the modified value for the parameter p i and/or the parameter value and/or the property e i ; wherein the new state s i+1 is compared with a target state s t and a deviation Δ for a comparison result is calculated in the state module; wherein a reward r i is determined by the reward module for the comparison result; and wherein the states s i and/or actions a i are changed until the target state s t is reached, which is output in the form of output data.
Vorteilhafterweise ist vorgesehen, dass das Transformermodul und/oder das Lernverstärkungsmodul über eine oder mehrere technische Schnittstellen und Protokolle für den Zugang zu einer Cloud-Computing-Infrastruktur verfügt/verfügen oder in einer Cloud-Computing-Infrastruktur integriert ist/sind.It is advantageously provided that the transformer module and/or the learning reinforcement module has/have one or more technical interfaces and protocols for access to a cloud computing infrastructure or is/are integrated in a cloud computing infrastructure.
In einer Weiterentwicklung ist vorgesehen, dass das Ausgabemodul ein Ausgabe-Transformermodul aufweist, das die Ausgabedaten in Ergebnisdaten transformiert, wobei die Ergebnisdaten als Konstruktionspläne, Bilder und Graphiken, Videosequenzen, akustische Sequenzen, Hologramme, Kennzahlen, Diagramme, mathematische Formeln und/oder Power-Point Präsentationen, etc. ausgebildet sind.A further development provides that the output module has an output transformer module that transforms the output data into result data, with the result data being available as construction plans, images and graphics, video sequences, acoustic sequences, holograms, key figures, diagrams, mathematical formulas and/or power Point presentations, etc. are trained.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zum autonomen Konstruieren und/oder Designen von zumindest einer Komponente einer Entität bereit. Das System umfasst ein Eingabemodul, das ausgebildet ist, natürliche und/oder sensorbasierte Daten zu generieren, wobei die natürlichen und/oder sensorbasierten Daten Textnachrichten, Sprachnachrichten, Bilder, Diagramme, Videosequenzen in Bezug auf die Komponente und/oder die Entität umfassen, die von einer natürlichen Person und/oder Sensoren erzeugbar sind und/oder aus einer Datenbank abrufbar sind; ein Transformermodul, das Algorithmen der künstlichen Intelligenz verwendet und ausgebildet ist, die natürlichen und/oder sensorbasierten Daten in codierte Daten als Zustände si, Parameterpi, Parameterwerte und/oder Eigenschaften ei der Komponente derart zu transformieren, dass die codierten Daten von einem Lernverstärkungsmodul bearbeitbar sind, das einen Algorithmus des verstärkenden Lernens verwendet; das Lernverstärkungsmodul, das ausgebildet ist, modellierte Werte für die Zustände si, Parameterpi, Parameterwerte und/oder Eigenschaften ei der Komponente zur Erzeugung von Ausgabedaten zu berechnen; und ein Ausgabemodul, das ausgebildet ist, die Ausgabedaten auszugeben.According to a second aspect, the invention provides a system for autonomously constructing and/or designing at least one component of an entity. The system includes an input module configured to generate natural and/or sensor-based data, the natural and/or sensor-based data comprising text messages, voice messages, images, diagrams, video sequences related to the component and/or the entity generated by a natural person and/or sensors can be generated and/or can be retrieved from a database; a transformer module that uses artificial intelligence algorithms and is designed to transform the natural and/or sensor-based data into encoded data as states s i , parameter p i , parameter values and/or properties e i of the component in such a way that the encoded data from a Learning reinforcement module that uses a reinforcement learning algorithm; the learning reinforcement module configured to provide modeled values for the states s i , parameters p i , calculate parameter values and/or properties of the component to generate output data; and an output module configured to output the output data.
In einer Weiterentwicklung ist vorgesehen, dass das Transformermodul zumindest einen Encoder und zumindest einen Decoder aufweist, die ausgebildet sind, durch zumindest einen Trainingsdatensatz und einen Aufmerksamkeitsalgorithmus trainiert zu werden, um natürliche und/oder sensorbasierte Daten in codierte Daten für das Lernverstärkungsmodul zu transformieren.A further development provides that the transformer module has at least one encoder and at least one decoder, which are designed to be trained by at least one training data set and an attention algorithm in order to transform natural and/or sensor-based data into coded data for the learning reinforcement module.
Vorteilhafterweise verwenden der Encoder und/oder der Decoder neuronale Netze und/oder rekurrente neuronale Netze und/oder gefaltete neuronale Netze (Convolutional Neural Networks).Advantageously, the encoder and/or the decoder use neural networks and/or recurrent neural networks and/or folded neural networks (convolutional neural networks).
In einer Ausführungsform ist vorgesehen, dass das Lernverstärkungsmodul zumindest einen Lernverstärkungs-Agenten, ein Aktionsmodul, ein Umgebungsmodul, ein Zustandsmodul und ein Belohnungsmodul aufweist.In one embodiment it is provided that the learning reinforcement module has at least one learning reinforcement agent, an action module, an environment module, a state module and a reward module.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.According to a third aspect, the invention provides a computer program product comprising executable program code configured, when executed, to carry out the method according to the first aspect.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.The invention is explained in more detail below with reference to exemplary embodiments illustrated in the drawing.
Dabei zeigt:
-
1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems; -
2 ein Blockdiagramm eines Lernverstärkungsmoduls; -
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens; -
4 ein Blockdiagramm eines Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.
-
1 a block diagram to explain an embodiment of a system according to the invention; -
2 a block diagram of a learning reinforcement module; -
3 a flowchart to explain the individual steps of a method according to the invention; -
4 a block diagram of a computer program product according to an embodiment of the third aspect of the invention.
Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.Additional features, aspects and advantages of the invention or embodiments thereof will become apparent from the detailed description coupled with the claims.
Es kann sich im Rahmen der Erfindung bei einer Komponente 10 aber auch um eine elektrische, elektronische, mechatronische, hydraulische, chemische, biologische oder hybride Komponente handeln.Within the scope of the invention, however, a
Allgemein lässt sich eine Komponente 10 somit durch Parameter, Parameterwerte und Eigenschaften beschreiben. Bei der Entität 20 kann es sich um ein Fahrzeug wie beispielsweise ein Kraftfahrzeug, ein autonom fahrendes Fahrzeug, ein landwirtschaftliches Fahrzeug wie einen Mähdrescher, einen Roboter in der Produktion oder in Service- und Pflegeeinrichtungen, oder um ein Wasserfahrzeug oder um ein Flugobjekt wie eine Drohne handeln. Es kann sich bei der Entität 20 aber auch um ein Bauteil oder ein System wie ein Bremssystem, einen Elektromotor oder einen Verbrennungsmotor für ein Kraftfahrzeug, oder eine Energieerzeugungsanlage wie eine Photovoltaikanlage oder eine Windkraftanlage, oder eine Produktionsanlage zur Herstellung eines Produktes handeln, wie beispielsweise um eine Produktionsanlage zur Herstellung eines Kraftfahrzeugs. Insbesondere kann die Entität 20 als ein wissenschaftliches Analyseinstrument wie ein Spektrometer, ein Seismograph, etc. oder als medizinisches Gerät zur Diagnose und Unterstützung von Körperfunktionen ausgebildet sein.In general, a
Es kann sich bei der Entität 20 aber auch um Modellrechnungen für wissenschaftliche Studien, Klimamodelle, ökonomische Modelle wie den Aktienhandel, Entwicklungsprojekte wie eine Medikamentenentwicklung oder eine Produkteinwicklung, Verwaltungsaufgaben, Routenplanung, Softwareentwicklungen beispielsweis für autonomes Fahren, etc. handeln.However, the
Das erfindungsgemäße System 100 beruht auf Methoden des verstärkenden Lernens und umfasst ein Eingabemodul 200, ein Transformermodul 300, ein Lernverstärkungsmodul 400 und ein Ausgabemodul 800. Das Transformermodul 300 weist zumindest einen Encoder 320 und einen Decoder 340 auf. Insbesondere ist eine Vielzahl von Encodern 320 und Decoder in Reihe geschaltet. Wie in der
Das Eingabemodul 200, das Transformermodul 300, das Lernverstärkungsmodul 400 und das Ausgabemodul 500 können jeweils mit einem Prozessor und/oder einer Speichereinheit versehen sein.The
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert. Insbesondere kann der Prozessor hochparallele Recheneinheiten und leistungsfähige Grafikmodule enthalten.In the context of the invention, a “processor” can be understood to mean, for example, a machine or an electronic circuit. A processor can in particular be a central processing unit (CPU), a microprocessor or a microcontroller, for example an application-specific integrated circuit or a digital signal processor, possibly in combination with a memory unit for storing program instructions, etc . A processor can also be understood to mean a virtualized processor, a virtual machine or a soft CPU. It can also be a programmable processor, for example, which is equipped with configuration steps for executing the mentioned method according to the invention or is configured with configuration steps in such a way that the programmable processor has the inventive features of the method, the component, the modules, or other aspects and/or or realized partial aspects of the invention. In particular, the processor can contain highly parallel computing units and powerful graphics modules.
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.In the context of the invention, a “memory unit” or “memory module” and the like can mean, for example, a volatile memory in the form of a random-access memory (RAM) or a permanent memory such as a hard disk or a data carrier or e.g. B. be understood as a removable memory module. However, the storage module can also be a cloud-based storage solution.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.In connection with the invention, a “module” can be understood to mean, for example, a processor and/or a memory unit for storing program instructions. For example, the processor is specially set up to execute the program instructions in such a way that the processor and/or the control unit executes functions in order to implement or realize the method according to the invention or a step of the method according to the invention.
Zudem kann das Transformermodul 300 und/oder das Lernverstärkungsmodul 400 mit Sensoren 500 verbunden sein, die Daten von der Entität 20 und/oder der Komponente 10 an das das Lernverstärkungsmodul 400, insbesondere an das Umgebungsmodul 430 übermitteln. Die Sensoren 500 können als Uhren, Zähler, Drucksensoren, Piezosensoren, Drehzahlsensoren, Beschleunigungssensoren, Geschwindigkeitssensoren, kapazitive Sensoren, induktive Sensoren, Temperatursensoren, bildaufnehmende Kameras im sichtbaren Bereich, UV-Kameras im ultravioletten Bereich, IR-Kameras im infraroten Bereich, LIDAR (Light detection and ranging) Systeme mit optischer Abstands- und Geschwindigkeitsmessung, stereoskopische optische Kamerasysteme, Ultraschallsysteme, und/oder Radarsysteme ausgebildet sind.In addition, the
Bei den von den Sensoren 500 ermitteln Daten kann es sich um Bilder und/oder Daten über physikalische, chemische, biometrische und/oder physiologische Prozesse und Zustände handeln.The data determined by the
Des Weiteren kann das Transformermodul 300 und/oder das Lernverstärkungsmodul 400 mit zumindest einer Datenbank 520 verbunden sein, in der historische Daten in Form von Bildern, Graphiken, Zeitreihen, Kenngrößen, etc. gespeichert sind. So können beispielsweise Zielgrößen und Zielwerte in der Datenbank 520 abgelegt sein, die einen Sicherheitsstandard definieren. Unter „Datenbank“ ist sowohl ein Speicheralgorithmus als auch die Hardware in Form einer Speichereinheit zu verstehen. Insbesondere kann die Datenbank 520 als Cloud-Computing-Infrastruktur 700 ausgebildet sein.Furthermore, the
Unter „Daten“ sind im Zusammenhang mit der Erfindung sowohl Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren 500 und/oder in der Datenbank 520 und/ oder einer Cloud-Computing-Infrastruktur 700 gespeicherte Daten zu verstehen.In connection with the invention, “data” is understood to mean both raw data and already processed data from the measurement results of the
Die von den Sensoren 500 aufgenommenen Daten werden mittels Kommunikationsverbindungen wie beispielsweise ein CAN-Bus-System (Controller Area Network) an das Transformermodul 300 und/oder das Lernverstärkungsmodul 400 weitergeleitet. Es können aber auch drahtlose Verbindungen vorgesehen sein. Eine drahtlose Kommunikationsverbindung ist insbesondere als Mobilfunkverbindung und/oder einer Nahfeldkommunikationsverbindung wie Bluetooth®, Ethernet, NFC (near field communication) oder Wi-Fi® ausgebildet.The data recorded by the
Das Eingabemodul 200 ist insbesondere als Benutzerschnittstelle zur Eingabe und Generierung von natürlichen und/oder sensorbasierten Daten 250 in Form von Textnachrichten und/oder Sprachnachrichten und/oder Bildern und Graphiken ausgebildet. Hierzu sind insbesondere eine Tastatur, ein Mikrofon, eine Kamera und/oder ein als Touchscreen ausgebildetes Display vorgesehen.The
Das Ausgabemodul 800 ist zur Ausgabe von Ergebnisdaten 850 wie Konstruktionsplänen oder Daten über zu wählende Parameter wie ein Material, eine Dimension, etc., Parameterwerte und weitere Eigenschaften ausgebildet. Das Eingabemodul 200 und das Ausgabemodul 800 können in einem Hardwaregerät wie einem Computer, einem Tablet, einem Smartphone, etc. integriert sein.The
Das Transformermodul 300 und/oder das Lernverstärkungsmodul 400 können als selbstständige Rechnereinheiten oder als cloudbasierte Lösung ausgebildet sein. Die Datenbank 520 kann auch in der Cloud-Computing-Infrastruktur 700 integriert sein.The
Es kann vorgesehen sein, dass insbesondere das Eingabemodul 200 und/oder die Sensoren 500 und/oder das Ausgabemodul 800 mit Mobilfunkmodulen des 5G-Standards ausgestattet sind. 5G ist der Mobilfunkstandard der fünften Generation und zeichnet sich im Vergleich zum 4G-Mobilfunkstandard durch höhere Datenraten bis zu 10 Gbit/sec, der Nutzung höherer Frequenzbereiche wie beispielsweise 2100, 2600 oder 3600 Megahertz, eine erhöhte Frequenzkapazität und damit einen erhöhten Datendurchsatz und eine Echtzeitdatenübertragung aus, da bis zu eine Million Geräte pro Quadratkilometer gleichzeitig ansprechbar sind. Die Latenzzeiten betragen wenige Millisekunden bis unter 1 ms, so dass Echtzeitübertragungen von Daten und von Berechnungsergebnissen möglich sind. Die von den Sensoren 500 aufgenommenen Daten können in Echtzeit an das in der Cloud-Computing-Infrastruktur 700 integrierte Transformermodul 300 und/oder Lernverstärkungsmodul 400 gesendet werden, wo eine Simulation der Parameter und Eigenschaften zumindest einer Komponente 10 der Entität 20 durchgeführt wird.It can be provided that in particular the
Diese Geschwindigkeit bei der Datenübermittlung ist erforderlich, wenn cloudbasierte Lösungen für die Verarbeitung der Daten verwendet werden sollen. Cloudbasierte Lösungen bieten den Vorteil von hohen und damit schnellen Rechenleistungen. Um die Verbindung zu der Cloud-Computing-Infrastruktur 700 mittels einer Mobilfunkverbindung zu schützen, sind insbesondere kryptographische Verschlüsselungsverfahren vorgesehen. Kryptographische Verschlüsselungsverfahren können aber auch für die Verbindung zwischen den Sensoren 500 und dem Transformermodul 300 und/oder dem Lernverstärkungsmodul 400 als auch für Verbindungen zwischen dem Eingabemodul 200 und dem Transformermodul 300 und/oder der Verbindung zwischen dem Transformermodul 300 und dem Lernverstärkungsmodul 400 und/oder der Verbindung zwischen dem Lernverstärkungsmodul 400 und dem Ausgabemodul 800 vorgesehen sein.This speed of data transmission is required if cloud-based solutions are to be used to process the data. Cloud-based solutions offer the advantage of high and therefore fast computing power. In order to protect the connection to the
Die von dem Eingabemodul 200 generierten Daten 250 in Form von Textnachrichten und/oder Sprachnachrichten und/oder Bildern und Graphiken werden an den Encoder 320 des Transformermoduls 200 zur weiteren Bearbeitung weitergegeben. Die natürlichen und/oder sensorbasierten Daten 250 können durch Eingabe von Textnachrichten generiert werden, die beispielsweise wie folgt lauten können:
- a) Minimieren der Komponentenquerschnittsfläche, um sicherzustellen, dass die Zugspannung nicht höher als 150 MPa ist und die Zugkraft zwischen 1000 und 5000 N liegt
- b) Maximieren der Biegespannung
- c) Festlegen, dass die Länge der Komponente im Bereich von 1, 2 - 1,8 m liegt
- d) Festlegen, dass bei der Optimierung der Komponente der Durchmesser die Größe von 30 mm nicht überschreitet
- a) Minimizing the component cross-sectional area to ensure that the tensile stress is not higher than 150 MPa and the tensile force is between 1000 and 5000 N
- b) maximizing the bending stress
- c) Determine that the length of the component is in the range of 1.2 - 1.8 m
- d) Determine that when optimizing the component, the diameter does not exceed the size of 30 mm
Die natürlichen und/oder sensorbasierten Daten 250 werden in dem Transformermodul 200 derart transformiert, dass sie als codierte Daten 350 an das Lernverstärkungsmodul 400 weitergegeben werden können.The natural and/or sensor-based
Diese codierten Daten 350 können dann für die beispielhaften eingegebenen Textnachrichten in folgender Weise aussehen:
- a) p < 150 MPa und F2 - F1 = 5000 - 1000 = 4000 Nm A ≤ F2 - F1 / p
- b) p > 400 MPa
- c) 1,2 m < I <1,8 m
- d) d < 30 mm
- a) p < 150 MPa and F 2 - F 1 = 5000 - 1000 = 4000 Nm A ≤ F 2 - F 1 / p
- b) p > 400 MPa
- c) 1.2m<I<1.8m
- d) d<30mm
Es werden somit durch das Transformermodul 300 natürliche und/oder sensorbasierte Daten 250 wie Textnachrichten und Sprachnachrichten in physikalische Parameter und Parameterwerte übersetzt. Darüber hinaus kann es sich bei den Daten 250 auch um Bilder, Videosequenzen und Graphiken handeln, aus denen das Transformermodul 300 physikalische und andere Parameter, Parameterwerte und Eigenschaften ableitet.The
Hierzu verwendet das Transformermodul 300 den Encoder 320 und den Decoder 340, um eine Folge von Zeichen wie Sprachsignale oder Textbotschaften in eine andere Folge von Zeichen zu übersetzen. Hierzu verwenden der Encoder 320 und der Decoder 340 Algorithmen der künstlichen Intelligenz wie Deep Learning und der maschinellen Bildanalyse, um die natürlichen und/oder sensorbasierten Daten 250 zu bearbeiten. Vorteilhaftweise werden neuronale Netze, rekurrente neuronale Netze und/oder gefaltete neuronale Netze hierfür verwendet. Insbesondere werden Aufmerksamkeitsalgorithmen eingesetzt, die eine kognitive Aufmerksamkeit imitieren. Insbesondere verwenden Aufmerksamkeitsalgorithmen gefaltete neuronale Netze. Ein Beispiel für einen Aufmerksamkeitsalgorithmus ist der GPT 2/3 von Open AI. Der Aufmerksamkeitsalgorithmus klassifiziert die wichtigen Teile der natürlichen und/oder sensorbasierten Daten 250 und blendet die weniger wichtigen aus. Durch Training mit einem Trainingsdatensatz und dem Aufmerksamkeitsalgorithmus kann das Transformermodul 300 lernen, welche Datenteile für einen bestimmten Kontext von Bedeutung sind und welche nicht.To do this, the
Ein neuronales Netzwerk besteht aus Neuronen, die in mehreren Schichten angeordnet und unterschiedlich miteinander verbunden sind. Ein Neuron ist in der Lage, an seinem Eingang Informationen von außerhalb oder von einem anderen Neuron entgegenzunehmen, die Information in einer bestimmten Art zu bewerten und sie in veränderter Form am Neuronen-Ausgang an ein weiteres Neuron weiterzuleiten oder als Endergebnis auszugeben. Hidden-Neuronen sind zwischen den Input-Neuronen und Output-Neuronen angeordnet. Je nach Netzwerktyp können mehrere Schichten von Hidden-Neuronen vorhanden sein. Sie sorgen für die Weiterleitung und Verarbeitung der Informationen. Output-Neuronen liefern schließlich ein Ergebnis und geben dieses an die Außenwelt aus. Durch die Anordnung und die Verknüpfung der Neuronen entstehen verschiedene Typen von neuronalen Netzwerken wie Feedforward-Netzwerke, Rekurrente Netzwerke oder gefaltete neuronale Netze (engl. Convolutional Neural Networks). Die Netzwerke lassen sich durch unbeaufsichtigtes oder überwachtes Lernen trainieren.A neural network consists of neurons that are arranged in several layers and connected to each other in different ways. A neuron is able to receive information from outside or from another neuron at its input, to evaluate the information in a certain way and to pass it on to another neuron in a changed form at the neuron output or to output it as the end result. Hidden neurons are located between the input neurons and output neurons. Depending on the network type, there can be several layers of hidden neurons. They ensure the forwarding and processing of the information. Finally, output neurons deliver a result and output it to the outside world. The arrangement and linking of the neurons results in different types of neural networks such as feedforward networks, recurrent networks or convolutional neural networks. The networks can be trained through unsupervised or supervised learning.
Das Convolutional Neural Network ist eine besondere Form eines künstlichen neuronalen Netzwerks. Es besitzt mehrere Faltungsschichten und ist für maschinelles Lernen und Anwendungen mit Künstlicher Intelligenz (KI) im Bereich der Mustererkennung sehr gut geeignet. Die Funktionsweise eines Convolutional Neural Networks ist zu einem gewissen Teil biologischen Vorgängen nachempfunden und der Aufbau ist vergleichbar der Sehrinde des Gehirns. Das Training eines Convolutional Neural Networks findet gewöhnlich überwacht statt. Herkömmliche neuronale Netzwerke bestehen aus voll- oder teilvermaschten Neuronen in mehreren Ebenen. Diese Strukturen stoßen jedoch bei der Verarbeitung von Bildern an ihre Grenzen, da eine der Pixelanzahl entsprechende Zahl an Eingängen vorhanden sein müsste. Das Convolutional Neural Network setzt sich aus verschiedenen Schichten zusammen und ist vom Grundprinzip ein zum Teil lokal vermaschtes neuronales Feedforward-Netzwerk. Die einzelnen Schichten des CNN sind die Convolutional-Schicht, die Pooling-Schicht und die vollständig vermaschte Schicht. Die Convolutional-Schicht ist die eigentliche Faltungsebene und in der Lage, in den Eingabedaten einzelne Merkmale zu erkennen und zu extrahieren. Bei der Muster- und Bilderkennung können dies Merkmale wie Linien, Kanten oder bestimmte Formen sein. Die Verarbeitung der Eingabedaten erfolgt in Form von Tensoren wie einer Matrix oder Vektoren. Die Pooling-Schicht, auch Subsampling-Schicht genannt, verdichtet und reduziert die Auflösung der erkannten Merkmale durch passende Filterfunktionen. Durch das reduzierte Datenaufkommen erhöht sich die Berechnungsgeschwindigkeit.The convolutional neural network is a special form of an artificial neural network. It has multiple layers of convolution and is well suited for machine learning and artificial intelligence (AI) applications in the field of pattern recognition. The functionality of a convolutional neural network is to a certain extent modeled on biological processes and the structure is comparable to the visual cortex of the brain. The training of a convolutional neural network usually takes place under supervision. Conventional neural networks consist of fully or partially meshed neurons in several levels. However, these structures reach their limits when processing images, since there would have to be a number of inputs corresponding to the number of pixels. The convolutional neural network is made up of different layers and is based on the basic principle of a partly locally meshed neural feedforward network. The individual layers of the CNN are the convolutional layer, the pooling layer and the fully meshed layer. The convolutional layer is the actual convolution layer and is able to recognize and extract individual features in the input data. In the case of pattern and image recognition, these can be features such as lines, edges or specific shapes. The input data is processed in the form of tensors such as a matrix or vectors. The pooling layer, also known as the subsampling layer, compresses and reduces the resolution of the recognized features using appropriate filter functions. The reduced data volume increases the calculation speed.
Das Convolutional Neural Network (CNN) bietet daher gegenüber herkömmlichen nicht gefalteten neuronalen Netzen zahlreiche Vorteile. Es eignet sich für maschinelles Lernen und Anwendungen der Künstlichen Intelligenz mit großen Mengen an Eingabedaten wie in der Muster- und Bilderkennung. Das Netzwerk arbeitet zuverlässig und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das CNN kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes. Da das CNN in mehrere lokale, teilvermaschte Schichten aufgeteilt ist, hat es einen wesentlich geringeren Speicherplatzbedarf als vollvermaschte neuronale Netze. Die Faltungsschichten reduzieren die Speicheranforderungen drastisch. Ebenfalls stark verkürzt ist die Trainingszeit des Convolutional Neural Networks. Mit dem Einsatz moderner Grafikprozessoren lassen sich CNNs sehr effizient trainieren.The convolutional neural network (CNN) therefore offers numerous advantages over conventional non-convoluted neural networks. It is suitable for machine learning and artificial intelligence applications with large amounts of input data, such as in pattern and image recognition. The network works reliably and is not sensitive to distortions or other optical changes. CNN can process images captured under different lighting conditions and from different perspectives. It still recognizes the typical features of an image. Since the CNN is divided into several local, partially meshed layers, it requires significantly less storage space than fully meshed neural networks. The convolutional layers drastically reduce storage requirements. The training time of the convolutional neural network is also greatly reduced. With the use of modern graphics processors, CNNs can be trained very efficiently.
Die durch das Transformermodul 300 codierten Daten 350 werden dem Lernverstärkungsmodul 400 zugeführt. Die Daten 350 dienen als Eingabe für das das Aktionsmodul 420, das Umgebungsmodul 430, das Zustandsmodul 440 und/oder das Belohnungsmodul 450.The
In dem Lernverstärkungsmodul 400 wählt der Lernverstärkungs-Agent (LV) (Reinforcement Learning Agent) 410 einen bestimmten Zustand si ∈ S aus einer Menge verfügbarer Zustände für zumindest eine Aktion ai ∈ A aus einer Menge verfügbarer Aktionen aus. Für die ausgewählte Aktion ai erhält der LV-Agent 410 eine Belohnung, die positiv, neutral oder negativ sein kann. Die Zustände si ∈ S erhält der LV-Agent 410 von dem Zustandsmodul 440, das die codierten Daten 350 des Transformermoduls 300 enthält. Zudem können weitere Daten von verschiedenen Sensoren 500 und/oder der Datenbank 520 verarbeitet werden und diesen verarbeiteten Daten Zustände si ∈ S zuordnet werden, auf die der LV-Agent 410 zugreifen kann.In the
Der LV-Agent 410 wählt für einen bestimmten Zustand si ∈ S aus einer Menge verfügbarer Zustände zumindest eine Aktion ai ∈ A aus einer Menge verfügbarer Aktionen aus. Die Wahl der ausgewählten Aktion ai basiert auf einer Strategie bzw. Richtlinie (engl.: policy). Für die ausgewählte Aktion ai erhält der Agent 410 eine Belohnung (engl.: reward) ri ∈ ℝ von dem Belohnungsmodul 450. Die Zustände si ∈ S erhält der LV-Agent 410 von dem Zustandsmodul 440. Die Strategie wird auf der Grundlage der erhaltenen Belohnungen ri angepasst. In der Strategie ist festgelegt, welche Aktion ai ∈ A aus der Menge verfügbarer Aktionen für einen bestimmten Zustand si ∈ S aus der Menge verfügbarer Zustände ausgewählt werden soll. Hierdurch wird ein neuer Zustand si+1 erzeugt, für den der LV-Agent 410 eine Belohnung ri erhält. Eine Strategie legt somit die Zuordnung zwischen einem Zustand si und einer Aktion ai fest, so dass die Strategie die Wahl der auszuführenden Aktion ai für einen Zustand si angibt. Das Ziel des LV-Agenten 410 ist es dabei, die erzielten Belohnungen ri, ri+1, ..., ri+n zu maximieren.The
Im Aktionsmodul 420 werden die vom LV-Agenten 410 ausgewählten Aktionen ai durchgeführt. Durch eine Aktion ai wird eine Anpassung eines Parameters pi und/oder eines Parameterwertes und/oder einer Eigenschaft ei der Komponente 10, die konstruiert oder designt werden soll, vorgenommen. Vorzugsweise handelt es sich bei der Aktion ai um eine der Aktionen A(+), A(0) und A(-). Bei einer positiven Aktion A(+) handelt es sich um eine Aktion, die beispielsweise den Wert für einen Parameter pi erhöht, bei einer neutralen Aktion A(0) handelt es sich um ein Aktion, bei der der Wert des Parameters pi gleichbleibt, während bei einer negativen Aktion A(-) der Wert des Parameters pi verringert wird.In the
Das Umgebungsmodul 430 berechnet aufgrund der gewählten Aktion ai und unter Berücksichtigung von zuvor festgelegten Randbedingungen (engl.: constraints) die Zustände si ∈ S. Bei den Randbedingungen kann es sich auch um wirtschaftliche Aspekte wie die Kostenstruktur, die Energiekosten, die Umweltbilanz, die Verfügbarkeit oder die Liefersituation handeln.The
Ein Zustand si ∈ S ist somit durch die Auswahl von bestimmten Parametern pi , Parameterwerte und/oder Eigenschaften ei definiert und damit durch gemessene und/oder berechnete Werte von ausgewählten Parametern pi und/oder Eigenschaften ei gekennzeichnet. Bei den Eigenschaften ei kann es sich beispielsweise um einen Sicherheitskoeffizienten, den Energieaufwand bei der Herstellung, die Klimaverträglichkeit, etc. handeln.A state s i ∈ S is thus defined by the selection of specific parameters p i , parameter values and/or properties e i and is therefore characterized by measured and/or calculated values of selected parameters p i and/or properties e i . The properties e i can be, for example, a safety coefficient, the energy consumption during production, climate compatibility, etc.
In dem Belohnungsmodul 450 wird dem Grad der Abweichung Δ zwischen dem berechneten Wert für den Zustand si und dem Zielwert eines Ziel-Zustands st eine Belohnung ri zugeordnet. Da der Grad der Abweichung Δ von der Auswahl der jeweiligen Aktion A(+), A(0), A(-) abhängig ist, wird vorzugsweise in einer Matrix oder einer Datenbank der jeweiligen ausgewählten Aktion A(+), A(0), A(-) die Belohnung ri zugeordnet. Eine Belohnung ri weist vorzugsweise die Werte +1 und -1 auf, wobei eine geringe oder positive Abweichung Δ zwischen dem berechneten Zustand si und dem Ziel-Zustand st mit +1 belohnt wird und somit verstärkt wird, während eine erhebliche negative Abweichung Δ mit -1 belohnt wird und somit negativ bewertet wird. Es ist aber auch denkbar, dass Werte > 1 und Werte < 1 Verwendung finden. Der Endzustand ist erreicht, wenn die berechneten Zustände si gleich oder größer als der Ziel-Zustand st sind.In the
Vorzugsweise wird als Algorithmus für den LV-Agenten 410 ein Markov-Entscheidungsprozess verwendet. Es kann aber auch vorgesehen sind, einen Temporal Difference Learning (TD-Learning)-Algorithmus zu verwenden. Der LV-Agent 410 mit einem TD-Learning-Algorithmus nimmt die Anpassung der Aktionen A(+), A(0), A(-) nicht erst dann vor, wenn er die Belohnung erhält, sondern nach jeder Aktion ai auf Basis einer geschätzten erwarteten Belohnung. Des Weiteren sind auch Algorithmen wie Q-Learning und SARSA denkbar oder Actor-Critic oder auch Monte-Carlo-Simulationen. Mit dem Algorithmus ist eine dynamische Programmierung und eine Anpassung der Strategie durch Iterationsverfahren möglich.A Markov decision process is preferably used as the algorithm for the
Darüber hinaus enthält der LV-Agent 410 und/oder das Aktionsmodul 420 und/oder das Umgebungsmodul 430 und/oder das Zustandsmodul 440 und/oder das Belohnungsmodul 450 Berechnungsverfahren und Algorithmen fi für mathematische Regressionsverfahren oder physikalische Modellberechnungen, die eine Korrelation zwischen ausgewählten Parametern pi und einem Ziel-Zustand st beschreiben. Bei den mathematischen Funktionen ft kann es sich um statistische Verfahren wie Mittelwerte, Minimal- und Maximalwerte, Lookup Tabellen, Modelle zu Erwartungswerten, lineare Regressionsverfahren oder Gauß-Prozesse handeln, um Fast Fourier Transformationen, Integral- und Differentialrechnungen, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, aber auch um erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netze, tiefe neuronale Netze, künstliche neuronale Netze und/oder rückgekoppelte neuronale Netze handeln. Basierend auf den Aktionen ai und den Belohnungen ri wählt der LV-Agent 410 und/oder das Aktionsmodul 420 und/oder das Umgebungsmodul 430 und/oder das Zustandsmodul 440 und/oder das Umgehungsmodul 430 für einen Zustand si eine oder mehrere dieser Berechnungsfunktionen fi aus.In addition, the
Nun beginnt ein zweiter Zyklus zum Konstruieren bzw. Designen der zumindest einen Komponente 10 der Entität 20. Hierbei kann der LV-Agent 410 eine andere Aktion ai+1 und/oder eine andere Berechnungsfunktion fi+1 und/oder einen anderen Parameter pi+1 ausgewählen entsprechend der definierten Strategie bzw. Richtlinie. Das Ergebnis wird wiederum dem Zustandsmodul 440 zugeführt und das Ergebnis des Vergleichs im Belohnungsmodul 450 bewertet. Der LV-Agent 410 wiederholt den Konstruktionsvorgang bzw. Designvorgang für alle vorgesehenen Aktionen ai, ai+1, ...,ai+n, Berechnungsfunktionen fi, fi+1, ..., fi+n und Parameter pi,pi+1, ..., pi+n solange, bis eine größtmögliche Übereinstimmung zwischen einem berechneten Zustand si, si+1, ..., si+n und einem Ziel-Zustand st erreicht ist. Vorzugsweise ist der Endzustand des Konstruktionsvorgangs bzw. des Simulationsvorgangs der Merkmale der Komponente 10 erreicht, wenn die Abweichung Δ im Bereich von +/- 5% liegt. Der LV-Agent 410 optimiert somit sein Verhalten und damit die Strategie, nach der eine Aktion ai ausgewählt wird, solange, bis die berechneten Zustände si, si+1, ..., si+n konvergieren. Das optimierte Ergebnis der Konstruktion bzw. Simulation von Merkmalen der jeweiligen Komponente 10 der Entität kann in Form von Ausgabedaten 470 auf dem Ausgabemodul 800 ausgegeben werden.A second cycle for constructing or designing the at least one
Die Ausgabedaten 470 können direkt von dem Ausgabemodul 800 ausgegeben werden. Es kann aber auch vorgesehen sein, dass das Ausgabemodul 800 über ein Ausgabe-Transformermodul 820 verfügt, das die von dem Lernverstärkungsagenten 400 berechneten Ausgabedaten 470 in für einen Benutzer zugängliches Datenformat in Form von Ergebnisdaten 850 übersetzt. Bei den Ergebnisdaten 850 kann es sich beispielsweise um Konstruktionspläne, Bilder und Graphiken, Videosequenzen, akustische Sequenzen, Hologramme, Kennzahlen, Diagramme, mathematische Formeln, Power-Point Präsentationen, etc. handeln. Hierzu kann das Ausgabe-Transformermodul 820 ebenfalls zumindest einen Encoder und einen Decoder bzw. von in Reihe geschaltete Encoder und Decoder aufweisen.The
Insbesondere kann vorgesehen sein, dass die Berechnungsergebnisse in Form von Zuständen, Aktionen, Belohnungen und Strategien in der Cloud-Computing-Infrastruktur 700 gespeichert werden und jeweils über das Internet verfügbar sind. Der LV-Agent 410, das Aktionsmodul 420, das Umgebungsmodul 430, das Zustandsmodul 440 und das Belohnungsmodul 450 verfügen hierzu über die erforderlichen technischen Schnittstellen und Protokolle für den Zugang zu der Cloud-Computing-Infrastruktur 700. Hierdurch kann die Recheneffizienz gesteigert werden, da die Zugriffsmöglichkeiten und die Zugriffsgeschwindigkeiten zu bereits berechneten Zuständen, Aktionen, Belohnungen und Strategien vereinfacht ist. In particular, it can be provided that the calculation results are stored in the form of statuses, actions, rewards and strategies in the
Da häufig ein schnelles Berechnungsergebnis angestrebt wird, ist für die Vielzahl von Rechenoperationen in dem Transformermodul 300 und dem Lernverstärkungsmodul 400 die Rechengeschwindigkeit entscheidend. Um eine Durchführung der Rechenoperationen in Echtzeit zu ermöglichen, ist daher die Verwendung der Cloud-Computing-Infrastruktur 700 vorteilhaft, da hierdurch eine schnelle Berechnung gewährleistet werden kann. Für die Kommunikation des Eingabemoduls 200 mit der Cloud-Computing-Infrastruktur 700 ist wiederum eine 5G-Mobilfunkverbindung vorteilhaft, da auf diese Weise eine Datenübermittlung in Echtzeit erfolgen kann.Since a quick calculation result is often sought, the calculation speed is decisive for the large number of calculation operations in the
Die Funktionsweise des erfindungsgemäßen Systems 100 wird durch das nachfolgende Beispiel erläutert. Beispielsweise schreibt oder spricht ein Benutzer die nachfolgende Anweisung: „Entwerfe eine Komponente, bei der die maximal zulässige mechanische Spannung bei 150 MPa mit einer Toleranz von +/- 5% liegt und das maximal zulässige Biegemoment 1800 Nm beträgt.“ Diese Eingabedaten 250 in Form einer natürlichen Textnachricht werden an das Transformermodul 300 weitergeleitet. Das Transformermodul 300 übersetzt diese Anweisung in die codierten Daten 350:
Diese Daten 350 werden nun an das Lernverstärkungsmodul 400 weitergeleitet. Eine Belohnung wird in dem Belohnungsmodul 450 wie folgt formuliert:
Das Zustandsmodul 440 kann die Zustände „Biegemoment, Länge, Elastizitätsmodul, Durchmesser, Belastung, etc.“ enthalten. Diese Zustände werden durch die Auswahl einer passenden Aktion wie Erhöhen A(+), Gleichbleiben A(0) und Verringern A(-) verändert, solange bis eine Simulation und damit Konstruktion der Komponente 10 erreicht ist, die die eingegebenen Randbedingungen erfüllt.The
In
In einem Schritt S10 werden natürliche und/oder sensorbasierte Daten 250 in einem Eingabemodul generiert, wobei die Daten 250 Textnachrichten, Sprachnachrichten, Bilder, Diagramme, und/oder Videosequenzen in Bezug auf die Komponente 10 und/oder die Entität 20 umfassen, die von einer natürlichen Person und/oder Sensoren 500 erzeugt werden und/oder aus einer Datenbank 520 abgerufen werden.In a step S10, natural and/or sensor-based
In einem Schritt S20 werden die natürlichen und/oder sensorbasierten Daten 250 an ein Transformermodul 300 übermittelt, wobei das Transformermodul 300 Algorithmen der künstlichen Intelligenz verwendet.In a step S20, the natural and/or sensor-based
In einem Schritt S30 werden die natürlichen und/oder sensorbasierten Daten 250 in codierte Daten 350 als Zustände si, Parameter pi, Parameterwerte und/oder Eigenschaften ei der Komponente 10 derart transformiert, dass sie von einem Lernverstärkungsmodul 400 bearbeitbar sind, das einen Algorithmus des verstärkenden Lernens verwendet.In a step S30, the natural and/or sensor-based
In einem Schritt S40 werden die codierten Daten 350 an das Lernverstärkungsmodul 400 weitergegeben und modellierte Werte für die Zustände si, Parameter pi, Parameterwerte und/oder Eigenschaften ei der Komponente 10 zur Erzeugung von Ausgabedaten 470 berechnet.In a step S40 the encoded
In einem Schritt S50 werden die Ausgabedaten 470 durch ein Ausgabemodul 800 ausgegeben.The
Mit dem Verfahren und dem System 100 gemäß der vorliegenden Erfindung kann somit zuverlässig eine Komponente 10 für eine Entität 20 konstruiert oder designt werden, ohne dass das Lernverstärkungsmodul 400 für eine bestimmte Konstruktionsaufgabe bzw. Designaufgabe spezifisch programmiert werden muss. Es können vielmehr natürliche Sprachnachrichten und Textnachrichten oder Sensordaten wie Bilder verwendet werden, die mittels des Transformermoduls 300 in für das Lernverstärkungsmodul 400 geeignete codierte Datenformate 350 transformiert werden. Das Transformermodul 300 stellt somit eine Schnittstelle in Form eines HMI (engl. human maschine interface) dar, das eine Übersetzung von in natürlicher Sprache eingegebene Daten oder auch Bilderformate in codierte Daten 350 für das Lernverstärkungsmodul 400 ermöglicht. Das Lernverstärkungsmodul 400 kann dann zuverlässig optimierte Zustände si durch die Auswahl von passenden Aktionen ai für die codierten Daten 350 finden, um eine oder mehrere Komponenten 10 für eine Entität 20 zuverlässig und autonom zu konstruieren bzw. zu designen. Durch die Verwendung eines Transformermoduls 300 in Verbindung mit einem Lernverstärkungs-Agenten 410 mit einem Algorithmus des verstärkenden Lernens ist es möglich, Konstruktions- oder Designvorgänge autonom und selbst-optimierend durchzuführen.With the method and the
Hierdurch können in kurzer Zeit und mit verringerten Kosten optimal konstruierte und designte mechanische Komponenten für ausgewählte Zwecke bereitgestellt werden. Insbesondere können auch Randbedingungen, die über die Formgebung hinausgehen, für die zu konstruierende Komponente berücksichtig werden. Eine Randbedingung kann beispielsweise auf die Verwendung von Recyclingmaterial, eine klimaneutrale Herstellung und/ oder die Kostenstruktur beziehen.As a result, optimally constructed and designed mechanical components for selected purposes can be provided in a short time and at reduced costs. In particular, boundary conditions that go beyond the shape can also be taken into account for the component to be designed. A boundary condition can relate, for example, to the use of recycling material, climate-neutral production and/or the cost structure.
In einer Weiterentwicklung kann das System 100 damit selbst zu einem Erfinder von Komponenten 10 werden, wenn es eine ihm mittels der natürlichen und/oder sensorbasierten Daten 250 gestellte Aufgabe erfinderisch löst, da die von dem System 100 geschaffene Komponente die Kriterien von Neuheit und erfinderischer Tätigkeit gegenüber dem bisher bekannten Stand der Technik erfüllt. Das System 100 wird daher im Rahmen dieser Erfindung auch als PERL® bezeichnet als Abkürzung für „Porsche Engineering Reinforcement Learning“. Die vorliegende Erfindung ist somit ein Beispiel dafür, dass eine künstliche Intelligenz die Befähigung aufweist, Erfinder einer technischen Erfindung zu werden.In a further development, the
BezugszeichenlisteReference List
- 1010
- Komponentecomponent
- 2020
- Entitätentity
- 100100
- Systemsystem
- 200200
- Eingabemodulinput module
- 250250
- DatenData
- 300300
- Transformermodultransformer module
- 320320
- Encoderencoders
- 340340
- Decoderdecoder
- 350350
- codierte Datenencoded data
- 400400
- Lernverstärkungsmodullearning reinforcement module
- 410410
- Lernverstärkungs-AgentLearning Reinforcement Agent
- 420420
- Aktionsmodulaction module
- 430430
- Umgebungsmodulenvironment module
- 440440
- Zustandsmodulstate module
- 450450
- Belohnungsmodulreward module
- 470470
- Ausgabedatenoutput data
- 500500
- Sensorensensors
- 520520
- DatenbankDatabase
- 700700
- Cloud-Computing-Infrastrukturcloud computing infrastructure
- 800800
- Ausgabemoduloutput module
- 820820
- Ausgabe-TransformermodulOutput Transformer Module
- 850850
- Ergebnisdatenresults data
- 900900
- Computerprogrammproduktcomputer program product
- 950950
- Programmcodeprogram code
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- WO 2019/183568 A1 [0004]WO 2019/183568 A1 [0004]
- US 2021/0019642 A1 [0005]US 2021/0019642 A1 [0005]
- KR 2019061488 A [0006]KR 2019061488 A [0006]
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021132399.1A DE102021132399A1 (en) | 2021-12-09 | 2021-12-09 | Method, system and computer program product for autonomously constructing and/or designing at least one component for an entity |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021132399.1A DE102021132399A1 (en) | 2021-12-09 | 2021-12-09 | Method, system and computer program product for autonomously constructing and/or designing at least one component for an entity |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021132399A1 true DE102021132399A1 (en) | 2023-06-15 |
Family
ID=86498334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021132399.1A Pending DE102021132399A1 (en) | 2021-12-09 | 2021-12-09 | Method, system and computer program product for autonomously constructing and/or designing at least one component for an entity |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102021132399A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118095401A (en) * | 2024-04-29 | 2024-05-28 | 南京邮电大学 | Method for accelerating post-state off-track strategy reinforcement learning training of warehouse storage |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190061488A (en) | 2017-11-28 | 2019-06-05 | 윤종식 | A program coding system based on artificial intelligence through voice recognition and a method thereof |
WO2019183568A1 (en) | 2018-03-23 | 2019-09-26 | Google Llc | Controlling a robot based on free-form natural language input |
US20210019642A1 (en) | 2019-07-17 | 2021-01-21 | Wingman AI Agents Limited | System for voice communication with ai agents in an environment |
-
2021
- 2021-12-09 DE DE102021132399.1A patent/DE102021132399A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190061488A (en) | 2017-11-28 | 2019-06-05 | 윤종식 | A program coding system based on artificial intelligence through voice recognition and a method thereof |
WO2019183568A1 (en) | 2018-03-23 | 2019-09-26 | Google Llc | Controlling a robot based on free-form natural language input |
US20210019642A1 (en) | 2019-07-17 | 2021-01-21 | Wingman AI Agents Limited | System for voice communication with ai agents in an environment |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118095401A (en) * | 2024-04-29 | 2024-05-28 | 南京邮电大学 | Method for accelerating post-state off-track strategy reinforcement learning training of warehouse storage |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1530779A2 (en) | Method, data processing device and computer program product for processing data | |
DE102019218613A1 (en) | Object classification method, object classification circuit, motor vehicle | |
DE102021210721A1 (en) | METHOD AND SYSTEM FOR ADVERSARY TRAINING USING METAGELEARNED INITIALIZATION | |
DE102021109382A1 (en) | SYSTEM AND PROCEDURE OF A MONOTON NEURAL OPERATOR NETWORK TECHNICAL FIELD | |
DE102022212583A1 (en) | Image quantization using machine learning | |
DE102021132399A1 (en) | Method, system and computer program product for autonomously constructing and/or designing at least one component for an entity | |
DE102021213118A1 (en) | METHOD AND SYSTEM FOR BLACK-BOX UNIVERSAL LOW-QUERY ATTACKS | |
DE102022108379A1 (en) | Method, system and computer program product for the optimized construction and/or design of a technical component | |
DE102023210854A1 (en) | Neural network feature extractor for actor-critical reinforcement learning models | |
DE102023109072A1 (en) | DATA AUGMENTATION FOR DOMAIN GENERALIZATION | |
DE102023207534A1 (en) | System and method for the universal correction of input interference with denoised diffusion models | |
DE102022206063A1 (en) | SYSTEM AND METHOD OF SUPPLYING ROBUSTIFIERS FOR PRE-TRAINED MODELS AGAINST ENEMY ATTACKS | |
DE102018220608A1 (en) | Machine learning system, as well as a method, a computer program and a device for creating the machine learning system | |
DE102018216078A1 (en) | Method and device for operating a control system | |
DE102018211875A1 (en) | Method and device for operating a control system | |
DE102022104315A1 (en) | Method, system and computer program product for the autonomous calibration of a technical entity, in particular an electrical machine | |
DE102022108396A1 (en) | Method, system and computer program product for reinforcement learning for carrying out control and/or regulation tasks of an entity | |
DE102021210415A1 (en) | METHOD AND SYSTEM FOR LEARNING COMMON LATENT ADVERSARY TRAINING | |
DE102022113702A1 (en) | Method, system and computer program product for autonomously intuitively constructing a technical component for an entity | |
DE102022113690A1 (en) | Method, system and computer program product for the autonomous, intuitive calibration of a technical component, in particular a vehicle drive train for a motor vehicle | |
EP4000011A1 (en) | Component-based processing of input variables | |
DE102022107276A1 (en) | System, method and computer program product for constructing and/or designing at least one component of a body that is optimally adapted to a specified configuration of a sensor set | |
DE102021119992B3 (en) | Data-driven procedure for controlling a production machine, processor and second computer, computer program | |
DE102021129108A1 (en) | Method, system and computer program product for outputting output values for analysis and/or evaluation and/or process control of an entity | |
DE102022104325A1 (en) | Method, system and computer program product for creating a data structure for projects based on artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication |