WO2020152060A1 - Vorrichtung und verfahren zum trainieren eines neuronalen netzwerks - Google Patents

Vorrichtung und verfahren zum trainieren eines neuronalen netzwerks Download PDF

Info

Publication number
WO2020152060A1
WO2020152060A1 PCT/EP2020/051170 EP2020051170W WO2020152060A1 WO 2020152060 A1 WO2020152060 A1 WO 2020152060A1 EP 2020051170 W EP2020051170 W EP 2020051170W WO 2020152060 A1 WO2020152060 A1 WO 2020152060A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
evaluation device
output data
data
input
Prior art date
Application number
PCT/EP2020/051170
Other languages
English (en)
French (fr)
Inventor
Michael Feigenbutz
Original Assignee
Rockwell Collins Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Collins Deutschland Gmbh filed Critical Rockwell Collins Deutschland Gmbh
Priority to US17/424,551 priority Critical patent/US20220121933A1/en
Priority to EP20701932.4A priority patent/EP3915054A1/de
Publication of WO2020152060A1 publication Critical patent/WO2020152060A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the invention relates to a device and a method for training a neural network.
  • Neural networks are known. They are implemented in particular for technical purposes as artificial neural networks and serve e.g. of information processing in applications in which there is little or no explicit or systematic knowledge of the problem to be solved. These are, for example, recognition methods, such as text recognition, image recognition, object recognition and face recognition, in which a few hundred thousand to million pixels have to be converted into a comparatively small number of permitted results. (Artificial) neural networks are also used in control engineering to replace conventional controllers or to give them setpoints that the network has determined from a self-developed prognosis of the process. The possible applications are not limited to technical or technology-related areas. When predicting changes in complex systems, neural networks are often used as a support, for example for the early detection of emerging tornadoes or for estimating the further development of economic processes.
  • neural network To achieve the desired functionality of a neural network, it is necessary that the neural network is taught or trained. Accordingly, learning methods are known which serve to cause a neural network to generate associated output patterns for certain input patterns. The learning processes can be classified into supervised learning, unsupervised learning and reinforcing learning.
  • neural networks can be relatively inexpensive to set up, implement and operate, so that they can be used to replace conventional (expensive) systems.
  • the invention is therefore based on the object of specifying a device and a method with which a neural network can be trained efficiently.
  • An apparatus for training a neural network is specified, with a neural network to be trained for providing a predetermined functionality for processing input data, with an input for supplying the input data and an output for outputting output data serving as result, and with one Evaluation device for providing a predetermined functionality, with an input for supplying input data and an output for outputting output data serving as results.
  • the evaluation device and the neural network are arranged parallel to one another, a comparison device being provided for comparing the output data of the evaluation device with the output data of the neural network and for determining the quality of the output data of the neural network in relation to the output data of the evaluation device. Furthermore, a feedback device is provided for reporting back to the neural network the quality of the output data determined by the comparison device.
  • a method for training a neural network is specified, with the steps Providing a neural network to be trained for providing a predetermined functionality for processing input data, having an input for supplying the input data and an output for outputting output data serving as results;
  • an evaluation device for providing a predetermined functionality, with an input for supplying input data and an output for outputting output data serving as results;
  • the evaluation device and the neural network can accordingly be arranged or switched in parallel.
  • the evaluation device can be a known, conventional system which, under certain circumstances, conforms to specified technical rules, already reliably fulfills the desired functionality.
  • the evaluation device can be relatively expensive, so that the aim is to replace the evaluation device with the neural network to be trained beforehand.
  • the evaluation device takes over the training of the neural network by being operated in parallel.
  • the evaluation device can also be referred to as a training device.
  • the evaluation device can be a conventional device that is not based on a neural network. It is also possible, however, that the evaluation device itself has a neural network, which, however, is then already fully trained or trained.
  • the term "functionality" can be understood to mean any applications, tasks or goals which are to be provided by the evaluation device on the one hand and the neural network to be trained on the other hand.
  • both systems are therefore identified with input situations that are as identical faced onen. Only then is it possible to transfer the behavior and knowledge of one system (the proven evaluation device) to the other system (the neural network to be learned). The more identical the input situations and thus the resulting input data, the more reliably the neural network can be trained.
  • the comparison device is used to compare the (essentially correct and proven) output data of the evaluation device with the output data of the neural network and thereby to determine the quality of the output data of the neural network in relation to the output data of the evaluation device.
  • the data are evaluated in particular, so that the feedback required below can take place with the aid of the feedback device.
  • the feedback device is designed to return the quality of the output data determined by the comparison device to the neural network in order in this way to effect a training effect for the neural network and thus subsequently to improve the quality of the output data of the neural network.
  • Quadality of the output data can be understood, for example, to mean the correctness of the probabilities (also referred to as "prediction") supplied by the neural network.
  • Neural networks are usually trained to determine certain probabilities and to draw conclusions from them. These probabilities can be compared with the much more exact data of the (conventional) evaluation device, the result being reported back to the neural network.
  • a dog is presented to a neural network via a connected video camera. Based on its training status, the neural network states that the object presented can be 80% dog, 80% cat or 10% fish. The quality of these results is then determined and fed back into the neural network as feedback:
  • Conventional methods can be used for the feedback of the quality information on the output data to the neural network, such as, for example, back propagation, feedback, error feedback.
  • the neural network learns based on the given learning material. Accordingly, the weights between the individual neurons are usually modified. Learning rules specify the way in which the neural network makes these changes.
  • the device according to the invention and the method according to the invention make it possible to learn neural networks automatically and to dispense with the pre-generation of test data sets. Rather, real data records are generated during operation of the (conventional) evaluation device, which can be used to train the neural network.
  • an already existing solution (conventional evaluation device) is combined with a new solution based on a neural network in the learning phase (training phase). It is possible that different sensor systems are used for the then combined systems.
  • the existing solution takes over the training of the new solution (the neural network).
  • the input and output parameters of the existing solution are used to generate the feedback for the feedback (for example the so-called back propagation) of the neural network.
  • the input data for the evaluation device and the input data for the neural network can each be provided by a sensor device.
  • Any type of measured value recording is suitable as a sensor device, such as a (video) camera, a video sensor (e.g. IR), an imaging RADAR sensor, a LIDAR sensor, a 2D camera, a 3D camera , a microphone.
  • the sensor device is designed to generate the input data in such a way that they can be processed by the neural network or the evaluation device.
  • other components can also be interposed in order to prepare the data accordingly if this is necessary due to the characteristics of the sensor device.
  • the input data for the evaluation device and the input data for the neural network can be provided by different sensor devices. It is therefore not absolutely essential that both sensor devices are constructed identically. For example, it is possible to couple the evaluation device to a video sensor while the neural network receives input data from a lidar sensor.
  • the evaluation device and the associated sensor device can deliver output data in a satisfactory quality.
  • the evaluation device is a conventional or conventional system that has been able in the past to supply output data in a quality that meets the respective requirements.
  • the requirements can be specified, for example, by technical regulations or by the manufacturer.
  • "Satisfactory quality" means that the quality is sufficient to fulfill the intended purpose or the desired functionality.
  • the quality can also be regarded as satisfactory if a defined minimum percentage recognition rate or - conversely - a defined maximum error rate with respect to the "objects" to be recognized is achieved.
  • the training phase can be concluded.
  • the training of the neural network should be carried out as efficiently as possible and can therefore be ended when the neural network delivers results with satisfactory quality. In particular, this state can be reached when only slight or negligible deviations of the results of the neural network from those of the evaluation device are determined. It is also possible to determine the number of iterations or feedbacks and to assume that the neural network has been adequately trained when a predetermined number of data records (e.g. hundreds of thousands or millions) is reached. In these cases, the completion of the training phase is determined so that the neural network can subsequently also be operated independently.
  • the evaluation device can be separated from the neural network, whereby the neural network can be operated autonomously without the evaluation device having to continue to be operated in parallel.
  • the neural network can then be operated in isolation, without the evaluation device.
  • the evaluation device can thus be removed from the arrangement.
  • the evaluation device and the neural network can be operated in parallel.
  • the evaluation device and the neural network can complement each other, so that the quality of work of the overall system consisting of both systems can be improved. It is also possible to provide additional properties.
  • a system with an evaluation device and a video sensor can be supplemented by a neural network with an imaging RADAR, IR or LIDAR sensor in order to recognize objects of an input image from the sum of the findings with high precision.
  • Neural networks can be used for a variety of functionalities, with the given functionality being able to be selected from the group recognizing one or more objects, recognizing text, writing, images, patterns, vehicles, people or faces, recognizing spatial correlations, optimization processes, regulation and analysis of complex processes, early warning systems, optimization, time series analysis, language generation, data mining, machine translation, medical diagnostics, epidemiology, biometrics, sound systems, navigation with imaging sensors, recognition of chronological sequences, predictive maintenance, etc.
  • FIG. 1 shows a schematic representation of a conventional system with a conventional evaluation device
  • Figure 2 shows an inventive device for training a neural network
  • Figure 3 shows an example of an application of an already trained
  • Figure 1 shows a schematic representation of the structure of a conventional system with a conventional evaluation device 1, which is coupled to a video sensor 2.
  • the evaluation device 1 known per se is designed to carry out video-based object recognition. It is thus able to recognize 3 objects based on input data generated by video sensor 2 and to supply information about identified (classified) objects 5 as output data 4.
  • a real situation 6 with real objects 7 is recorded by the video sensor 2 and supplied to the evaluation device 1 in the form of input data 3.
  • the functionality of the evaluation device 1 enables information about the real objects 7 to be determined from the input data 3 and output in the form of the output data 4, so that the identified objects 5 (recognized by the evaluation device 1) are determined as the results of the evaluation device 1 .
  • Such proven systems for object detection can e.g. can be used for the recognition of traffic signs by cars or the recognition of pedestrians by autonomous vehicles. These systems can also be used, for example, to identify objects on conveyor belts.
  • FIG. 2 shows an example of a device according to the invention for training a neural network. Part of this device is the evaluation device 1 with the video sensor 2 already explained in connection with FIG. 1. The real objects 7 in the real situation 6 can thus be output by the evaluation device as output data 4 with the identified objects 5 as a result.
  • a neural network 8 (also referred to as a neural network) is arranged, which is to be trained by the evaluation device 1.
  • the neural network 8 is thus initially in an initial state was not yet able to deliver satisfactory results.
  • the neural network 8 can also be coupled to a video sensor 2. In the specific example, however, the neural network 8 is coupled to a LIDAR sensor 9.
  • LIDAR also called LADAR
  • LIDAR sensors have proven particularly useful for the detection of three-dimensional situations.
  • the LIDAR sensor 9 is confronted with the same real situation 6 and thus with the same real objects 7 as the video sensor 2 or the evaluation device 1.
  • the LIDAR sensor 9 thus supplies its own input data 10, which are processed in the neural network 8.
  • the results of the neural network 8 are provided as output data 11 and consist in particular of weightings. From the results or weightings, corresponding insights regarding the identified objects 5 result.
  • the results are usually also given as probabilities ("prediction").
  • sensors can also be coupled to the neural network 8 if this makes sense for the planned application.
  • the neural network 8 is still incompletely trained and of the two real objects 7 has only recognized the square as the only identified object 5, but not the triangle as another real object 7. For the reliable one Recognizing the triangle, the neural network 8 must therefore be trained even further.
  • the results of the evaluation device 1 and the neural network 8 in the form of the output data 4, 11 are fed to a comparison device 12 which carries out an evaluation of the results of the neural network 8, in particular in comparison to the results of the evaluation device 1.
  • the output data 4, 1 1 can be compared to one another in this way to determine the quality of the output data 1 1 of the neural network 8 in relation to the output data 4 of the evaluation device 1.
  • the findings of the comparison device 12 are guided back to the neural network 8 with the aid of a feedback device 13.
  • the feedback serves in particular as error feedback in order to correct errors in the neural network.
  • the feedback is often also referred to as "back propagation" and can be implemented by known methods.
  • a proven method is, for example, the gradient descent method, which starts with a randomly selected weight combination, for which the gradient is determined and descended by a predetermined length - the learning rate. This changes the weights accordingly. The gradient is again determined for the newly obtained weight combination and the weights are modified again. This process is repeated until a local minimum or global minimum is reached or until a predetermined maximum number of repetitions has been reached.
  • the neural network 8 is trained so that the results generated by it are increasingly approaching the results of the proven, conventional evaluation device 1.
  • the evaluation device 1 is no longer required in this case.
  • the neural network 8 can be operated independently according to the structure of FIG. 3 and delivers results of sufficient quality.
  • the neural network 8 is suitable for identifying both the square and the triangle as identified objects 5.
  • the neural network 8 can be operated in parallel with the conventional evaluation device 1, it is possible without any problems to train the neural network 8 in real operation, that is to say in real use of the evaluation device 1.
  • the "test data” generated by the evaluation device 1 are ret usable data that can be used as a "by-product" for training the neural network 8. It is therefore not necessary to set up an independent training phase. Rather, the training could take place in normal normal operation of the evaluation device 1.
  • the use of new sensors with evaluation by a neural network is particularly simplified where little or no training data is available.
  • the method can also make it possible to continue learning the neural network over a longer period of time in order to increase the reliability of the neural network more and more.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zum Trainieren eines Neuronalen Netzwerks weist die Schritte auf: - Bereitstellen eines zu trainierenden Neuronalen Netzwerks (8) zum Erbringen einer vorgegebenen Funktionalität zum Verarbeiten von Eingangsdaten (10), mit einem Eingang zum Zuführen der Eingangsdaten (10) und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten (11); - Bereitstellen einer Auswertevorrichtung (1) zum Erbringen einer vorgegebenen Funktionalität, mit einem Eingang zum Zuführen von Eingangsdaten (3) und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten (4); - Betreiben der Auswertevorrichtung (1) und des Neuronalen Netzwerks (8) parallel zueinander; - Vergleichen der Ausgangsdaten (4) der Auswertevorrichtung (1) mit den Ausgangsdaten (11) des Neuronalen Netzwerks (8) und Bestimmen der Qualität der Ausgangsdaten (11) des Neuronalen Netzwerks (8) im Verhältnis zu den Ausgangsdaten (4) der Auswertevorrichtung (1); - Rückmelden der Qualität der Ausgangsdaten (11) an das Neuronale Netzwerk (8).

Description

Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzwerks
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Trainieren eines Neuronalen Netzwerks .
Neuronale Netzwerke sind bekannt. Sie werden insbesondere für technische Zwe cke als künstliche Neuronale Netzwerke realisiert und dienen z.B . der Informati onsverarbeitung bei Anwendungen, bei denen kein oder nur geringes explizites bzw. systematisches Wissen über das zu lösende Problem vorliegt. Dies sind zum Beispiel Erkennungsverfahren, wie zum Beispiel die Texterkennung, Bilderken nung, Objekterkennung und Gesichtserkennung, bei denen einige hunderttausend bis Millionen Bildpunkte in eine im Vergleich dazu geringe Anzahl von erlaubten Ergebnissen überführt werden müssen. Auch in der Regelungstechnik kommen (künstliche) Neuronale Netzwerke zum Einsatz, um herkömmliche Regler zu erset zen oder ihnen Sollwerte vorzugeben, die das Netz aus einer selbst entwickelten Prognose über den Prozessverlauf ermittelt hat. Die Anwendungsmöglichkeiten sind aber nicht auf technische oder techniknahe Gebiete begrenzt. Bei der Vor hersage von Veränderungen in komplexen Systemen werden häufig Neuronale Netzwerke unterstützend hinzugezogen, so zum Beispiel zur Früherkennung sich abzeichnender Tornados oder auch zur Abschätzung der weiteren Entwicklung wirtschaftlicher Prozesse .
Zum Erreichen der gewünschten Funktionalität eines Neuronalen Netzwerkes ist es erforderlich, dass das Neuronale Netzwerk angelernt bzw. trainiert wird. Dem entsprechend sind Lernverfahren bekannt, die dazu dienen, ein Neuronales Netz werk dazu zu bringen, für bestimmte Eingangsmuster zugehörige Ausgabemuster zu erzeugen. Die Lernverfahren lassen sich klassifizieren in überwachtes Lernen (Supervised Learning), unüberwachtes Lernen und bestärkendes Lernen.
Beim Supervised Learning ist es erforderlich, das Neuronale Netzwerk mit einer großen Menge an Testdaten anzulernen. Diese Menge an Testdaten muss vorab generiert werden, wobei die Erzeugung dieser Datensätze in der Regel sehr zeit- aufwändig und je nach Anwendungsfall auch schwierig sein kann.
Erfolgreich angelernte (trainierte) Neuronale Netzwerke bieten im Vergleich zu herkömmlichen Lösungen den Vorteil, dass sie häufig eine schnellere und / oder kostengünstigere und unter Umständen sogar die einzige Möglichkeit zur effizien ten Verarbeitung von großen Datenmengen darstellen. Für die Trainings phase von Neuronalen Netzwerken sind je nach Anwendung Hunderttausende oder gar Millionen von Testdatensätzen erforderlich. Für be stimmte, sehr spezielle Anwendungen (zum Beispiel die luftgestützte Identifizie rung kleinerer Objekte) sind solche Daten insbesondere auch in Verbindung mit speziellen Sensoren, wie etwa bildgebendes RADAR, LIDAR, IR etc. (noch) nicht verfügbar und in der erforderlichen Menge auch nicht effizient zu erzeugen.
Andererseits können Neuronale Netzwerk im Aufbau, in der Realisierung und im Betrieb relativ kostengünstig sein, so dass sie sich dazu anbieten, konventionelle (teure) Systeme zu ersetzen.
Der Erfindung liegt daher die Aufgabe zugrunde, eine Vorrichtung und ein Verfah ren anzugeben, mit denen ein Neuronales Netzwerk effizient trainiert werden kann.
Die Aufgabe wird erfindungsgemäß durch eine Vorrichtung nach Anspruch 1 und ein Verfahren gemäß dem nebengeordneten Anspruch gelöst. Vorteilhafte Ausge staltungen sind in den abhängigen Ansprüchen angegeben.
Es wird eine Vorrichtung zum Trainieren eines Neuronales Netzwerks angegeben, mit einem zu trainierenden Neuronalen Netzwerk zum Erbringen einer vorgegebe nen Funktionalität zum Verarbeiten von Eingangsdaten, mit einem Eingang zum Zuführen der Eingangsdaten und einem Ausgang zum Ausgeben von als Ergebnis sen dienenden Ausgangsdaten, und mit einer Auswertevorrichtung zum Erbringen einer vorgegebenen Funktionalität, mit einem Eingang zum Zuführen von Ein gangsdaten und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten. Die Auswertevorrichtung und das Neuronale Netzwerk sind paral lel zueinander angeordnet, wobei eine Vergleichseinrichtung vorgesehen ist, zum Vergleichen der Ausgangsdaten der Auswertevorrichtung mit den Ausgangsdaten des Neuronalen Netzwerks und zum Bestimmen der Qualität der Ausgangsdaten des Neuronalen Netzwerks im Verhältnis zu den Ausgangsdaten der Auswertevor richtung. Weiterhin ist eine Rückmeldeeinrichtung vorgesehen, zum Rückmelden der von der Vergleichseinrichtung bestimmten Qualität der Ausgangsdaten an das Neuronale Netzwerk.
Analog wird ein Verfahren zum Trainieren eines Neuronalen Netzwerks angegeben, mit den Schritten Bereitstellen eines zu trainierenden Neuronalen Netzwerks zum Erbringen einer vorgegebenen Funktionalität zum Verarbeiten von Eingangsdaten, mit einem Eingang zum Zuführen der Eingangsdaten und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten;
Bereitstellen einer Auswertevorrichtung zum Erbringen einer vorgegebenen Funktionalität, mit einem Eingang zum Zuführen von Eingangsdaten und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten;
Betreiben der Auswertevorrichtung und des Neuronalen Netzwerks parallel zueinander;
Vergleichen der Ausgangsdaten der Auswertevorrichtung mit den Ausgangsdaten des Neuronalen Netzwerks und Bestimmen der Qualität der Ausgangsdaten des Neuronalen Netzwerks im Verhältnis zu den Ausgangsdaten der Auswertevorrichtung;
Rückmelden der Qualität der Ausgangsdaten an das Neuronale Netzwerk.
Erfindungsgemäß können dementsprechend die Auswertevorrichtung und das Neuronale Netzwerk parallel zueinander angeordnet bzw. geschaltet werden. Bei der Auswertevorrichtung kann es sich um ein bekanntes , konventionelles System handeln, das - unter Umständen konform mit vorgegebenen technischen Regel werken - die gewünschte Funktionalität bereits zuverlässig erfüllt. Insbesondere kann aber die Auswertevorrichtung relativ teuer sein, so dass es angestrebt wird, die Auswertevorrichtung durch das vorab zu trainierende Neuronale Netzwerk zu ersetzen.
Dabei übernimmt die Auswertevorrichtung das Training des Neuronalen Netz werks , indem sie parallel dazu betrieben wird. Die Auswertevorrichtung kann so mit auch als Trainingsvorrichtung bezeichnet werden.
Wie erläutert, kann es sich bei der Auswertevorrichtung um eine konventionelle Vorrichtung handeln, die nicht auf einem Neuronalen Netzwerk basiert. Ebenso ist es aber auch möglich, dass die Auswertevorrichtung ihrerseits ein Neuronales Netzwerk aufweist, das dann jedoch bereits voll angelernt bzw. trainiert ist.
Unter dem Begriff der "Funktionalität" können beliebige Anwendungen, Aufgaben bzw. Ziele verstanden werden, die durch die Auswertevorrichtung einerseits und das zu trainierende Neuronale Netzwerk andererseits erbracht werden sollen.
Beim Betrieb der Auswertevorrichtung und des Neuronalen Netzwerks parallel zu einander werden somit beide Systeme mit möglichst identischen Eingangssituati- onen konfrontiert. Nur dann ist es möglich, das Verhalten und die Erkenntnisse des einen Systems (der bewährten Auswertevorrichtung) auf das andere System (das anzulernende Neuronale Netzwerk) zu übertragen. Je identischer die Ein- gangssituationen sind und damit die daraus resultierenden Eingangsdaten, desto zuverlässiger kann das Neuronale Netzwerk trainiert werden.
Die Vergleichseinrichtung dient dazu, die (im Wesentlichen korrekten und be währten) Ausgangsdaten der Auswertevorrichtung mit den Ausgangdaten des Neu ronalen Netzwerks zu vergleichen und dadurch die Qualität der Ausgangsdaten des Neuronalen Netzwerks im Verhältnis zu den Ausgangsdaten der Auswertevor richtung zu bestimmen. Die Daten werden dabei insbesondere bewertet, so dass die nachfolgend erforderliche Rückmeldung mit Hilfe der Rückmeldeeinrichtung erfolgen kann.
Die Rückmeldeeinrichtung ist dazu ausgebildet, die von der Vergleichseinrichtung bestimmte Qualität der Ausgangsdaten an das Neuronale Netzwerk zurückzumel den, um auf diese Weise einen Trainingseffekt für das Neuronale Netzwerk und damit nachfolgend eine Verbesserung der Qualität der Ausgangsdaten des Neuro nalen Netzwerks zu bewirken.
Unter " Qualität" der Ausgangsdaten kann zum Beispiel die Korrektheit der von dem Neuronalen Netzwerk gelieferten Wahrscheinlichkeiten (auch als "Prediction" bezeichnet) verstanden werden. Üblicherweise sind Neuronale Netzwerke dazu ausgebildet, bestimmte Wahrscheinlichkeiten festzustellen und daraus Schluss folgerungen zu ziehen. Diese Wahrscheinlichkeiten können mit den wesentlich exakteren Daten der (konventionellen) Auswertevorrichtung verglichen werden, wobei das Ergebnis an das Neuronale Netzwerk zurückzumelden ist.
Ein Beispiel: Einem Neuronalen Netzwerk wird über eine angeschlossene Video kamera ein Hund präsentiert. Aufgrund seines Trainingszustands gibt das Neuro nale Netzwerk an, dass das präsentierte Objekt zu 80 % ein Hund, zu 80 % eine Katze oder zu 10 % ein Fisch sein kann. Die Qualität dieser Ergebnisse wird dann ermittelt und als Rückmeldung in das Neuronale Netzwerk zurück gespeist:
Hund: richtig (der Wahrscheinlichkeitswert von 80% kann aber noch ver bessert werden, in Richtung 100 % ) ,
Katze : falsch (der Wahrscheinlichkeitswert von 80 % ist nicht korrekt und sollte niedriger sein) , Fisch: richtig (weil mit 10 % bereits eine sehr geringe Wahrscheinlichkeit festgestellt wurde ; soll aber zu 0 % gesetzt werden).
Bei einem nachfolgenden Erkennungsvorgang unter ähnlichen Bedingungen wird dann die Wahrscheinlichkeit für "Hund" größer als 80 % sein, während die für "Katze" geringer sein wird. Auch die für "Fisch" wird noch geringer als 10 % sein.
Für die Rückmeldung der Qualitäts Information zu den Ausgangsdaten an das Neuronale Netzwerk können übliche Verfahren genutzt werden, wie zum Beispiel die Back Propagation, Rückkopplung, Fehlerrückführung.
In der Trainingsphase lernt das Neuronale Netzwerk anhand des vorgegebenen Lernmaterials . Dementsprechend werden in der Regel die Gewichte zwischen den einzelnen Neuronen modifiziert. Lernregeln geben dabei die Art und Weise an, wie das Neuronale Netz diese Veränderungen vornimmt. Die erfindungsgemäße Vor richtung bzw. das erfindungsgemäße Verfahren erlauben es , Neuronale Netzwerke automatisiert anzulernen und dabei auf die Vorab-Generierung von Testdatensät zen zu verzichten. Vielmehr werden echte Datensätze im Betrieb der (herkömmli chen) Auswertevorrichtung generiert, die zum Trainieren des Neuronalen Netz werks genutzt werden können.
Dazu wird in der Anlernphase (Trainingsphase) eine bereits vorhandene Lösung (konventionelle Auswertevorrichtung) mit einer neuen, auf einem Neuronalen Netzwerk basierenden Lösung kombiniert. Dabei ist es möglich, dass für die bei den dann kombinierten Systeme unterschiedliche Sensoriken verwendet werden. Die vorhandene Lösung übernimmt dabei das Training der neuen Lösung (des Neuronalen Netzwerks) .
Die Eingangs - und Ausgangs -Parameter der vorhandenen Lösung werden genutzt, um das Feedback für die Rückmeldung (zum Beispiel der sog. Backpropagation) des Neuronalen Netzwerks zu erzeugen.
Nach der automatisierten ( "online" ) Anlernphase kann auf den konventionellen, häufig langsameren und / oder teureren herkömmlichen Mechanismus (Auswerte vorrichtung) und dessen Komponenten (Sensoren, Rechner) verzichtet werden. Ebenso ist es aber auch möglich, die neue Lösung (Neuronales Netzwerk) parallel zu betreiben, um das Gesamtsystem mit zusätzlichen Eigenschaften aufzuwerten und zum Beispiel die Qualität der Ergebnisse zu verbessern. Die Eingangsdaten für die Auswertevorrichtung und die Eingangsdaten für das Neuronale Netzwerk können jeweils von einer Sensorvorrichtung bereitgestellt werden. Als Sensorvorrichtung eignet sich dabei jede Art von Messwertaufnahme , wie zum Beispiel auch eine (Video- )Kamera, ein Videosensor (z.B . IR) , ein bildge bender RADAR-Sensor, ein LIDAR-Sensor, eine 2D-Kamera, eine 3D-Kamera, ein Mikrofon. Die Sensorvorrichtung ist dazu ausgebildet, die Eingangsdaten in einer Weise zu generieren, dass sie von dem Neuronalen Netzwerk bzw. der Auswerte vorrichtung verarbeitet werden können. Selbstverständlich können dabei auch weitere Komponenten zwischengeschaltet werden, um eine entsprechende Aufbe reitung der Daten vorzunehmen, wenn dies aufgrund der Charakteristik der Sen sorvorrichtung erforderlich ist.
Die Eingangsdaten für die Auswertevorrichtung und die Eingangsdaten für das Neuronale Netzwerk können von unterschiedlichen Sensorvorrichtungen bereitge stellt werden. Es ist somit nicht zwingend erforderlich, dass beide Sensorvorrich tungen identisch aufgebaut sind. So ist es zum Beispiel möglich, die Auswertevor richtung mit einem Videosensor zu koppeln, während das Neuronale Netzwerk Eingangsdaten von einem LIDAR-Sensor erhält.
Die Auswertevorrichtung und die zugeordnete Sensorvorrichtung können Aus gangsdaten in einer zufriedenstellenden Qualität liefern. Wie oben erläutert, han delt es sich bei der Auswertevorrichtung um ein herkömmliches bzw. konventio nelles System, das bereits in der Vergangenheit in der Lage war, Ausgangsdaten in einer Qualität zu liefern, die den jeweiligen Anforderungen entspricht. Die An forderungen können zum Beispiel durch technische Regelwerke oder aber auch herstellerseitig vorgegeben sein. Unter "zufriedenstellender Qualität" ist somit zu verstehen, dass die Qualität ausreicht, um den angestrebten Zweck bzw. die ge wünschte Funktionalität zu erfüllen.
Die Qualität kann auch als zufriedenstellend angesehen werden, wenn eine defi nierte minimale prozentuale Erkennungsrate bzw. - umgekehrt - eine definierte maximale Fehlerrate in Bezug auf die zu erkennenden " Objekte" erreicht wird.
Nach Erreichen einer zufriedenstellenden Qualität oder nach Erreichen eines vor gegebenen Quantums an Rückmeldungen (z. B . Hunderttausend, eine Million o.ä. ) kann ein Abschluss der Trainings phase festgestellt werden. Das Trainieren des Neuronalen Netzwerks sollte möglichst effizient durchgeführt werden und kann daher beendet werden, wenn das Neuronale Netzwerk Ergebnisse mit zufrieden stellender Qualität liefert. Insbesondere kann dieser Zustand erreicht sein, wenn nur noch geringe bzw. ver nachlässigbare Abweichungen der Ergebnisse des Neuronalen Netzwerkes von de nen der Auswertevorrichtung festgestellt werden. Ebenso ist es auch möglich, die Anzahl der Iterationen bzw. Rückmeldungen zu ermitteln und bei Erreichen einer vorgegebenen Anzahl an Datensätzen (z. B . Hunderttausend oder Millionen) davon auszugehen, dass das Neuronale Netzwerk ausreichend trainiert wurde . In diesen Fällen wird der Abschluss der Trainingsphase festgestellt, so dass das Neuronale Netzwerk nachfolgend auch autark betrieben werden kann.
Nach Abschluss der Trainingsphase kann eine Trennung der Auswertevorrichtung von dem Neuronalen Netzwerk erfolgen, wobei ein autarker Betrieb des Neurona len Netzwerks erfolgen kann, ohne dass weiterhin ein paralleler Betrieb der Aus - wertevorrichtung erfolgen muss . Das Neuronale Netzwerk kann dann in Alleinstel lung, ohne die Auswertevorrichtung betrieben werden. Die Auswerteeinrichtung kann somit aus der Anordnung entfernt werden.
Bei einer Variante kann nach Abschluss der Trainingsphase ein paralleler Betrieb der Auswertevorrichtung und des Neuronalen Netzwerks erfolgen. In diesem Fall können sich die Auswertevorrichtung und das Neuronale Netzwerk ergänzen, so dass die Arbeitsqualität des aus beiden Systemen bestehenden Gesamtsystems verbessert werden kann. Ebenso ist es möglich, zusätzliche Eigenschaften bereit zustellen.
Zum Beispiel kann ein System mit einer Auswertevorrichtung und einem Vi deosensor durch ein Neuronales Netzwerk mit einem bildgebenden RADAR- , IR- oder LIDAR-Sensor ergänzt werden, um aus der Summe der Erkenntnisse mit ho her Präzision Objekte eines Eingangsbilds zu erkennen.
Neuronale Netzwerke können für vielerlei Funktionalitäten genutzt werden, wobei die vorgegebene Funktionalität ausgewählt sein kann aus der Gruppe Erkennen eines Objekts oder mehrerer Objekte , Erkennen von Texten, Schrift, Bildern, Mus tern, Fahrzeugen, Personen oder Gesichtern, Erkennen räumlicher Korrelationen, Optimierungsprozesse , Regelung und Analyse komplexer Prozesse , Frühwarnsys teme , Optimierung, Zeitreihenanalyse , Sprachgenerierung, Data-Mining, Maschi nenübersetzung, medizinische Diagnostik, Epidemiologie , Biometrie , Klangsyste me , Navigation mit bildgebender Sensorik, Erkennung chronologischer Sequenzen, Vorausschauende Instandhaltung etc . Diese und weitere Vorteile und Merkmale werden nachfolgend von Beispielen un ter Zuhilfenahme der begleitenden Figuren näher erläutert. Es zeigen:
Figur 1 in schematischer Darstellung ein konventionelles System mit einer herkömmlichen Auswertevorrichtung;
Figur 2 eine erfindungsgemäße Vorrichtung zum Trainieren eines Neu ronalen Netzwerks ; und
Figur 3 ein Beispiel für einen Anwendungsfall eines bereits trainierten
Neuronalen Netzwerks .
Figur 1 zeigt in schematischer Darstellung den Aufbau eines konventionellen Sys tems mit einer herkömmlichen Auswertevorrichtung 1 , die mit einem Videosensor 2 gekoppelt ist.
Die an sich bekannte Auswertevorrichtung 1 ist in dem gezeigten Beispiel dazu ausgebildet, um eine Video-basierte Objekterkennung durchzuführen. So ist sie in der Lage , aufgrund von Videosensor 2 erzeugten Eingangsdaten 3 Objekte zu er kennen und als Ausgangsdaten 4 Informationen über identifizierte (klassifizierte) Objekte 5 zu liefern.
In dem gezeigten Beispiel wird eine reale Situation 6 mit realen Objekten 7 durch den Videosensor 2 erfasst und in Form von Eingangsdaten 3 an die Auswertevor- richtung 1 geliefert. Die Funktionalität der Auswertevorrichtung 1 ermöglicht es , aus den Eingangsdaten 3 Informationen über die realen Objekte 7 zu ermitteln und in Form der Ausgangsdaten 4 auszugeben, so dass damit die identifizierten (von der Auswertevorrichtung 1 erkannten) Objekte 5 als Ergebnisse der Auswer tevorrichtung 1 ermittelt werden.
Derartige bewährte Systeme zur Objekterkennung können z.B . für die Erkennung von Verkehrszeichen durch Pkws oder Erkennung von Fußgängern durch autono me Fahrzeuge genutzt werden. Ebenso können diese Systeme beispielsweise auch zur Erkennung von Objekten auf Förderbändern eingesetzt werden.
Figur 2 zeigt ein Beispiel für eine erfindungsgemäße Vorrichtung zum Trainieren eines Neuronalen Netzwerks . Teil dieser Vorrichtung ist die im Zusammenhang mit Figur 1 bereits erläuterte Auswertevorrichtung 1 mit dem Videosensor 2. Die realen Objekte 7 in der realen Situation 6 können somit durch die Auswertevorrichtung als Ausgangsdaten 4 mit den identifizierten Objekten 5 als Ergebnis ausgegeben werden.
Parallel zu der Auswertevorrichtung 1 ist ein Neuronales Netz 8 (auch als Neuro nales Netzwerk bezeichnet) angeordnet, das durch die Auswertevorrichtung 1 trai niert werden soll. Das Neuronale Netz 8 ist somit zunächst in einem Ausgangszu stand noch nicht in der Lage , zufriedenstellende Ergebnisse zu liefern.
Das Neuronale Netz 8 kann ebenfalls mit einen Videosensor 2 gekoppelt sein. Im konkreten Beispiel ist das Neuronale Netz 8 jedoch mit einem LIDAR-Sensor 9 ge koppelt. LIDAR (auch LADAR genannt) ist eine dem Radar verwandte Methode zur optischen Abstands - und Geschwindigkeitsmessung unter Nutzung von Laser strahlen. LIDAR-Sensoren haben sich vor allem zur Erkennung dreidimensionaler Situationen bewährt.
Der LIDAR-Sensor 9 wird mit der gleichen realen Situation 6 und damit mit den gleichen realen Objekten 7 konfrontiert wie der Videosensor 2 bzw. die Auswerte vorrichtung 1 .
Der LIDAR-Sensor 9 liefert somit eigene Eingangsdaten 10 , die in dem Neuronalen Netz 8 verarbeitet werden. Die Ergebnisse des Neuronale Netzes 8 werden als Aus gangsdaten 1 1 bereitgestellt und bestehen insbesondere aus Gewichtungen. Aus den Ergebnissen bzw. Gewichtungen ergeben sich entsprechende Erkenntnisse hinsichtlich der identifizierten Objekte 5. Die Ergebnisse werden in der Regel auch als Wahrscheinlichkeiten ( "Prediction" ) angegeben.
Selbstverständlich können auch mehrere Sensoren mit dem Neuronalen Netzwerk 8 gekoppelt werden, wenn dies für den geplanten Anwendungsfall sinnvoll ist.
In dem in Figur 2 gezeigten Beispiel ist erkennbar, dass das Neuronale Netz 8 noch unvollständig trainiert ist und von den beiden realen Objekten 7 lediglich das Quadrat als einziges identifiziertes Objekt 5 erkannt hat, nicht jedoch das Dreieck als weiteres reales Objekt 7. Für die zuverlässige Erkennung des Dreiecks muss das Neuronale Netz 8 somit noch weiter trainiert werden.
Die Ergebnisse der Auswertevorrichtung 1 und des Neuronalen Netzes 8 in Form der Ausgangsdaten 4, 1 1 werden einer Vergleichseinrichtung 12 zugeführt, die eine Bewertung der Ergebnisse des Neuronalen Netzes 8 vornimmt, insbesondere im Vergleich zu den Ergebnissen der Auswertevorrichtung 1 . Dabei können die Ausgangsdaten 4, 1 1 miteinander verglichen werden, um auf diese Weise die Qua lität der Ausgangsdaten 1 1 des Neuronalen Netzes 8 im Verhältnis zu den Aus gangsdaten 4 der Auswertevorrichtung 1 zu bestimmen.
Die Erkenntnisse der Vergleichseinrichtung 12 werden mit Hilfe einer Rückmelde einrichtung 13 zurück zu dem Neuronalen Netz 8 geführt. Die Rückmeldung dient insbesondere als Fehlerrückführung, um Fehler des Neuronalen Netzwerks zu korrigieren. Die Rückmeldung wird häufig auch als "Backpropagation" bezeichnet und kann durch bekannte Verfahren verwirklicht werden.
Ein bewährtes Verfahren ist zum Beispiel das Gradientenabstiegsverfahren, das mit einer zufällig gewählten Gewichtskombination startet, für welche der Gradient bestimmt und um eine vorgegebene Länge - der Lernrate - hinabgestiegen wird. Dadurch werden die Gewichte entsprechend verändert. Für die neu erhaltene Ge wichtskombination wird wiederum der Gradient bestimmt und abermals eine Mo difikation der Gewichte vorgenommen. Dieses Verfahren wiederholt sich so lange , bis ein lokales Minimum bzw. globales Minimum erreicht ist oder eine zuvor fest gelegte maximale Anzahl von Wiederholungen erreicht worden ist.
Auf diese Weise wird das Neuronale Netz 8 trainiert, so dass sich die von ihm er zeugten Ergebnisse immer mehr den Ergebnissen der bewährten, herkömmlichen Auswertevorrichtung 1 annähern.
Schließlich ist es möglich, das (ausreichend trainierte) Neuronale Netz 8 von der Auswertevorrichtung 1 zu entkoppeln, wie Figur 3 zeigt.
Die Auswertevorrichtung 1 ist für diesen Fall nicht mehr erforderlich.
Das Neuronale Netz 8 kann entsprechend dem Aufbau von Figur 3 autark betrie ben werden und liefert Ergebnisse in ausreichender Qualität. So ist das Neuronale Netz 8 in dem gezeigten Beispiel geeignet, als identifizierte Objekte 5 sowohl das Quadrat als auch das Dreieck zu identifizieren.
Da das Neuronale Netz 8 parallel zu der herkömmlichen Auswertevorrichtung 1 betrieben werden kann, ist es problemlos möglich, das Neuronale Netz 8 auch im realen Betrieb, das heißt im realen Einsatz der Auswertevorrichtung 1 zu trainie ren. Die von der Auswertevorrichtung 1 generierten "Testdaten" sind dabei konk- ret nutzbare Daten, die quasi als "Nebenprodukt" auch für das Training des Neu ronalen Netzes 8 genutzt werden können. Es ist somit nicht erforderlich, eine ei genständige Trainings phase einzurichten. Vielmehr könnte das Training im nor malen Regelbetrieb der Auswertevorrichtung 1 erfolgen.
Der Einsatz neuer Sensorik mit der Auswertung durch ein Neuronales Netzwerk wird insbesondere dort vereinfacht, wo keine oder nur wenige Trainings daten ver fügbar sind. Das Verfahren kann außerdem das kontinuierliche Weiterlernen des Neuronalen Netzwerks auch über einen längeren Zeitraum ermöglichen, um die Zuverlässigkeit des Neuronalen Netzwerks immer mehr zu erhöhen.

Claims

Patentansprüche
1. Vorrichtung zum Trainieren eines Neuronalen Netzwerks (8), mit
einem zu trainierenden Neuronalen Netzwerk (8) zum Erbringen einer vorgegebenen Funktionalität zum Verarbeiten von Eingangsdaten (10), mit einem Eingang zum Zuführen der Eingangsdaten (10) und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten (11); und mit
einer Auswertevorrichtung (1) zum Erbringen einer vorgegebenen Funktionalität, mit einem Eingang zum Zuführen von Eingangsdaten (3) und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten (4); wobei
die Auswertevorrichtung (1) und das Neuronale Netzwerk (8) parallel zueinander angeordnet sind;
eine Vergleichseinrichtung (12) vorgesehen ist, zum Vergleichen der Ausgangsdaten (4) der Auswertevorrichtung (1) mit den Ausgangsdaten (11) des Neuronalen Netzwerks (8) und zum Bestimmen der Qualität der Ausgangsdaten (11) des Neuronalen Netzwerks (8) im Verhältnis zu den Ausgangsdaten (4) der Aus Wertevorrichtung (1); und wobei
eine Rückmeldeeinrichtung (13) vorgesehen ist, zum Rückmelden der von der Vergleichseinrichtung (12) bestimmten Qualität der Ausgangsdaten (11) an das Neuronale Netzwerk (8).
2. Verfahren zum Trainieren eines Neuronalen Netzwerks, mit den Schritten
Bereitstellen eines zu trainierenden Neuronalen Netzwerks (8) zum
Erbringen einer vorgegebenen Funktionalität zum Verarbeiten von Eingangsdaten (10), mit einem Eingang zum Zuführen der Eingangsdaten (10) und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten (11);
Bereitstellen einer Auswertevorrichtung (1) zum Erbringen einer vorgegebenen Funktionalität, mit einem Eingang zum Zuführen von Eingangsdaten (3) und einem Ausgang zum Ausgeben von als Ergebnissen dienenden Ausgangsdaten (4);
Betreiben der Auswertevorrichtung (1) und des Neuronalen Netzwerks (8) parallel zueinander;
Vergleichen der Ausgangsdaten (4) der Auswertevorrichtung (1) mit den Ausgangsdaten (11) des Neuronalen Netzwerks (8) und Bestimmen der Qualität der Ausgangsdaten (11) des Neuronalen Netzwerks (8) im Verhältnis zu den Ausgangsdaten (4) der Auswertevorrichtung (1);
Rückmelden der Qualität der Ausgangsdaten (11) an das Neuronale Netzwerk (8).
3. Verfahren nach Anspruch 2 , wobei die Eingangsdaten (3) für die Auswertevorrichtung ( 1 ) und die Eingangsdaten ( 10) für das Neuronale Netzwerk (8) jeweils von einer Sensorvorrichtung (2 , 9) bereitgestellt werden.
4. Verfahren nach Anspruch 2 oder 3 , wobei die Eingangsdaten (3) für die Auswertevorrichtung ( 1 ) und die Eingangsdaten ( 1 1 ) für das Neuronale Netzwerk (8) von unterschiedlichen Sensorvorrichtungen (2 , 9) bereitgestellt werden.
5. Verfahren nach einem der Ansprüche 2 bis 4, wobei die Auswertevorrichtung ( 1 ) und die zugeordnete Sensorvorrichtung (2 ) Ausgangsdaten (4) in einer zufriedenstellenden Qualität liefern.
6. Verfahren nach einem der Ansprüche 2 bis 5 , wobei nach Erreichen einer zufriedenstellenden Qualität oder nach Erreichen eines vorgegebenen Quantums an Rückmeldungen ein Abschluss der Trainingsphase festgestellt wird.
7. Verfahren nach einem der Ansprüche 2 bis 6 , wobei
nach Abschluss der Trainingsphase eine Trennung der Auswertevorrichtung ( 1 ) von dem Neuronalen Netzwerk (8) erfolgt; und wobei
ein autarker Betrieb des Neuronalen Netzwerks (8) erfolgt, ohne dass ein paralleler Betrieb der Auswertevorrichtung ( 1 ) erfolgt.
8. Verfahren nach einem der Ansprüche 2 bis 7 , wobei nach Abschluss der Trainingsphase ein paralleler Betrieb der Auswertevorrichtung ( 1 ) und des Neuronalen Netzwerks (8) erfolgt.
9. Vorrichtung nach Anspruch 1 oder Verfahren nach einem der Ansprüche 2 bis 8 , wobei die vorgegebene Funktionalität ausgewählt ist aus der Gruppe
Erkennen eines Objekts oder mehrerer Objekte ;
Erkennen von Texten, Schrift, Bildern, Mustern, Fahrzeugen, Personen oder Gesichtern;
Erkennen räumlicher Korrelationen;
Optimierung;
Regelung und Analyse komplexer Prozesse ;
Frühwarnsysteme ;
Optimierung;
Zeitreihenanalyse wie Wetter oder Aktien;
Spracherkennung- und -generierung; Data-Mining;
Maschinenübersetzung;
Medizinische Diagnostik, Epidemiologie , Biometrie ; Klangsysteme ;
- Navigation mit bildgebender Sensorik;
Erkennung chronologischer Sequenzen;
Vorausschauende Instandhaltung.
PCT/EP2020/051170 2019-01-23 2020-01-17 Vorrichtung und verfahren zum trainieren eines neuronalen netzwerks WO2020152060A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/424,551 US20220121933A1 (en) 2019-01-23 2020-01-17 Device and Method for Training a Neural Network
EP20701932.4A EP3915054A1 (de) 2019-01-23 2020-01-17 Vorrichtung und verfahren zum trainieren eines neuronalen netzwerks

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019101617.7 2019-01-23
DE102019101617.7A DE102019101617A1 (de) 2019-01-23 2019-01-23 Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzwerks

Publications (1)

Publication Number Publication Date
WO2020152060A1 true WO2020152060A1 (de) 2020-07-30

Family

ID=69192035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/051170 WO2020152060A1 (de) 2019-01-23 2020-01-17 Vorrichtung und verfahren zum trainieren eines neuronalen netzwerks

Country Status (4)

Country Link
US (1) US20220121933A1 (de)
EP (1) EP3915054A1 (de)
DE (1) DE102019101617A1 (de)
WO (1) WO2020152060A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3121250A1 (fr) 2021-03-25 2022-09-30 Airbus Helicopters Procédé d’apprentissage d’une intelligence artificielle supervisée destinée à identifier un objet prédéterminé dans l’environnement d’un aéronef

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078339A1 (en) * 2014-09-12 2016-03-17 Microsoft Technology Licensing, Llc Learning Student DNN Via Output Distribution
US20170011738A1 (en) * 2015-07-09 2017-01-12 Google Inc. Generating acoustic models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078339A1 (en) * 2014-09-12 2016-03-17 Microsoft Technology Licensing, Llc Learning Student DNN Via Output Distribution
US20170011738A1 (en) * 2015-07-09 2017-01-12 Google Inc. Generating acoustic models

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ASAMI TAICHI ET AL: "Domain adaptation of DNN acoustic models using knowledge distillation", 2017 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), IEEE, 5 March 2017 (2017-03-05), pages 5185 - 5189, XP033259399, DOI: 10.1109/ICASSP.2017.7953145 *
ASIT MISHRA ET AL: "Apprentice: Using KD Techniques to Improve Low-Precision Network Accuracy", 15 November 2017 (2017-11-15), XP055683717, Retrieved from the Internet <URL:https://arxiv.org/pdf/1711.05852.pdf> [retrieved on 20200407] *
GEOFFREY HINTON ET AL: "Distilling the Knowledge in a Neural Network", CORR (ARXIV), vol. 1503.02531v1, 9 March 2015 (2015-03-09), pages 1 - 9, XP055549014 *
JAISWAL BHAVESH ET AL: "Deep neural network compression via knowledge distillation for embedded applications", 2017 NIRMA UNIVERSITY INTERNATIONAL CONFERENCE ON ENGINEERING (NUICONE), IEEE, 23 November 2017 (2017-11-23), pages 1 - 4, XP033341337, DOI: 10.1109/NUICONE.2017.8325620 *
JONG-CHYI SU ET AL: "Adapting Models to Signal Degradation using Distillation", 29 August 2017 (2017-08-29), XP055674483, Retrieved from the Internet <URL:https://arxiv.org/pdf/1604.00433.pdf> [retrieved on 20200306] *
SEBASTIAN RUDER ET AL: "Knowledge Adaptation: Teaching to Adapt", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 7 February 2017 (2017-02-07), XP080746999 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3121250A1 (fr) 2021-03-25 2022-09-30 Airbus Helicopters Procédé d’apprentissage d’une intelligence artificielle supervisée destinée à identifier un objet prédéterminé dans l’environnement d’un aéronef
EP4086819A1 (de) 2021-03-25 2022-11-09 Airbus Helicopters Lernverfahren einer überwachten künstlichen intelligenz zur identifizierung eines vorbestimmten objekts in der umgebung eines flugzeugs

Also Published As

Publication number Publication date
US20220121933A1 (en) 2022-04-21
EP3915054A1 (de) 2021-12-01
DE102019101617A1 (de) 2020-07-23

Similar Documents

Publication Publication Date Title
EP3282399B1 (de) Verfahren zur verbesserten erkennung von prozessanomalien einer technischen anlage sowie entsprechendes diagnosesystem
DE102017000536A1 (de) Zellsteuereinheit zum Feststellen einer Ursache einer Anomalie bei einer Fertigungsmaschine
DE102017000287A1 (de) Zellensteuerung und produktionssystem zum verwalten der arbeitssituation einer vielzahl von fertigungsmaschinen in einer fertigungszelle
EP2402827A1 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102019124018A1 (de) Verfahren zum Optimieren von Tests von Regelsystemen für automatisierte Fahrdynamiksysteme
DE102017006599A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE112020001369T5 (de) Gepulste synaptische elemente für gepulste neuronale netze
EP3825796A1 (de) Verfahren und vorrichtung zum ki-basierten betreiben eines automatisierungssystems
EP4013574A1 (de) Automatisierungssystem und verfahren zur handhabung von produkten
WO2020152060A1 (de) Vorrichtung und verfahren zum trainieren eines neuronalen netzwerks
DE102018209108A1 (de) Schnelle Fehleranalyse für technische Vorrichtungen mit maschinellem Lernen
WO2020216621A1 (de) Training trainierbarer module mit lern-daten, deren labels verrauscht sind
DE102019215016A1 (de) Messanordnung, Verfahren zum Einrichten einer Messanordnung und Verfahren zum Betreiben einer Messanordnung
DE102017116016A1 (de) Kraftfahrzeug-Sensorvorrichtung mit mehreren Sensoreinheiten und einem neuronalen Netz zum Erzeugen einer integrierten Repräsentation einer Umgebung
WO2020057868A1 (de) Verfahren und vorrichtung zum betreiben eines steuerungssystems
AT519777B1 (de) Verfahren zur Erkennung des normalen Betriebszustands eines Arbeitsprozesses
EP3650964B1 (de) Verfahren zum steuern oder regeln eines technischen systems
EP3629242B1 (de) Verfahren zum konfigurieren einer bildauswerteeinrichtung sowie bildauswerteverfahren und bildauswerteeinrichtung
DE102020207564A1 (de) Verfahren und Vorrichtung zum Trainieren eines Bildklassifikators
EP3655934B1 (de) Konzept zum überwachen eines parkraums
DE102019208922A1 (de) Verfahren und Vorrichtung zum Kontrollieren eines Produktionsprozesses
EP4246268B1 (de) Verfahren zum sicheren bestimmen eines flugpfads eines unbemannten fluggeräts und unbemanntes fluggerät
EP3866135B1 (de) Verfahren zum steuern einer lichtsignalanlage
EP4111279A1 (de) Datenreduzierte edge-zu-cloud-übertragung basierend auf vorhersagemodellen
DE102020209985A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Umfeldinformation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20701932

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020701932

Country of ref document: EP

Effective date: 20210823