DE112022004085T5

DE112022004085T5 - Verfahren und Vorrichtung zum Erzeugen synthetischer Trainingsdaten für ein Ultraschallsensormodell

Info

Publication number: DE112022004085T5
Application number: DE112022004085.8T
Authority: DE
Inventors: Aditya Kumar Agarwal; Hakan Demirel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-08-23
Filing date: 2022-07-08
Publication date: 2024-06-06
Also published as: EP4141807A1; CN117897741A; WO2023025451A1

Abstract

Die Erfindung betrifft ein computer-implementiertes Verfahren zum Erzeugen synthetischer Trainingsdaten zum Trainieren eines datengesteuerten Ultraschallsensormodells (43) für eine gegebene Konfiguration eines Ultraschallsensorsystems (2) mit mehreren Ultraschallsensorvorrichtungen (21), wobei die Trainingsdaten Eingabedaten, die Zeitreihendaten empfangener Ultraschallsignale repräsentieren, und Ausgabedaten, die Objektcharakteristiken von Umgebungsobjekten in einem Erfassungsbereich des Ultraschallsensorsystems (2) angeben, einschließen; umfassend die folgenden Schritte:- Bereitstellen (S2) von realen Trainingsdaten, die durch eine Messung der gegebenen Konfiguration eines Ultraschallsensorsystems (2) erhalten werden;- Trainieren (S4) eines Generatormodells mittels eines Trainingsmodells unter Verwendung der realen Trainingsdaten;- Verwenden (S9) des Generatormodells (51), um die synthetischen Trainingsdaten durch Anwenden eines Zufallsrauschvektors (z) als Eingabe zu erzeugen.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft Ultraschallsensorsysteme, die ein Ultraschallsensormodell als ein maschinelles Lernmodell zum Detektieren eines Standorts und Eigenschaften von Umgebungsobjekten während eines Einparkmanövers verwenden. Die vorliegende Erfindung betrifft ferner die Erzeugung eines Ultraschallsensormodells basierend auf Trainingsdaten, und insbesondere das Erzeugen synthetischer Trainingsdaten zum Trainieren eines solchen Ultraschallsensormodells.
Technischer Hintergrund
Ultraschallsensorsysteme weisen typischerweise eine Mehrzahl von Ultraschallsensorvorrichtungen auf. Die Ultraschallsensorvorrichtungen sind dazu ausgelegt, Ultraschallimpulse in die umliegende Umgebung mittels eines Emitters zu emittieren, wobei die Ultraschallimpulse durch einen Empfänger empfangen werden, nachdem sie von einem oder mehreren Umgebungsobjekten reflektiert wurden, auf die sie während ihrer Ausbreitung trafen. Die empfangenen Ultraschallimpulse werden dann analysiert, um Informationen über die Umgebungsobjekte zu erhalten.
In einem Ultraschallsensorsystem mit einer Anordnung mehrerer Ultraschallsensorvorrichtungen können Messungen basierend auf Effekten wie etwa Laufzeit, Amplitudendämpfung und Phasenverschiebung zwischen dem übertragenen und empfangenen Signal oder zwischen den empfangenen Signalen durchgeführt werden, um Informationen über die Umgebungsobjekte im Umfeld des Ultraschallsensorsystems zu gewinnen.
Aufgrund verschiedener Effekte, und insbesondere für Situationen, bei der eine Mehrzahl von Objekten in der Umgebung vorhanden ist, sind die empfangenen Signalmuster komplex und schwierig zu analysieren, wenn physikalische Grundmodelle angewendet werden. Daher können maschinelle Lernmodelle angewendet werden, um Umgebungsobjekte zu lokalisieren und Objekteigenschaften zu identifizieren. Diese Ultraschallsensormodelle hängen stark von den Eigenschaften des Ultraschallsensorsystems ab, und daher muss für jede Konfiguration eines solchen Ultraschallsensorsystems ein anderes Ultraschallsensormodell trainiert werden.
Kurzfassung der Erfindung
Gemäß der Erfindung sind ein Verfahren zum Erzeugen synthetischer Trainingsdaten zum Trainieren eines Ultraschallsensormodells, das bei einem Ultraschallsensorsystem angewendet werden soll, nach Anspruch 1 und eine Vorrichtung zum Erzeugen synthetischer Trainingsdaten für ein Ultraschallsensormodell nach dem weiteren unabhängigen Anspruch bereitgestellt.
Weitere Ausführungsformen sind in den abhängigen Unteransprüchen angegeben.
Gemäß einem ersten Aspekt ist ein computer-implementiertes Verfahren zum Erzeugen synthetischer Trainingsdaten zum Trainieren eines datengesteuerten Ultraschallsensormodells für eine gegebene Konfiguration eines Ultraschallsensorsystems mit mehreren Ultraschallsensorvorrichtungen bereitgestellt, wobei die Trainingsdaten Eingabedaten, die Zeitreihendaten empfangener Ultraschallsignale repräsentieren, und Ausgabedaten, die Objektcharakteristiken von Umgebungsobjekten in einem Erfassungsbereich des Ultraschallsensorsystems angeben, einschließen; umfassend die folgenden Schritte:

- Bereitstellen von realen Trainingsdaten, die durch eine Messung der gegebenen Konfiguration eines Ultraschallsensorsystems erhalten werden;
- Trainieren eines Generatormodells unter Verwendung der realen Trainingsdaten;
- Verwenden des Generatormodells, um die synthetischen Trainingsdaten durch Anwenden eines Zufallsrauschvektors als Eingabe zu erzeugen.

Ferner kann das Generatormodell durch Anwenden, als das Trainingsmodell, eines GAN-Modells trainiert werden, das das Generatormodell und ein Diskriminatormodell umfasst, die adversarisch mit den realen Trainingsdaten trainiert werden, und/oder durch Anwenden, als das Trainingsmodell, eines Variational Autoencoder, der mit den realen Trainingsdaten trainiert ist, wobei ein Decoder-Abschnitt des Variational Autoencoder das Generatormodell bildet.
Insbesondere kann das Trainingsmodell zum Erhalten des Generatormodells aus einer Mehrzahl gegebener Trainingsmodelle in Abhängigkeit von einer oder mehreren Bewertungsmetriken ausgewählt werden, insbesondere einer durchschnittlichen Bewertungsmetrik mehrerer Bewertungsmetriken.
Eine Konfiguration eines Ultraschallsensorsystems, das eine spezifische Anordnung von Ultraschallsensorvorrichtungen aufweist, braucht ein spezifisches Ultraschallsensormodell zum Evaluieren von Messdaten und Bestimmen der Standorte und Eigenschaften von Umgebungsobjekten basierend auf der durchgeführten Messung. Das spezifische Ultraschallsensormodell muss komplex sein, um Signalverzerrungen und Reflexionen zu berücksichtigen, insbesondere, wenn mehrere Umgebungsobjekte im Detektionsbereich vorhanden sind. Daher wurde gezeigt, dass es vorteilhaft ist, ein maschinelles Lernmodell als ein Ultraschallsensormodell zu verwenden, das Standorte und Eigenschaften von Umgebungsobjekten basierend auf Eingabedaten bereitstellt, die von den Ultraschallsensorvorrichtungen abgeleitet werden.
Ein maschinelles Lernmodell muss durch charakteristische Trainingsdaten trainiert werden, die eine von den empfangenen Sensorsignalen abgeleitete Eingabe mit einer Ausgabe, die Charakteristiken der Umgebungsobjekte wie etwa ihre Standorte und/oder ihre Eigenschaften angibt, assoziieren. Gewöhnlich müssen für das Erzeugen von Trainingsdaten zum Trainieren eines solchen Ultraschallsensormodells basierend auf einem maschinellen Lernmodell unterschiedliche Einrichtungen von Umgebungsobjekten in einer umliegenden Umgebung angeordnet und gemessen werden. Durch das Samplen der Zeitreihen der empfangenen Ultraschallsignale von den unterschiedlichen Ultraschallsensorvorrichtungen und Assoziieren von diesen mit Objektcharakteristiken der angeordneten Umgebungsobjekte können Trainingsdaten erzeugt werden.
Die Eingabedaten für das maschinelle Lernmodell können in einem tabellarischen Format vorliegen, bei dem die Eingabemerkmale und entsprechende Labelausgaben als Spalten formatiert sind.
Die Eingabetrainingsdaten können verschiedene Formate aufweisen, einschließlich Zeitreihendaten jeder Ultraschallsensorvorrichtung, aggregierter Daten, die aus Feature Engineering (Merkmalskonstruktion) erhalten werden, wie etwa die maximale Amplitude eines Zeitreihensignals, die Zeit zwischen der Übertragung des Ultraschallsignals und der Empfangszeit der maximalen Amplitude des Ultraschallsignals im Empfänger, Phaseninformationen von Phasenverschiebungen zwischen gesendeten und empfangenen Signalen und/oder zwischen empfangenen Signalen, und dergleichen. Ferner können die Trainingsdaten ferner die Ausgabedaten (Labels) einschließlich der Objektcharakteristikinformationen einschließen, die mindestens eines von Objektstandort(en), Objekthöhe(n), Objektidentifikation(en) und dergleichen beinhalten können.
Die Eingabedaten, die aus den empfangenen Ultraschallsensorsignalen abgeleitet werden, und die Ausgabedaten, die Objektinformationen als Labels repräsentieren, bilden gewöhnlich ein Trainingsdatenelement für eine einzelne spezifische Umgebungseinrichtung. Um eine signifikante und ausreichende Menge an Trainingsdatenelementen zu erhalten, müsste eine ganze Menge unterschiedlicher Einrichtungen von Umgebungsobjekten erstellt und gemessen werden, was zeitaufwendig ist. Insbesondere in einer Entwicklungsphase des Ultraschallsensorsystems, bei der die Konfiguration des Sensorsystems bezüglich der Anordnung, Empfindlichkeit und der Anzahl von Ultraschallsensorvorrichtungen vorgenommen werden muss, ist der Entwicklungsprozess recht kostspielig. Das obige Verfahren betrifft daher die Erzeugung synthetischer Trainingsdaten, wodurch die Bereitstellung zahlreicher Umgebungseinrichtungen von Umgebungsobjekten für reale Messungen vermieden wird.
Obwohl das Format von Daten irrelevant ist, da das Konzept der Erzeugung synthetischer Daten bei sowohl unstrukturierten Daten als auch strukturierten Daten angewendet werden kann, wird bevorzugt, Eingabedaten in einem tabellarischen Format zu verwenden.
Im Grunde soll ein Generatormodell verwendet werden, um synthetische Trainingsdaten zu erzeugen. Das Erstellen eines solchen Generatormodells beinhaltet jedoch das Auswählen aus einer breiten Vielfalt von Sätzen von Hyperparametern, die die Architektur des Generatormodells und des Trainingsmodells definieren, was die Qualität von Trainingsdaten, die durch das Generatormodell erzeugt werden, stark beeinträchtigt.
Gemäß dem obigen Verfahren wird eine Trainingsmodelleinrichtung verwendet, um ein Generatormodell zum Erzeugen synthetischer Trainingsdaten zu erstellen und zu trainieren. Das Trainingsmodell kann z. B. ein GAN-Modell und einen Variational Autoencoder beinhalten. Ein GAN-Modell als ein Trainingsmodell beinhaltet allgemein ein Generatormodell und ein Diskriminatormodell, die adversarisch trainiert werden. Die Freiheitsgrade zum Bereitstellen eines trainierten Generatormodells sind jedoch hoch, da die Hyperparameter, die die Architektur des datengesteuerten Generatormodells definieren, die Hyperparameter eines Diskriminatormodells und der Typ des Trainingsverfahrens einen Einfluss auf die Qualität des Generatormodells hinsichtlich der Erzeugung wertvoller Trainingsdaten haben. Daher kann das Training des Generatormodells für unterschiedliche GAN-Modelle und/oder einen Variational Autoencoder durchgeführt werden.
Nach dem Training wird das trainierte GAN-Modell basierend auf Bewertungsmetriken evaluiert, um die Qualität der Trainingsdaten zu beurteilen, die durch das trainierte Generatormodell erzeugt werden können.
Insbesondere können unterschiedliche Trainingsmodelle für das Generatormodell evaluiert werden, was mindestens eines von einem Variational Autoencoder, einem Conditional GAN (cGAN) und einem copulaGAN einschließen kann, insbesondere, falls Eingabedaten in einem tabellarischen Format verwendet werden, ein Tabular Variational Autoencoder (TVAE), ein Conditional Tabular GAN (CTGAN) und ein CopulaGAN.
Der (Tabular) Variational Autoencoder ist dazu ausgebildet, reale Daten im tabellarischen Format unter Verwendung eines faltenden neuronalen Netzwerks zu modellieren und die Randverteilung jeder Spalte durch Minimieren der Kullback-Leibler-Divergenz (KL-Divergenz) zu lernen. Die KL-Divergenz bestimmt für zwei gegebene Verteilungen, wie nahe eine Verteilung im Vergleich zu der anderen Verteilung ist.
Der (Tabular) Variational Autoencoder verwendet einen Encoder, um reale Trainingsdaten in einen latenten Raum abzubilden, wobei die Repräsentation des latenten Raums durch eine Gauß-Verteilung mit einem Mittel und einer Varianz definiert ist. Das Mittel und die Varianz werden dann für die Erzeugung synthetischer Daten verwendet, die durch ein Diskriminatormodell evaluiert werden sollen.
Das Conditional (Tabular) GAN (CTGAN) involviert, dass der Generator synthetische Daten basierend auf einer Ausgabebewertung erzeugt, die das Maß ist, das die Kritikalität der Differenzierung zwischen den realen Trainingsdaten und den erzeugten synthetischen Trainingsdaten angibt. Die Ausgabebewertung wird dann verwendet, um die Parameter des Generatormodells so abzustimmen, dass es hochqualitative synthetische Trainingsdaten erzeugt, mithilfe eines Zufallsrauschvektors, um Wiedergabetreue und Diversität in den erzeugten synthetischen Trainingsdaten zu induzieren.
Das CopulaGAN ist eine verbesserte Version des CTGAN, das eine kumulative Verteilungsfunktion basierend auf einer Transformation unter Verwendung von Gauß-Copulas anstelle eines gaußschen Variationsmischmodells verwendet, um das Lernen der realen Daten einfacher zu machen.
Insbesondere führen die unterschiedlichen Typen von Trainingsmodellen zu unterschiedlichen Trainingsqualitäten des Generatormodells, die jeweils mehr oder weniger für die Erzeugung synthetischer Trainingsdaten geeignet sind.
Für die Evaluierung der Trainingsmodellarchitektur werden die Trainingsmodelle basierend darauf evaluiert, wie genau sie die synthetischen Trainingsdaten erzeugen können, sodass sie mit der gemeinsamen Verteilung der realen Trainingsdaten übereinstimmen. Die Qualität der erzeugten Trainingsdaten kann durch verschiedene Verfahren und eine oder mehrere unterschiedliche Bewertungsmetriken geprüft werden, die die Bestimmung einer Trainingsmodellbewertung ermöglichen.
Beispielsweise können statistische Metriken angewendet werden, bei denen die realen Trainingsdaten und die synthetischen Trainingsdaten elementweise verglichen werden, wobei die Differenz zwischen den Elementwerten aggregiert wird, was ein Ähnlichkeitsmaß zwischen jedem der realen Trainingsdaten und den synthetischen Trainingsdaten bezeichnet.
Basierend auf der einen oder den mehreren Bewertungsmetriken wird eine Auswahl für das Trainingsmodell und das so trainierte Generatormodell getroffen. Das ausgewählte Generatormodell kann dann zum Erzeugen synthetischer Trainingsdaten zum Trainieren des datengesteuerten Ultraschallsensormodells verwendet werden.
Gemäß einem weiteren Aspekt ist eine Vorrichtung zum Erzeugen synthetischer Trainingsdaten zum Trainieren eines datengesteuerten Ultraschallsensormodells für eine gegebene Konfiguration eines Ultraschallsensorsystems mit mehreren Ultraschallsensorvorrichtungen bereitgestellt, wobei die Trainingsdaten Eingabedaten, die Zeitreihendaten empfangener Ultraschallsignale repräsentieren, und Ausgabedaten, die Objektcharakteristiken von Umgebungsobjekten in einem Erfassungsbereich des Ultraschallsensorsystems angeben, einschließen; wobei die Vorrichtung ausgelegt ist zum:

- Bereitstellen von realen Trainingsdaten, die durch eine Messung der gegebenen Konfiguration eines Ultraschallsensorsystems erhalten werden;
- Trainieren eines Generatormodells mittels eines Trainingsmodells unter Verwendung der realen Trainingsdaten;
- Verwenden des Generatormodells, um die synthetischen Trainingsdaten durch Anwenden eines Zufallsrauschvektors als Eingabe zu erzeugen.

Kurze Beschreibung der Zeichnungen
Ausführungsformen der vorliegenden Erfindung sind ausführlicher in Verbindung mit den begleitenden Zeichnungen beschrieben, in denen gilt:

1 zeigt schematisch ein Ultraschallsensorsystem zum Detektieren von Charakteristiken von Umgebungsobjekten;
2 ist ein Blockdiagramm zur Signalverarbeitung des Ultraschallsensorsystems, um Objektcharakteristiken von Umgebungsobjekten zu erhalten;
3 ist ein schematisches Funktionsdiagramm eines GAN-Modells, das zum Trainieren des Generatormodells verwendet wird, das zum Trainieren des Ultraschallsensormodells verwendet werden soll;
4 ist ein Flussdiagramm, das ein Verfahren zum Trainieren eines Ultraschallsensormodells veranschaulicht, das in dem Ultraschallsensorsystem von 1 und 2 verwendet werden soll; und
5 ist eine Tabelle, die die Bewertungsmetriken für unterschiedliche Trainingsmodelle vergleicht.

Ausführliche Beschreibung von Ausführungsformen
1a und 1b zeigen schematisch eine Draufsicht an einer Vorderseite eines Fahrzeugs 1 und eine Seitenansicht auf die Vorderseite des Fahrzeugs 1. Die Vorderseite des Fahrzeugs 1, insbesondere eine Stoßstange, ist mit einem Ultraschallsensorsystem 2 zum Bestimmen eines oder mehrerer Umgebungsobjekte 3 im Umfeld des Fahrzeugs 1 versehen. Das Ultraschallsensorsystem 2 umfasst eine Anzahl von Ultraschallsensorvorrichtungen 21, die entlang einer Vorderseite des Fahrzeugs 1 angeordnet sind. Die Ultraschallsensorvorrichtungen 21 werden gewöhnlich als Ultraschallsendeempfänger implementiert, die dazu ausgelegt sind, Ultraschallsignale zu emittieren und zu empfangen.
Die Konfiguration der Ultraschallsensorvorrichtungen 21 im Ultraschallsensorsystem 2 kann der Entwicklung und dem Design geeigneter Architekturen für solche Ultraschallsensorsysteme 2 unterliegen. Insbesondere können für das Anordnen von jeder der Ultraschallsensorvorrichtungen 21 ihre Orte hinsichtlich ihrer Höhen h und Breiten w, sowie ihre Richtung ihrer Hauptachsen der Erfassung gemäß Winkeln o, β, wie gezeigt, variabel sein und ausgewählt werden.
Jede der Ultraschallsensorvorrichtungen 21 ist mit einer Steuereinheit 4 gekoppelt, die Sensordaten in Abhängigkeit von dem Vorhandensein eines oder mehrerer Umgebungsobjekte 3 bereitstellt. Die Messung der Ultraschallsensorvorrichtungen 21 nutzt gewöhnlich eine Laufzeitmessung, eine Amplitudendämpfungsmessung und Phasenverschiebungsmessungen oder eine Kombination davon.
Diese Messungen können durch Emittieren eines Ultraschallimpulses und Empfangen reflektierter Ultraschallsignale in jeder der Ultraschallsensorvorrichtungen 21 vorgenommen werden. Die empfangenen reflektierten Ultraschallsignale werden in Zeitreihendaten des jeweiligen reflektierten Ultraschallsignals gesamplet. In der Steuereinheit 4 werden die Zeitreihendaten analysiert, um Informationen über die Umgebungsobjekte 3 zu erhalten. Infolgedessen werden die Umgebungsobjekte 3 durch Objektcharakteristiken identifiziert, die Informationen über Lokalisierung, Identifikation und Eigenschaften des einen oder der mehreren Umgebungsobjekte beinhalten können. Die Lokalisierung kann lokale Koordinaten im Erfassungsbereich des Ultraschallsensorsystems 2 repräsentieren, die Identifikation kann das detektierte Umgebungsobjekt klassifizieren, wie etwa als eine niedrige oder hohe Mauer, einen Fußgänger, ein niedriges Objekt oder dergleichen. Ferner können Eigenschaften den Typ des Materials angeben, aus dem die Oberfläche des Umgebungsobjekts 3 hergestellt ist.
Wie in der ausführlicheren schematischen Ansicht der Steuereinheit von 2 gezeigt, werden die gesampleten Zeitreihendaten S, die durch die Ultraschallsensorvorrichtungen 21 empfangen werden, gesammelt, wobei sie dann in einer Filtereinheit 41 gefiltert werden, um Umgebungseinflüsse, wie Temperatur, oder andere Zufallsfaktoren, wie Bodenreflexionen oder dergleichen, zu eliminieren.
In einer anschließenden Feature-Engineering-Einheit 42 werden die gefilterten Zeitreihendatenelemente F analysiert und mit Merkmalen der empfangenen Zeitreihe assoziiert, um einen Merkmalsvektor als die Eingabedaten I für ein datengesteuertes Ultraschallsensormodell 43 zu erzeugen.
Die konstruierten Merkmale können Merkmale für alle der gefilterten Zeitreihendaten beinhalten, wie etwa Anzahl von Maxima in den Zeitreihendaten, Zeit bis zum ersten Maximum der Amplitude, Breite des Maximums des Ultraschallsignals, Korrelation zwischen dem emittierten und empfangenen Signal, Signal-Rausch-Verhältnis, Konfidenzniveau der Detektion des Objekts, Abstand des Objekts vom Fahrzeug und dergleichen.
Das Ultraschallsensormodell 43 ist als ein datengesteuertes maschinelles Lernmodell konzipiert, wie etwa ein künstliches neuronales Netzwerk, ein Gradientenverstärkungsmodell (XGBoost) oder dergleichen. Das Ultraschallsensormodell 43 ist trainiert, um Objektcharakteristiken basierend auf dem Eingabevektor I zu assoziieren, der durch die Merkmale der empfangenen Ultraschallsensorsignale gebildet wird. Die Objektcharakteristiken können als Ausgabedaten O ausgegeben werden, die mindestens eines von Objektlokalisierungsdaten, Objektidentifikationsdaten und Objekteigenschaftsdaten beinhalten können, um den Typ des Objekts zu identifizieren.
Für das Trainieren des datengesteuerten Ultraschallsensormodells 43 werden Trainingsdaten benötigt. Herkömmlicherweise können Trainingsdaten durch das Einrichten der Umgebung des Ultraschallsensorsystems 1 mit unterschiedlichen Anordnungen von Umgebungsobjekten und Durchführen einer Messung erhalten werden, um die Ultraschallsensorsignale zu erhalten, die gesamplet und gefiltert werden und an denen Feature Engineering durchgeführt wird, um Eingabedaten zu erhalten, wie oben beschrieben. Diese Eingabedaten werden mit bekannten Objektcharakteristiken (Standort, Identifikation, Eigenschaften) der eingerichteten Umgebungsobjekte 3 als Labels assoziiert, wobei die Objektcharakteristiken manuell aus der Einrichtung der Testumgebung erhalten werden. Jedes Trainingsdatenelement wird durch die Eingabedaten und die assoziierten Ausgabedaten gebildet. Dieser Prozess ist zeitaufwendig, da für jedes Trainingsdatenelement die Einrichtung geändert werden muss, bevor ein neuer Satz an Trainingsdaten erhalten werden kann, und das Einrichten des Experiments für eine korrekte Datensammlung auch den speziellen menschlichen Fähigkeiten unterliegt.
Um den Prozess der Bereitstellung von Trainingsdaten für das Ultraschallsensormodell zu ermöglichen, soll ein Generatormodell zum Erzeugen synthetischer Trainingsdatenelemente bereitgestellt werden.
Für das Trainieren und Erhalten des Generatormodells kann ein GAN-Modell angewendet werden (Generative Adversarial Network), das basierend auf einer geringen Anzahl realer Trainingsdaten I_real trainiert wird, um einen Trainingsdatensatz mit synthetischen Trainingsdaten zu erhalten. Die realen Trainingsdaten I_real werden wie oben beschrieben mit Messungen in realen Einrichtungen von Umgebungsobjekten 3 in einem Erfassungsbereich des Ultraschallsensorsystems 2 erhalten.
Ein GAN-Modell ist allgemein in der Technik bekannt und schematisch in 3 gezeigt. Das GAN-Modell 5 stellt ein Generatormodell 51 zum Erzeugen synthetischer Trainingsdaten basierend auf einem Zufallsrauschvektor z und ein Diskriminatormodell 52, das zur Unterscheidung zwischen realen Trainingsdaten und synthetischen Trainingsdaten I_syn trainiert ist, bereit. Während das Generatormodell 51 trainiert ist, um synthetische Trainingsdaten I_syn bereitzustellen, die so ununterscheibar wie möglich in Bezug auf die realen Trainingsdaten I_real sein sollen, versucht das Diskriminatormodell 52, die Unterscheidung zwischen den synthetischen Trainingsdaten I_syn und den realen Trainingsdaten I_real zu verbessern.
Charakteristisch für das GAN-Modell ist das Min/Max-Optimierungsproblem, wie gegeben durch die Gleichung $min_{G} max_{D} V (D, G) = E_{x ~ p_{d a t a} (x)} [l o g D (x)] + E_{z ~ p_{z} (z)} [l o g (1 - D (G (z)))]$
wobei G eine Transferfunktion des Generatormodells 51 ist, wobei D eine Transferfunktion eines Diskriminatormodells 52 ist, D(x) die Wahrscheinlichkeit ist, dass x von realen Trainingsdaten I_real genommen, anstatt durch das Generatormodell 51 erzeugt wird, V(D, G) die Wertefunktion für die Min/Max-Optimierung ist, die von der Ausgabe des Diskriminatormodells 52 abhängt, und pG die Wahrscheinlichkeitsverteilung des Generators über die realen Trainingsdaten x ist. Die Wahrscheinlichkeitsverteilung pG über die realen Trainingsdaten wird durch den sukzessiven Generatorverlust über die Iterationen erhalten. Der Generatorverlust wird durch die Transferfunktion G des Generatormodells als ein Maß verwendet, um eine Wahrscheinlichkeitsverteilung anzupassen, die näher an der realen Datenverteilung und pZ der Wahrscheinlichkeitsverteilung des Eingaberauschvektors liegt. Gewöhnlich ist der Zufallsrauschvektor vollständig zufällig in seiner Art, die einer gleichmäßigen Verteilung (U(-1 ,1)) oder einer Normalverteilung (N(0,1)) folgen kann.
Während das GAN-Modell 5 als ein Trainingsmodell ein Generatormodell 51 und ein Diskriminatormodell 52 aufweist, um das oben beschriebene Trainingsschema anzuwenden, gibt es verschiedene Trainings- und Konfigurationstypen von GAN-Modellen basierend auf unterschiedlichen Prinzipien.
Beispielsweise kann das durch das Trainingsmodell erhaltene Generatormodell 51 einen Tabular Variational Autoencoder, als ein Conditional Tabular-GAN-Modell, ein copulaGAN-Modell oder dergleichen umfassen.
Ein Tabular Variational Autoencoder kann auch zum Erhalten eines Generatormodells angewendet werden, sodass er dazu ausgebildet ist, die synthetischen Trainingsdaten z. B. unter Verwendung eines faltenden neuronalen Netzwerks zu modellieren, um die Randverteilung jedes Eingabevektorelements durch Minimieren der Kullback-Leibler-Divergenz zu lernen. Die KL-Divergenz für zwei gegebene Verteilungen bezeichnet, wie nahe diese eine Verteilung im Vergleich zu der anderen Verteilung ist.
Der Variational Autoencoder wird durch die realen Trainingsdaten trainiert. Der latente Raumvektor ist durch Mittelwerte und ihre Verteilungen gegeben, sodass Zufallsvariablen verwendet werden können, um die synthetischen Trainingsdaten zu erzeugen.
Als das GAN-Modell kann auch ein Conditional Tabular GAN-Modell verwendet werden, wenn die realen Trainingsdaten als tabellarische Daten gegeben sind. Das Conditional Tabular GAN-Modell ist durch ein Generatormodell charakterisiert, das trainiert ist, um die Ausgabebewertung des Diskriminatormodells zu berücksichtigen. Dadurch wird ein bestimmter Teil in den Trainingsdaten zum Anleiten des Generatormodells verwendet, um Daten basierend auf der Ausgabebewertung zu erzeugen. Die Ausgabebewertung ist das Maß auf der kontinuierlichen Skala in [0, ∞], wobei 0 einer exakten Repräsentation der realen Daten der bedingten Klasse entspricht. Eine höhere Bewertung gibt an, dass das Diskriminatormodell 52 in der Lage ist, zwischen den realen Trainingsdaten und den synthetischen Trainingsdaten zu differenzieren, und andererseits gibt eine niedrigere Bewertung an, dass das Diskriminatormodell 52 nicht in der Lage ist, zwischen den beiden zu differenzieren. Daher wird die Ausgabebewertung verwendet, um die Parameter des Generatormodells 51 so abzustimmen, dass es hochqualitative synthetische Daten erzeugt, mithilfe eines Zufallsrauschvektors (z), um Wiedergabetreue und Diversität in den erzeugten synthetischen Daten zu induzieren.
Das CopulaGAN-Modell ist eine verbesserte Version des Conditional GAN-Modells, das eine kumulative Verteilungsfunktion basierend auf einer Transformation unter Verwendung von Gauß-Copulas anstelle eines gaußschen Variationsmischmodells verwendet, um das Lernen der realen Trainingsdaten einfacher zu machen.
Andere GAN-Modelle können ebenso in der folgenden Beschreibung des Verfahrens in Erwägung gezogen werden, um ein geeignetes Generatormodell für eine spezifische Konfiguration eines Ultraschallsensorsystems bereitzustellen.
In 4 ist ein Flussdiagramm gezeigt, das das Verfahren zum Trainieren eines datengesteuerten Ultraschallsensormodells veranschaulicht, das mit der spezifischen Konfiguration eines Ultraschallsensorsystems angewendet werden soll.
In Schritt S1 wird die spezifische Konfiguration eines Ultraschallsensorsystems mit einer Anordnung von Ultraschallsensorvorrichtungen bereitgestellt.
In Schritt S2 werden reale Trainingsdaten für die ausgewählte Konfiguration des Ultraschallsensorsystems erhalten oder bereitgestellt, wie oben beschrieben.
In Schritt S3 wird eines einer Mehrzahl von Trainingsmodellen aus z. B. den oben kurz besprochenen Trainingsmodellarchitekturen ausgewählt. Die Trainingsmodelle können anhand ihres Typs (wie oben besprochen) und anhand ihrer Hyperparameter unterschieden werden, die den Typ und Konfigurationen der involvierten neuronalen Netzwerke wie etwa Anzahl von Schichten, Anzahl von Neuronen pro Schicht, Art der Aktivierungsfunktion und dergleichen beinhalten können.
In Schritt S4 wird das Training des Trainingsmodells unter Verwendung der ausgewählten Trainingsmodellarchitektur durchgeführt, wie allgemein in der Technik bekannt. Das Training wird durchgeführt, bis ein gegebenes Konvergenzkriterium erfüllt ist oder die vordefinierte Anzahl von Iterationen als einer der Trainingsparameter endet.
In Schritt S5 wird die Leistung des trainierten Generatormodells, das durch das ausgewählte Trainingsmodell erhalten wird, unter Verwendung einer oder mehrerer Bewertungsmetriken evaluiert, die statistische Metriken, Detektionsmetriken und Likelihood-Metriken beinhalten können, um die Qualität des Generatormodells für die Erzeugung synthetischer Trainingsdaten zu prüfen, sodass über die Qualität des Trainingsmodells entschieden wird, auf dem die Erzeugung des Generatormodells 51 basiert.
Als eine statistische Metrik als die Bewertungsmetriken wird eine Bewertung der Ähnlichkeit zwischen den Verteilungen der realen Trainingsdaten und der synthetischen Trainingsdaten vorgenommen. Dies kann unter Verwendung eines Kolmogorov-Smirnov-Tests (KSTest) vorgenommen werden, bei dem die Distanz zwischen den empirischen Verteilungsfunktionen quantifiziert wird. Er basiert auf der Nullhypothese, dass die zwei Samples von derselben kontinuierlichen Verteilung bezogen werden, und einer alternativen Hypothese, dass die zwei Samples von zwei unterschiedlichen Verteilungen mit 95 % kritischem Wert bezogen werden. In diesem Rahmen sind 0 und 1 die statistischen Minima und Maxima der Durchschnittsbewertung über alle entsprechenden Merkmale in den realen bzw. synthetischen Daten hinweg. Je höher die Bewertung, desto höher ist die Qualität der erzeugten synthetischen Daten.
Ferner kann eine Kullback-Leibler-Divergenz (KLDivergenz) verwendet werden, die angibt, wie eng zwei gegebene Wahrscheinlichkeitsverteilungen in Beziehung stehen. Auch hier repräsentiert 0 das statistische Minimum, und 1 repräsentiert das statistische Maximum der Durchschnittsbewertungen über alle entsprechenden Merkmale in den realen und synthetischen Daten hinweg. Eine höhere Bewertung repräsentiert, dass die zwei gegebenen Samples eng in Beziehung stehen.
Als eine Detektionsmetrik als die Bewertungsmetriken kann ein vortrainiertes maschinelles Lernmodell als ein Klassifizierer angewendet werden, der zur Unterscheidung zwischen realen Trainingsdaten und synthetischen Trainingsdaten verwendet wird. Die Bewertungsmetriken evaluieren, wie schwer es ist, die synthetischen Daten von den realen Daten unter Verwendung des Generatormodells, das durch das ausgewählte Trainingsmodell erhalten wird, zu unterscheiden. Dafür werden die Bewertungsmetriken die realen Daten und synthetischen Daten zusammen mit Flags mischen, die angeben, ob die Daten real oder synthetisch sind, und dann ein maschinelles Lernmodell kreuzvalidieren, das versucht, dieses Flag vorherzusagen. Die Ausgabe der Bewertungsmetriken wird 1 minus die durchschnittliche ROC-AUC-Bewertung über alle Kreuzvalidierungsaufteilungen sein. Dieses vorhersagende maschinelle Lernmodell kann mit tabellarischen Daten vortrainiert sein, und akzeptiert daher zwei Parameter (d. h. reale Daten und synthetische Daten).
Eine höhere Bewertung von diesen Metriken gibt an, dass das Klassifizierer nicht in der Lage ist, die realen Trainingsdaten von den synthetischen Trainingsdaten zu klassifizieren, und daher haben beide fast die gleichen Charakteristiken. Beispielsweise kann ein Support-Vektor-Klassifizierer verwendet werden, wie aus PATKI, Neha; WEDGE, Roy; VEERAMACHANENI, Kalyan: „The Synthetic Data Vault" bekannt. In: 2016, IEEE Internationale Konferenz zu Data Science und Advanced Analytics (DSAA), 2016, S. 399-410.
Um die Likelihood-Metriken (BNLogLikelihood) als die Bewertungsmetriken zu bestimmen, werden die realen Trainingsdaten verwendet, um ein probabilistisches Modell anzupassen, und später wird die Likelihood synthetischer Trainingsdaten, die aus diesem probabilistischen Modell bezogen werden, berechnet. Ein bayessches Netzwerk als ein probabilistisches Modell kann verwendet werden, um die Qualität der erzeugten synthetischen Daten anzugeben. Diese Metrik passt ein bayessches Netzwerk an die realen Trainingsdaten an und evaluiert dann die durchschnittliche Log-Likelihood der Zeilen aus den synthetischen Trainingsdaten daran, wobei die kleinstmögliche Bewertung -∞ ist und die höchstmögliche Bewertung 0 ist. Je höher die Bewertung, desto besser ist die Übereinstimmung zwischen den gemeinsamen Verteilungen von realen und synthetischen Daten.
Die eine oder die mehreren Bewertungsmetriken werden in Schritt S6 gespeichert. Außerdem können die Netzwerkparameter der trainierten Generatormodelle, die durch die jeweiligen Trainingsmodelle erhalten werden, gespeichert werden.
In Schritt S7 wird geprüft, ob eine andere Trainingsmodellarchitektur evaluiert werden muss. Falls positiv (alternativ: Ja), wird zurück in Schritt S3 eine weitere Trainingsmodellarchitektur ausgewählt, und der Prozess wird fortgesetzt. Andernfalls (alternativ: Nein) wird der Prozess in Schritt S8 fortgesetzt.
In Schritt S8 werden die Trainingsmodellarchitekturen oder die dadurch erhaltenen Generatormodelle in Abhängigkeit von ihren jeweiligen Bewertungsmetriken verglichen. Eine Auswahl von einem der Generatormodelle wird gemäß den Bewertungsmetriken vorgenommen, sodass das Trainingsmodell und das angewendete Generatormodell ausgewählt werden, die die höchste Qualität der synthetischen Trainingsdaten liefern.
In Schritt S9 wird das ausgewählte Generatormodell zum Erzeugen synthetischer Trainingsdaten verwendet.
In Schritt S10 werden die erzeugten synthetischen Trainingsdaten verwendet, um das Ultraschallsensormodell gemäß einem herkömmlichen Verfahren zu trainieren, wie etwa einem Gradientenverstärkungsalgorithmus, d. h. XGBoost, um das maschinelle Lernmodell mit den erzeugten Trainingsdaten zu trainieren, die in dem Ultraschallsensorsystem von 1 verwendet werden sollen.
5 zeigt ein Beispiel für eine Tabelle für die Evaluierung einer einzelnen Ultraschallsensorsystemkonfiguration, für die Trainingsdaten unter Verwendung eines Generatormodells eines GAN-Modells mit vier unterschiedlichen Arten von Generatormodellen modelliert und durch unterschiedliche Evaluierungsmetriken evaluiert werden sollen. Es kann gesehen werden, dass ein CopulaGAN am besten abschneidet, sodass das CopulaGAN in diesem Beispiel ausgewählt werden würde.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

PATKI, Neha; WEDGE, Roy; VEERAMACHANENI, Kalyan: „The Synthetic Data Vault“ bekannt. In: 2016, IEEE Internationale Konferenz zu Data Science und Advanced Analytics (DSAA), 2016, S. 399-410 [0059]

Claims

Computer-implementiertes Verfahren zum Erzeugen synthetischer Trainingsdaten zum Trainieren eines datengesteuerten Ultraschallsensormodells (43) für eine gegebene Konfiguration eines Ultraschallsensorsystems (2) mit mehreren Ultraschallsensorvorrichtungen (21), wobei die Trainingsdaten Eingabedaten, die Zeitreihendaten empfangener Ultraschallsignale repräsentieren, und Ausgabedaten, die Objektcharakteristiken von Umgebungsobjekten in einem Erfassungsbereich des Ultraschallsensorsystems (2) angeben, einschließen; umfassend die folgenden Schritte: - Bereitstellen (S2) von realen Trainingsdaten, die durch eine Messung der gegebenen Konfiguration eines Ultraschallsensorsystems (2) erhalten werden; - Trainieren (S4) eines Generatormodells mittels eines Trainingsmodells unter Verwendung der realen Trainingsdaten; - Verwenden (S9) des Generatormodells (51), um die synthetischen Trainingsdaten durch Anwenden eines Zufallsrauschvektors (z) als Eingabe zu erzeugen.
Verfahren nach Anspruch 1, wobei das Generatormodell (51) durch Anwenden, als das Trainingsmodell, eines GAN-Modells (5) trainiert wird, das das Generatormodell (51) und ein Diskriminatormodell (52) umfasst, die adversarisch trainiert werden, und/oder durch Anwenden, als das Trainingsmodell, eines Variational Autoencoder, wobei ein Decoder-Abschnitt des Variational Autoencoder das Generatormodell bildet.
Verfahren nach Anspruch 1 oder 2, wobei das Trainingsmodell zum Erhalten des Generatormodells (51) aus einer Mehrzahl gegebener Trainingsmodelle in Abhängigkeit von einer oder mehreren Bewertungsmetriken ausgewählt wird, insbesondere einer durchschnittlichen Bewertungsmetrik mehrerer Bewertungsmetriken.
Verfahren nach Anspruch 3, wobei die Mehrzahl gegebener Trainingsmodelle mindestens eines von einem Variational Autoencoder, einem Conditional GAN-Modell und einem CopulaGAN-Modell einschließt.
Verfahren nach Anspruch 2 oder 3, wobei die eine oder die mehreren Bewertungsmetriken mindestens eines von Folgendem einschließen: eine statistische Metrik, eine Detektionsmetrik und eine Likelihood-Metrik.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die synthetischen Trainingsdaten verwendet werden, um das Ultraschallsensormodell (43) insbesondere in Kombination mit den realen Trainingsdaten zu trainieren.
Verfahren nach Anspruch 6, wobei das Ultraschallsensormodell (43) als ein künstliches neuronales Netzwerk oder ein Gradientenverstärkungsmodell ausgebildet ist.
Verfahren nach einem der Ansprüche 1 bis 7, wobei Trainingsdaten als tabellarische Daten gegeben sind.
Vorrichtung zum Erzeugen synthetischer Trainingsdaten zum Trainieren eines datengesteuerten Ultraschallsensormodells (43) für eine gegebene Konfiguration eines Ultraschallsensorsystems (2) mit mehreren Ultraschallsensorvorrichtungen (21), wobei die Trainingsdaten Eingabedaten, die Zeitreihendaten empfangener Ultraschallsignale repräsentieren, und Ausgabedaten, die Objektcharakteristiken von Umgebungsobjekten in einem Erfassungsbereich des Ultraschallsensorsystems (2) angeben, einschließen; wobei die Vorrichtung ausgelegt ist zum: - Bereitstellen von realen Trainingsdaten, die durch eine Messung der gegebenen Konfiguration eines Ultraschallsensorsystems (2) erhalten werden; - Trainieren eines Generatormodells mittels eines Trainingsmodells unter Verwendung der realen Trainingsdaten; - Verwenden des Generatormodells (51), um die synthetischen Trainingsdaten durch Anwenden eines Zufallsrauschvektors (z) als Eingabe zu erzeugen.
Computerprogrammprodukt, das ein computerlesbares Medium mit Computerprogrammcodemitteln umfasst, das, wenn das Programm geladen wird, den Computer veranlasst, Prozeduren zum Durchführen aller Schritte des Verfahrens nach einem der Ansprüche 1 bis 8 auszuführen.
Maschinenlesbares Medium mit einem darauf aufgezeichneten Programm, wobei das Programm veranlassen soll, dass der Computer ein Verfahren nach einem der Ansprüche 1 bis 8 ausführt.