DE112020003158T5

DE112020003158T5 - Trainingsverfahren für ein Zielerfassungsmodell, Verfahren und Vorrichtung zur Kennzeichnung der Daten

Info

Publication number: DE112020003158T5
Application number: DE112020003158.6T
Authority: DE
Inventors: Hao Jiang; Xianzhong Ma; Haoyu Hu; Weishan Dong
Original assignee: Momenta Suzhou Technology Co Ltd
Current assignee: Momenta Suzhou Technology Co Ltd
Priority date: 2020-01-17
Filing date: 2020-10-16
Publication date: 2022-03-17
Also published as: CN113139559A; CN113139559B; WO2021143231A1

Abstract

Ausführungsbeispiele der vorliegenden Erfindung offenbaren ein Trainingsverfahren für ein Zielerfassungsmodell, ein Verfahren und eine Vorrichtung zur Kennzeichnung der Daten. Das Verfahren umfasst: Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des Objekts gekennzeichnet sind, werden erfasst; die Probendaten werden in das anfängliche Erfassungsmodell eingegeben, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten; die Zielposition und die vorhergesagte Position werden verglichen und die Parameter des anfänglichen Erfassungsmodells werden gemäß den Vergleichsergebnissen angepasst, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird; wobei die Verlustfunktion des Zielerfassungsmodells einen Klassifizierungsteil und einen Regressionsteil umfasst, und der Wert des Regressionsteils ist die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist. Durch Anwenden der obigen Lösung wird die Zeit für die Kennzeichnungsperson zum Modifizieren des Hilfsblocks effektiv reduziert und die Kennzeichnungseffizienz der Daten in aufeinanderfolgenden Rahmen wird verbessert.

Description

TECHNISCHES GEBIET
Die Erfindung betrifft das technische Gebiet des automatischen Fahrens, insbesondere ein Trainingsverfahren für ein Zielerfassungsmodell, ein Verfahren und eine Vorrichtung zur Kennzeichnung der Daten.
STAND DER TECHNIK
Im Bereich des autonomen Fahrens nimmt das Wahrnehmungsmodul die Daten verschiedener Sensoren und die Informationen hochpräziser Karten als Eingaben auf und kann nach einer Reihe von Berechnungen und Verarbeitungen die Umgebung des autonomen Fahrzeugs genau wahrnehmen. Derzeit übernimmt der Mainstream des autonomen Fahrwahrnehmungsalgorithmus die Deep-Learning-Methode. Derzeit muss sich das Training des Deep-Learning-Zielerfassungsmodells noch auf umfangreiche manuelle Kennzeichnungsdaten stützen. Daher ist es ein dringendes Problem, mehr Kennzeichnungsdaten mit geringeren Kosten zu erhalten.
Derzeit umfasst die Verlustfunktion des Deep-Learning-Zielerfassungsmodells im Allgemeinen zwei Teile: Klassifizierung und Regression, wobei der Regressionsteil im Allgemeinen Verlustfunktionen in der Form von Differenzwerten L1, L2, Smooth L1 zwischen vorhergesagten und wahren Werten von physikalischen Größen, wie zum Beispiel Positionen, Größen und Orientierungswinkel, und Verlustfunktionen in der Form von IoU (Intersection over Union, Schnittverhältnis), GIoU, DIoU oder dergleichen des vorhergesagten Blocks zu dem wahren Block übernimmt, und diese Verlustfunktionen können alle den Vorhersagewert des Zielerfassungsmodells so nahe wie möglich an den wahren Wert bringen. Die derzeit verwendeten Verlustfunktionen berücksichtigen jedoch nur die Genauigkeit der Positionen des vorhergesagten Blocks und des wahren Blocks und berücksichtigen nicht die spezifischen Anforderungen von Hilfskennzeichnungsanwendungen, d.h. die Anzahl der Modifikationen des Hilfsblocks durch die Kennzeichnungsperson soll so oft wie möglich verringert werden.
INHALT DER VORLIEGENDEN ERFINDUNG
Ausführungsbeispiele der vorliegenden Erfindung offenbaren ein Trainingsverfahren für ein Zielerfassungsmodell, ein Verfahren und eine Vorrichtung zur Kennzeichnung der Daten, wodurch die Zeit für die Kennzeichnungsperson zum Modifizieren des Hilfsblocks effektiv reduziert wird, und die Kennzeichnungseffizienz der Daten in aufeinanderfolgenden Rahmen wird verbessert, und die Kennzeichnungskosten werden reduziert.
In einem ersten Aspekt offenbaren Ausführungsbeispiele der vorliegenden Erfindung ein Trainingsverfahren für ein Zielerfassungsmodell, wobei das Verfahren umfasst: Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des Objekts gekennzeichnet sind, werden erfasst;
die Probendaten werden in das anfängliche Erfassungsmodell eingegeben, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten;
die Zielposition und die vorhergesagte Position werden verglichen und die Parameter des anfänglichen Erfassungsmodells werden gemäß den Vergleichsergebnissen angepasst, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird;
wobei die Verlustfunktion des Zielerfassungsmodells einen Klassifizierungsteil und einen Regressionsteil umfasst, wobei der Wert des Regressionsteils die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Wahlweise ist es vorgesehen, dass der normalisierte Fehler der Absolutwert der Differenz zwischen der vorhergesagten Position und der Zielposition ist und durch Normalisieren der Zielposition erhalten wird.
In einem zweiten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein Verfahren zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen, angewendet auf die Cloud, bereit, wobei das Verfahren umfasst:

die Kennzeichnungsaufgabe wird erfasst und die Daten in aufeinanderfolgenden Rahmen werden ausgelesen, wobei die Kennzeichnungsaufgabe eine Kategorie und eine Position des zu kennzeichnenden Objekts umfasst;
die Zielerfassung wird an Daten in jedem Rahmen der Daten in ausgelesenen aufeinanderfolgenden Rahmen auf der Grundlage des vorbestimmten Zielerfassungsmodells und gemäß der Kennzeichnungsaufgabe durchgeführt, wobei die erhaltene Kategorie und die Position des zu kennzeichnenden Objekts in jedem Datenrahmen als Erfassungsergebnis verwendet werden;
eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten wird auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut, wobei die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird, die zur Korrektur am Kennzeichnungsterminal verwendet wird;
wobei das vorbestimmte Zielerfassungsmodell eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen erstellt, wobei der Wert des Regressionsteils der Verlustfunktion, der vom vorbestimmten Zielerfassungsmodell im Verlauf des Trainings übernommen wird, ist: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.

Wahlweise ist es vorgesehen, dass das Verfahren ferner umfasst:

das Erfassungsergebnisses wird auf Basis eines maschinellen Lernverfahrens korrigiert, so dass das gleiche zu kennzeichnende Objekt die gleichen Abmessungen aufweist, wobei das maschinelle Lernverfahren einen Kalman-Filteralgorithmus umfasst.
Wahlweise ist es vorgesehen, dass die Kennzeichnungsaufgabe ferner ein Ausgeben eines Ausgabedateiformats umfasst;
entsprechend umfasst das Verfahren ferner:
- eine erweiterbare Vorkennzeichnungsdatei wird gemäß dem Ausgabedateiformat aus dem Vorkennzeichnungsergebnis generiert, und die Vorkennzeichnungsdatei und die Daten in aufeinanderfolgenden Rahmen werden an das Kennzeichnungsterminal gesendet.
- Wahlweise ist es vorgesehen, dass die Daten in aufeinanderfolgenden Rahmen ein Bild oder eine Lidar-Punktwolke sind.

In einem dritten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein Verfahren zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen, angewendet auf dem Kennzeichnungsterminal, bereit, wobei das Verfahren umfasst:

ein Vorkennzeichnungsergebnis von Daten in aufeinanderfolgenden Rahmen wird erfasst,
die von der Cloud gesendet wurden;
wobei das Vorkennzeichnungsergebnis, wenn ein Korrekturbefehl für das Vorkennzeichnungsergebnis empfangen wird, gemäß dem Korrekturbefehl korrigiert wird, und das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird;
wobei das Vorkennzeichnungsergebnis darin liegt: eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten, die von der Cloud nach dem Lesen der Daten in aufeinanderfolgenden Rahmen auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei das Erfassungsergebnis erhalten wird, indem eine Zielerfassung an dem zu kennzeichnenden Objekt in jedem Datenrahmen basierend auf dem vorbestimmten Zielerfassungsmodell und gemäß der Kennzeichnungsaufgabe durchgeführt wird; dabei umfasst das Erfassungsergebnis eine Kategorie und eine Position des zu kennzeichnenden Objekts, wobei das vorbestimmte Zielerfassungsmodell gemäß dem Trainingsverfahren des Zielerfassungsmodells nach Anspruch 1 erzeugt wird.

In einem vierten Aspekt offenbaren Ausführungsbeispiele der vorliegenden Erfindung ferner eine Trainingsvorrichtung für ein Zielerfassungsmodell, wobei die Vorrichtung aufweist:

ein Probendatenerfassungsmodul, das so konfiguriert ist, dass Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des kennzeichnenden Objekts gekennzeichnet sind, erfasst werden;
ein Bestimmungsmodul für die vorhergesagte Position, das so konfiguriert ist, dass die Probendaten in das anfängliche Erfassungsmodell eingegeben werden, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten;
ein Zielerfassungsmodell-Bestimmungsmodul, das so konfiguriert ist, dass die Zielposition und die vorhergesagte Position verglichen werden und die Parameter des anfänglichen Erfassungsmodells gemäß den Vergleichsergebnissen angepasst werden, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird;
wobei die Verlustfunktion des Zielerfassungsmodells einen Klassifizierungsteil und einen Regressionsteil umfasst, wobei der Wert des Regressionsteils die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.

Wahlweise ist es vorgesehen, dass der normalisierte Fehler der Absolutwert der Differenz zwischen der vorhergesagten Position und der Zielposition ist und durch Normalisieren der Zielposition erhalten wird.
In einem fünften Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch eine Vorrichtung zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen, angewendet auf die Cloud, bereit, wobei die Vorrichtung aufweist:

ein Erfassungsmodul für Daten in aufeinanderfolgenden Rahmen, das so konfiguriert ist,
dass die Kennzeichnungsaufgabe erfasst wird und die Daten in aufeinanderfolgenden Rahmen ausgelesen werden, wobei die Kennzeichnungsaufgabe eine Kategorie und eine Position des zu kennzeichnenden Objekts umfasst;
ein Erfassungsergebnis-Bestimmungsmodul, das so konfiguriert ist, dass die Zielerfassung an Daten in jedem Rahmen der Daten in ausgelesenen aufeinanderfolgenden Rahmen auf der Grundlage des vorbestimmten Zielerfassungsmodells und gemäß der Kennzeichnungsaufgabe durchgeführt wird, wobei die erhaltene Kategorie und die Position des zu kennzeichnenden Objekts in jedem Datenrahmen als Erfassungsergebnis verwendet werden;
ein Zuordnungsbeziehungserstellungsmodul, das so konfiguriert ist, dass eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird, die zur Korrektur am Kennzeichnungsterminal verwendet wird;
wobei das vorbestimmte Zielerfassungsmodell eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen erstellt, wobei der Wert des Regressionsteils der Verlustfunktion, der vom vorbestimmten Zielerfassungsmodell im Verlauf des Trainings übernommen wird, ist: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.

Wahlweise ist es vorgesehen, dass die Vorrichtung ferner umfasst:

ein Korrekturmodul, das so konfiguriert ist, dass das Erfassungsergebnis auf Basis eines maschinellen Lernverfahrens korrigiert wird, so dass das gleiche zu kennzeichnende Objekt die gleichen Abmessungen aufweist, wobei das maschinelle Lernverfahren einen Kalman-Filteralgorithmus umfasst.
Wahlweise ist es vorgesehen, dass die Kennzeichnungsaufgabe ferner ein Ausgeben eines Ausgabedateiformats umfasst;
entsprechend umfasst die Vorrichtung ferner:
- ein Dateierzeugungsmodul, das so konfiguriert ist, dass eine erweiterbare Vorkennzeichnungsdatei gemäß dem Ausgabedateiformat aus dem Vorkennzeichnungsergebnis generiert wird, und die Vorkennzeichnungsdatei und die Daten in aufeinanderfolgenden Rahmen werden an das Kennzeichnungsterminal gesendet.
- In einem sechsten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch eine Vorrichtung zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen, die auf dem Kennzeichnungsterminal angewendet wird, bereit, wobei die Vorrichtung aufweist:
ein Vorkennzeichnungsergebnis-Erfassungsmodul, das so konfiguriert ist, dass ein Vorkennzeichnungsergebnis von Daten in aufeinanderfolgenden Rahmen erfasst wird, die von der Cloud gesendet wurden;
ein Korrekturmodul, das so konfiguriert ist, dass das Vorkennzeichnungsergebnis, wenn ein Korrekturbefehl für das Vorkennzeichnungsergebnis empfangen wird, gemäß dem Korrekturbefehl korrigiert wird, und das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird;
wobei das Vorkennzeichnungsergebnis darin liegt: eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten, die von der Cloud nach dem Lesen der Daten in aufeinanderfolgenden Rahmen auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei das Erfassungsergebnis erhalten wird, indem eine Zielerfassung an dem zu kennzeichnenden Objekt in jedem Datenrahmen basierend auf dem vorbestimmten Zielerfassungsmodell und gemäß der Kennzeichnungsaufgabe durchgeführt wird; dabei umfasst das Erfassungsergebnis eine Kategorie und eine Position des zu kennzeichnenden Objekts, wobei das vorbestimmte Zielerfassungsmodell gemäß dem Trainingsverfahren des Zielerfassungsmodells erzeugt wird, das durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird.

In einem siebten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein Gerät bereit, umfassend:

einen Speicher, der ausführbaren Programmcode speichert;
einen mit dem Speicher gekoppelten Prozessor;
der Prozessor ruft den im Speicher gespeicherten ausführbaren Programmcode auf, um einige oder alle der Schritte eines Trainingsverfahren für ein Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird, durchzuführen.
In einem achten Aspekt stellt die vorliegende Erfindung in Echtzeit auch ein Cloud-Server bereit, das umfasst:
- einen Speicher, der ausführbaren Programmcode speichert;
- einen mit dem Speicher gekoppelten Prozessor;
- der Prozessor ruft den im Speicher gespeicherten ausführbaren Programmcode auf, um einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für die Cloud verwendet wird, durchzuführen.

In einem neunten Aspekt stellt die vorliegende Erfindung in Echtzeit auch ein Kennzeichnung-Terminal bereit, das umfasst:

einen Speicher, der ausführbaren Programmcode speichert;
einen mit dem Speicher gekoppelten Prozessor;
der Prozessor ruft den im Speicher gespeicherten ausführbaren Programmcode auf, um einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für das Kennzeichnungsterminal verwendet wird, durchzuführen.

In einem zehnten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein computerlesbares Speichermedium bereit, das ein Computerprogramm speichert, wobei das Computerprogramm Befehle umfasst, um einige oder alle der Schritte eines Trainingsverfahrens für ein Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird verwendet wird, auszuführen.
In einem elften Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein computerlesbares Speichermedium bereit, das ein Computerprogramm speichert, wobei das Computerprogramm Befehle umfasst, um einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für die Cloud verwendet wird, auszuführen.
In einem zwölften Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein computerlesbares Speichermedium bereit, das ein Computerprogramm speichert, wobei das Computerprogramm Befehle umfasst, um einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für das Kennzeichnungsterminal verwendet wird, auszuführen.
In einem dreizehnten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein Computerprogrammprodukt bereit, wobei, wenn das Computerprogrammprodukt auf einem Computer läuft, der Computer einige oder alle der Schritte eines Trainingsverfahrens für ein Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird, ausführen wird.
In einem vierzehnten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein Computerprogrammprodukt bereit, wobei, wenn das Computerprogrammprodukt auf einem Computer läuft, der Computer einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für die Cloud verwendet wird, ausführen wird.
In einem fünfzehnten Aspekt stellen die Ausführungsbeispiele der vorliegenden Erfindung auch ein Computerprogrammprodukt bereit, wobei, wenn das Computerprogrammprodukt auf einem Computer läuft, der Computer einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für das Kennzeichnungsterminal verwendet wird, ausführen wird.
In der durch dieses Ausführungsbeispiel bereitgestellten technischen Lösung ist es vorgesehen, dass Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des Objekts gekennzeichnet sind, erfasst werden, die Probendaten werden in das anfängliche Erfassungsmodell eingegeben, um die vorhergesagte Position des vorbestimmten Objekts erhalten zu können. Die Zielposition und die vorhergesagte Position werden verglichen und die Parameter des anfänglichen Erfassungsmodells werden gemäß den Vergleichsergebnissen angepasst, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird. Die Verlustfunktion des Zielerfassungsmodells umfasst einen Klassifizierungsteil und einen Regressionsteil. Verglichen mit dem herkömmlichen Zielerfassungsmodell ist der Wert des Regressionsteils des Zielerfassungsmodells in dieser Implementierung die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist. Mit dieser Einstellung weisen durch Anpassen der Gewichte verschiedener Terme der Verlustfunktion nur wenige Terme im Ergebnis der Verlustfunktion eine gewisse Abweichung auf, und andere Terme liegen nahe bei 0 und nicht alle Terme haben Abweichung, wodurch in der Stufe zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen kontinuierlicher Rahmendaten die Anzahl und die Zeit zum Einstellen des Hilfsblocks für die Kennzeichnungsperson reduziert werden kann, und die Kennzeichnungseffizienz wird verbessert.
Die Erfindungspunkte der vorliegenden Erfindung umfassen:

1. Das Zielerfassungsmodell erstellt eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen. Die vom Modell im Trainingsprozess verwendete Verlustfunktion ist die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist. Diese Anordnung reduziert die Anzahl und die Zeit für die Kennzeichnungsperson, um den Hilfsblock einzustellen, und verbessert die Kennzeichnungseffizienz, was einer der erfinderischen Punkte der vorliegenden Erfindung ist.
2. Auf der Grundlage des Standes der Technik fügt die technische Lösung der Ausführungsbeispiele der vorliegenden Erfindung, bevor die Daten in aufeinanderfolgenden Rahmen am Kennzeichnungsterminal gekennzeichnet werden, zusätzliche Kennzeichnung-Gliede in der Cloud hinzu, um eine Zielerfassung von Daten in einem einzelnen Rahmen und eine Zuordnung zu Daten in aufeinanderfolgenden Rahmen vorzunehmen. Die Vorkennzeichnungsergebnisse, die Cloud nach erfolgter zusätzlicher Kennzeichnung bekommt, können als Grundlage für weitere Prüfungen von Kennzeichnungspersonen dienen, und auf dieser Grundlage können die Kennzeichnungspersonen über das Kennzeichnungsterminal Anpassungen und Korrekturen vornehmen, was das Problem der geringen Effizienz der manuellen Kennzeichnung im Stand der Technik löst, was einer der erfinderischen Punkte der vorliegenden Erfindung ist.
3. Auf dem Kennzeichnungsterminal sind einige Tasten für Hilfsfunktionen hinzugefügt, und über die Funktionstasten können die Kennzeichnungspersonen einen Korrekturbefehl auslösen, der eine einfache Anpassung der Vorkennzeichnungsdatei für die Kennzeichnungspersonen ermöglicht. Die Ausführungsbeispiele der vorliegenden Erfindung nehmen einen Kennzeichnungsmodus an, in dem die Cloud und das Kennzeichnungsterminal miteinander kooperieren, was die Kennzeichnungseffizienz effektiv verbessert und die Kennzeichnungskosten reduziert, was einer der erfinderischen Punkte der vorliegenden Erfindung ist.

Figurenliste
Um die technischen Lösungen der Ausführungsbeispielen der vorliegenden Erfindung klarer zu erläutern, werden die Zeichnungen, welche für die Ausführungsbeispiele erforderlich sind, im Folgenden kurz beschrieben. Offensichtlich sind die Zeichnungen in der folgenden Beschreibung nur einige Ausführungsbeispiele der vorliegenden Erfindung, und für den Durchschnittsfachmann auf dem Gebiet können auch andere Zeichnungen ohne kreative Anstrengung aus diesen Zeichnungen erhalten werden.

1 ist ein schematisches Flussdiagramm eines Trainingsverfahrens für ein Zielerfassungsmodell, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird;
2 ist ein schematisches Flussdiagramm eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf eine Cloud angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird;
3 ist ein schematisches Flussdiagramm eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf einem Kennzeichnungsterminal angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird;
4 ist eine schematische Darstellung der Struktur einer Trainingsvorrichtung für ein Zielerfassungsmodell, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird;
5 ist eine schematische Darstellung der Struktur einer Vorrichtung zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf eine Cloud angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird;
6 ist eine schematische Darstellung der Struktur einer Vorrichtung zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf einem Kennzeichnungsterminal angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird;
7 ist eine schematische Darstellung der Struktur eines Geräts, der durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird.

AUSFÜHRLICHE BESCHREIBUNG
Die technischen Lösungen der Ausführungsbeispiele der vorliegenden Erfindung werden im Folgenden klar und vollständig in Verbindung mit den begleitenden Zeichnungen beschrieben, die in den Ausführungsbeispielen der vorliegenden Erfindung dargestellt sind. Es ist offensichtlich, dass die beschriebenen Ausführungsbeispiele nur ein Teil der Ausführungsbeispiele der Erfindung ist und nicht alle Ausführungsbeispiele. Alle anderen Ausführungsbeispiele, die der Durchschnittsfachmann in diesem Gebiet basierend auf den Ausführungsbeispiele der vorliegenden Erfindung ohne kreative Tätigkeit erlangen kann, sollen in den Schutzbereich der vorliegenden Erfindung fallen.
Es ist zu beachten, dass die Begriffe „umfassen“ und „aufweisen“ und Variationen davon, wie sie in Ausführungsbeispiele der Erfindung und den Figuren verwendet werden, eine nicht ausschließende Inklusion abdecken sollen. Ein Prozess, Verfahren, System, Produkt oder Gerät, das zum Beispiel eine Reihe von Schritten oder Einheiten umfasst, ist nicht auf die aufgelisteten Schritte oder Einheiten beschränkt, sondern umfasst optional auch nicht aufgelistete Schritte oder Einheiten oder optional weitere Schritte oder Einheiten, die solch einem Prozess, Verfahren, Produkt oder Gerät inhärent sind.
Erstes Ausführungsbeispiel
Unter Bezugnahme auf 1 ist 1 ein schematisches Flussdiagramm eines Trainingsverfahrens für ein Zielerfassungsmodell, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Das Zielerfassungsmodell wird hauptsächlich in der Cloud zur zusätzlichen Kennzeichnung von Daten in aufeinanderfolgenden Rahmen verwendet. Das Verfahren kann von einer Trainingsvorrichtung eines Zielerfassungsmodells durchgeführt werden, wobei die Vorrichtung in Software und/oder Hardware implementiert sein kann, und Ausführungsbeispiele der vorliegenden Erfindung sind nicht darauf beschränkt. Wie in 1 gezeigt, umfasst das Verfahren, das durch die vorliegenden Ausführungsbeispiele bereitgestellt wird, insbesondere:

110. Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des Objekts gekennzeichnet sind, werden erfasst.

Die Probendaten sind dabei Probenbilder, die zum Trainieren des Zielerfassungsmodells verwendet werden. Das Training in Ausführungsbeispiel der vorliegenden Anmeldung ist ein überwachtes Training. Daher müssen alle verwendeten Probendaten entsprechende Kennzeichnungen haben, d.h. jedes vorbestimmte Objekt in den Probendaten muss entsprechende Zielkategorie- und Zielpositionskennzeichnungen haben.
120. Die Probendaten werden in das anfängliche Erfassungsmodell eingegeben, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten.
Das anfängliche Erfassungsmodell kann ein tiefes neurales Netzwerkmodell sein, zum Beispiel PointRCNN (Regions with Convolution Neural Network, ein bereichsbasiertes Convolutional Neural Network für die ursprüngliche Punktwolke).
Beispielsweise kann über den Hilfsblock des Quaders die Position des zu kennzeichnenden Objekts kalibriert werden. Die konkreten Positionsinformationen dieses Quaders lassen sich durch die Koordinaten des Quadermittelpunktes (x, y, z), der Länge, Breite und Höhe des Quaders (w, h, d) und dem Orientierungswinkel θ des Quaders repräsentieren, das heißt, die Positionen des Regressions von dem Zielerfassungsmodell erhalten werden, sind x, y, z, w, h, d und θ, diese sieben Variablen. Diese Variablen können in der Form von Hilfsblöcken dargestellt werden.
130. Die Zielposition und die vorhergesagte Position werden verglichen und die Parameter des anfänglichen Erfassungsmodells werden gemäß den Vergleichsergebnissen angepasst, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird.
Es sei darauf hingewiesen, dass das in den vorliegenden Ausführungsbeispielen zu trainierende Zielerfassungsmodell hauptsächlich die Kategorie und Position des vorbestimmten Objekts erkennt. Ob die Kategorie des vorbestimmten Objekts das zu kennzeichnende Objekt in der Kennzeichnungsaufgabe ist, kann durch Klassifikation realisiert werden, und die Position des vorbestimmten Objekts kann durch Regression bestimmt werden. Dementsprechend umfasst die Verlustfunktion, die von dem Zielerfassungsmodell während seines Trainings verwendet wird, typischerweise auch zwei Teile d.h. einer Klassifizierung und einer Regression. Dabei ist der Wert des Regressionsteils der angenommenen Verlustfunktion: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, der normalisierte Fehler der Absolutwert der Differenz zwischen der vorhergesagten Position und der Zielposition ist und durch Normalisieren der Zielposition erhalten wird. Die Gewichtung des normalisierten Fehlers ist die k-Potenz von w, wobei w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist. Die Gründe für diese Einstellung sind folgende: im Stand der Technik übernimmt der Regressionsteil des Zielerfassungsmodells im Allgemeinen Verlustfunktionen in der Form von Differenzwerten L1, L2, Smooth L1 zwischen vorhergesagten und wahren Werten von physikalischen Größen, wie zum Beispiel Positionen (x, y, z), Größen (w, h, d) und Orientierungswinkel ( θ ), Verlustfunktionen in der Form von IoU (Intersection over Union, Schnittverhältnis), GIoU (Generalized Intersection over Union, verallgemeinertes Schnittverhältnis), DIoU oder dergleichen des vorhergesagten Blocks zu dem wahren Block übernimmt, und diese Verlustfunktionen können alle den Vorhersagewert des Zielerfassungsmodells so nahe wie möglich an den wahren Wert bringen. Die aktuell verwendeten Verlustfunktionen berücksichtigen jedoch im Allgemeinen nur die Genauigkeit der Positionen des vorhergesagten Blocks und des wahren Blocks, wobei die konkrete Anforderung bei der Kennzeichnung nicht berücksichtigt wird, d.h. die Anzahl der Modifikationen des Hilfsblocks durch die Kennzeichnungsperson soll so oft wie möglich verringert werden. Die Verlustfunktion, die im Trainingsprozess des in diesem Ausführungsbeispiel bereitgestellten Zielerfassungsmodells verwendet wird, kann jedoch vorgesehen werden, dass die Gewichtungen verschiedener Terme der Verlustfunktion angepasst werden, so dass nur wenige Terme im Ergebnis der Verlustfunktion eine gewisse Abweichung aufweisen, und andere Terme liegen nahe bei 0 und nicht alle Terme haben Abweichung. Diese Anordnung reduziert die Anzahl und die Zeit für die Kennzeichnungsperson, um den Hilfsblock einzustellen, und verbessert die Kennzeichnungseffizienz. In der durch dieses Ausführungsbeispiel bereitgestellten technischen Lösung ist es vorgesehen, dass Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des Objekts gekennzeichnet sind, erfasst werden, die Probendaten werden in das anfängliche Erfassungsmodell eingegeben, um die vorhergesagte Position des vorbestimmten Objekts erhalten zu können. Die Zielposition und die vorhergesagte Position werden verglichen und die Parameter des anfänglichen Erfassungsmodells werden gemäß den Vergleichsergebnissen angepasst, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird. Die Verlustfunktion des Zielerfassungsmodells umfasst einen Klassifizierungsteil und einen Regressionsteil. Verglichen mit dem herkömmlichen Zielerfassungsmodell ist der Wert des Regressionsteils des Zielerfassungsmodells in dieser Implementierung die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist. Mit dieser Einstellung weisen durch Anpassen der Gewichte verschiedener Terme der Verlustfunktion nur wenige Terme im Ergebnis der Verlustfunktion eine gewisse Abweichung auf, und andere Terme liegen nahe bei 0 und nicht alle Terme haben Abweichung, wodurch in der Stufe zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen kontinuierlicher Rahmendaten die Anzahl und die Zeit zum Einstellen des Hilfsblocks für die Kennzeichnungsperson reduziert werden kann, und die Kennzeichnungseffizienz wird verbessert.
Zweites Ausführungsbeispiel
Unter Bezugnahme auf 2 ist 2 ein schematisches Flussdiagramm eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf eine Cloud angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Dieses vorliegendes Ausführungsbeispiele ist auf der Grundlage des oben erwähnten Ausführungsbeispiels optimiert. Wie in 2 gezeigt, umfasst das Verfahren:

210. Die Kennzeichnungsaufgabe wird erfasst und die Daten in aufeinanderfolgenden Rahmen werden ausgelesen, wobei die Kennzeichnungsaufgabe eine Kategorie und eine Position des zu kennzeichnenden Objekts umfasst.

Dabei wird die Kennzeichnungsaufgabe als a priori Information des Kennzeichnungsprozesses verwendet, einschließlich des zu kennzeichnenden Objekts (z. B. Fahrzeuge, Fußgänger usw.), der Kategorie des zu kennzeichnenden Objekts (z. B. Dreiräder, Busse oder Autos usw.), die voreingestellte Größe und des Ausgabedateiformats der Kennzeichnungsdatei oder dergleichen. Die Kennzeichnungsaufgabe kann von Kennzeichnungsperson durch Modifizieren der Parameter des Cloud-Modells gemäß den tatsächlichen Anforderungen festgelegt werden, oder sie kann von Kennzeichnungsperson vom Kennzeichnungsterminal an die Cloud gesendet werden. Da die Cloud nicht durch Computerressourcen begrenzt ist, kann der Deep-Learning-Algorithmus in der Cloud verwendet werden, um die Daten in aufeinanderfolgenden Rahmen vorab zu kennzeichnen, um den Arbeitsaufwand der anschließenden manuellen Kennzeichnung zu reduzieren und die Arbeitseffizienz zu verbessern.
In dem vorliegenden Ausführungsbeispiel ist es vorgesehen, dass die Daten in aufeinanderfolgenden Rahmen eine Folge mehrerer Daten des gleichen Typs mit zeitlicher Abfolge und gleichem Intervall sind, bei denen es sich um Bilder oder 3D-Lidar-Punktwolken handeln kann. Insbesondere bei 3D-Lidar-Punktwolken ist die Kennzeichnungsgeschwindigkeit bei ihrer Kennzeichnung mit vorhandener Kennzeichnungstechnologie klein und die Kosten sind hoch. Das in diesem Ausführungsbeispiel bereitgestellte Kennzeichnungssystem kann als Hilfskennzeichnungsglied für die 3D-Lidar-Punktwolke verwendet werden. Da die Cloud nicht durch Computerressourcen begrenzt ist, kann die Vorkennzeichnung in der Cloud die Kennzeichnungsarbeitsbelastung der Kennzeichnungspersonen verringern, die Kennzeichnungskosten senken und die Kennzeichnungseffizienz verbessern.
220. Die Zielerfassung wird an Daten in jedem Rahmen der Daten in ausgelesenen aufeinanderfolgenden Rahmen auf der Grundlage des vorbestimmten Zielerfassungsmodells und gemäß der Kennzeichnungsaufgabe durchgeführt, wobei die erhaltene Kategorie und die Position des zu kennzeichnenden Objekts in jedem Datenrahmen als Erfassungsergebnis verwendet werden.
Beispielhaft führt die Cloud eine Zielerfassung an Daten in jedem Rahmen in den Daten in aufeinanderfolgenden Rahmen durch, was durch Verwendung eines vorbestimmten Zielerfassungsmodells erreicht werden kann, wobei das vorbestimmte Zielerfassungsmodell eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen erstellt. Durch Vorgeben eines Zielerfassungsmodells können die Kategorie und die Position eines zu kennzeichnenden Objekts erhalten werden.
Beispielhaft kann für den Trainingsprozess des vorbestimmten Zielerfassungsmodells auf den Inhalt des vorhergehenden Ausführungsbeispiels verwiesen werden, der in diesem Ausführungsbeispiel nicht wiederholt wird. Das vorbestimmte Zielerfassungsmodell kann PointRCNN (Regions with Convolution Neural Network, ein bereichsbasiertes Convolutional Neural Network für die ursprüngliche Punktwolke) sein, oder die Ausgabeergebnisse mehrerer Modelle können für die Fusionsverarbeitung verwendet werden. Diese Ausführungsbeispiele sind hierin nicht speziell beschränkt. In dem vorliegenden Ausführungsbeispiel ist es vorgesehen, dass über den Hilfsblock des Quaders die Position des zu kennzeichnenden Objekts kalibriert werden kann. Die konkreten Positionsinformationen dieses Quaders lassen sich durch die Koordinaten des Quadermittelpunktes (x, y, z), der Länge, Breite und Höhe des Quaders (w, h, d) und dem Orientierungswinkel θ des Quaders repräsentieren, das heißt, die Positionen des zu kennzeichnenden Objekts, die durch Regression von dem vorbestimmten Zielerfassungsmodell erhalten werden, sind x, y, z, w, h, d und θ, diese sieben Variablen. Diese Variablen können in der Form von Hilfsblöcken dargestellt werden.
230. Eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten wird auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut, wobei die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird, die zur Korrektur am Kennzeichnungsterminal verwendet wird.
Die Cloud kann, nachdem die Kategorie und Position des zu kennzeichnenden Objekts basierend auf dem vorbestimmten Zielerfassungsmodell erhalten wurden, eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufbauen. Dabei kann dasselbe zu kennzeichnende Objekt in den jeweiligen Rahmendaten durch die gleiche Nummer bezeichnet sein. Das Erstellen einer Zuordnungsbeziehung in den jeweiligen Rahmendaten für dasselbe zu kennzeichnende Objekt im Wesentlichen dient dazu, dasselbe zu kennzeichnende Objekt zu verfolgen. Wenn beispielsweise das Fahrzeug 1 im aktuellen Rahmendaten erscheint, muss festgestellt werden, ob das Fahrzeug 1 in den nächsten Rahmendaten noch erfasst werden kann. Wenn das Fahrzeug 1 immer noch erfasst werden kann, kann eine Korrelation zwischen dem Fahrzeug 1 in den aktuellen Rahmendaten und dem Fahrzeug 1 in den nächsten Rahmendaten gemäß Zeitfolgeinformationen hergestellt werden. Die spezifischen Zuordnungsverfahren können durch Maschinenlernverfahren, wie z.B. Kalman-Filteralgorithmen, erfolgen.
Ferner sollte dasselbe zu kennzeichnende Objekt entsprechend den Zeitfolgeinformationen die gleiche Länge, Breite und Höhe aufweisen, und wobei sich die Position und Orientierung des Objekts relativ kontinuierlich ändert, Die Prüfung und Korrektur für ein Einzelrahmenergebnis können daher unter Verwendung von Maschinenlernverfahren durchgeführt werden, wie z.B. einem Kalman-Filteralgorithmus. Beispielsweise können die zu kennzeichnenden Objekte, die übersehen wurden, in Daten in aufeinanderfolgenden Rahmen nochmals erfasst werden. Beispielsweise existiert Fahrzeug 2 in mehreren Rahmen davor und danach, wenn Fahrzeug 2 in einem bestimmten Rahmen in der Mitte nicht erfasst wird, zeigt dieses Verfahren an, dass Fahrzeug 2 während der Einzelrahmen-Erfassung übersehen wird. Auf ähnliche Weise können fehlerhafte Erfassungsterme in den Einzelrahmen-Erfassungsergebnissen durch das Verfahren gelöscht werden. Durch die Anwendung der oben beschriebenen Implementierung kann das Verfolgen von zu kennzeichnenden Objekten in Daten in aufeinanderfolgenden Rahmen erreicht werden.
In dem vorliegenden Ausführungsbeispiel ist es vorgesehen, dass nachdem die Zuordnungsbeziehung bestimmt ist, die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen dienen kann, wobei die Cloud 110 eine erweiterbare Vorkennzeichnungsdatei gemäß dem Ausgabedateiformat in der Kennzeichnungsaufgabe aus dem Vorkennzeichnungsergebnis generieren kann, und die Vorkennzeichnungsdatei und die Daten in aufeinanderfolgenden Rahmen werden an das Kennzeichnungsterminal gesendet, damit eine Kennzeichnungsperson diese am Kennzeichnungsterminal korrigieren kann.
Nach Empfang der Daten in aufeinanderfolgenden Rahmen und der entsprechenden Vorkennzeichnungsdatei, die von der Cloud gesendet wurden, kann das Kennzeichnungsterminal die Kennzeichnungsdatei gemäß den Korrekturbefehlen korrigieren, und das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird. Beispielhaft kann am Kennzeichnungsterminal eine Funktionstaste zur Korrektur der Vorkennzeichnungsdatei hinzugefügt werden, wobei die Vorkennzeichnungsdatei korrigiert wird, wenn die Funktionstaste betätigt wird. Zum Beispiel ist für die Fahrzeugerkennung die durch das vorbestimmte Zielerfassungsmodell in der Cloud erfasste Fahrzeugorientierung möglicherweise nicht genau. Daher kann die Funktion zum Ändern der Orientierung um 180° mit einer Taste am Kennzeichnungsterminal hinzugefügt werden, um der Kennzeichnungsperson die Überprüfung und Änderung zu erleichtern.
In der durch dieses Ausführungsbeispiel bereitgestellten technischen Lösung ist es vorgesehen, dass die Zielerfassung an Daten in einem einzelnen Rahmen durchgeführt wird, und das Erfassungsergebnis wird mit Zeitfolgeinformationen zwischen den einzelnen Rahmendaten verknüpft, so dass ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen erhalten werden kann. Nachfolgende Kennzeichnungspersonen müssen nur die Fehlerstellen durch das Kennzeichnungsterminal auf der Grundlage der Vorkennzeichnungsergebnisse prüfen. Darüber hinaus passt das vorbestimmte Zielerfassungsmodell in der Cloud die Gewichte verschiedener Terme der Verlustfunktion während des Trainings an, so dass nur wenige Terme im Ergebnis der Verlustfunktion eine gewisse Abweichung aufweisen, und andere Terme liegen nahe bei 0 und nicht alle Terme haben Abweichung. Wenn daher die Kennzeichnungsperson das Erfassungsergebnis des vorbestimmten Zielerfassungsmodells an dem Kennzeichnungsterminal, d. h. den Hilfsblock des zu kennzeichnenden Objekts, modifiziert, werden die Häufigkeiten und die Zeit für die Kennzeichnungsperson zum Einstellen des Hilfsblocks reduziert, und die Kennzeichnungseffizienz wird verbessert. Da die Funktionstasten am Kennzeichnungsterminal vorgesehen sind, kann das Modifizieren durch Kennzeichnungspersonen erleichtert werden, was auch die Kennzeichnungseffizienz von Daten in aufeinanderfolgenden Rahmen in gewissem Maße verbessert. Das heißt, die durch diese Ausführungsbeispiele bereitgestellte technische Lösung kann die Kennzeichnungsarbeitsbelastung von Kennzeichnungspersonen effektiv reduzieren, die Kennzeichnungskosten reduzieren und die Kennzeichnungsgeschwindigkeit und - genauigkeit verbessern, indem ein Kennzeichnungsmodus übernommen wird, in dem die Cloud und das Kennzeichnungsterminal zusammenarbeiten.
Drittes Ausführungsbeispiel
Unter Bezugnahme auf 3 ist 3 ein schematisches Flussdiagramm eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf einem Kennzeichnungsterminal angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Das Verfahren kann durch eine Vorrichtung zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen ausgeführt werden, wobei die Vorrichtung in Software und/oder Hardware implementiert sein kann, die allgemein in einen Kennzeichnung-Terminal integriert sein kann. Wie in 3 gezeigt, umfasst das Verfahren, das durch die vorliegenden Ausführungsbeispiele bereitgestellt wird, insbesondere:

310. Ein Vorkennzeichnungsergebnis von Daten in aufeinanderfolgenden Rahmen wird erfasst, die von der Cloud gesendet wurden.
320. Das Vorkennzeichnungsergebnis, wenn ein Korrekturbefehl für das Vorkennzeichnungsergebnis empfangen wird, wird gemäß dem Korrekturbefehl korrigiert, und das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird.

In dem vorliegenden Ausführungsbeispiel ist es vorgesehen, dass einige Hilfsfunktionstasten am Kennzeichnungsterminal hinzugefügt werden können, beispielsweise eine Drehung der Orientierung des Fahrzeugs um 180° durch eine Taste oder dergleichen, um eine manuelle Kennzeichnung zu erleichtern.
Das Vorkennzeichnungsergebnis liegt darin: eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten, die von der Cloud nach dem Lesen der Daten in aufeinanderfolgenden Rahmen auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei das Erfassungsergebnis erhalten wird, indem eine Zielerfassung an dem zu kennzeichnenden Objekt in jedem Datenrahmen basierend auf dem vorbestimmten Zielerfassungsmodell und gemäß der Kennzeichnungsaufgabe durchgeführt wird; dabei umfasst das Erfassungsergebnis eine Kategorie und eine Position des zu kennzeichnenden Objekts, wobei das vorbestimmte Zielerfassungsmodell gemäß dem Trainingsverfahren des Zielerfassungsmodells erzeugt wird, das durch das erste Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird. Die Verlustfunktion des Regressionsteils, der im Trainingsprozess des vorbestimmten Zielerfassungsmodells verwendet wird, ist wie folgt: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und keine Position des normalisierten Fehlers nach der Rangordnung ist. Mit dieser Einstellung weisen nur wenige Terme im Ergebnis der Verlustfunktion eine gewisse Abweichung auf, und andere Terme liegen nahe bei 0 und nicht alle Terme haben Abweichung, wodurch, wenn die Kennzeichnungsperson eine manuelle Kennzeichnung durchführt, die Häufigkeiten und die Zeit für die Kennzeichnungsperson reduziert werden, um den Hilfsblock einzustellen, und die Kennzeichnungseffizienz wird verbessert.
In dem vorliegenden Ausführungsbeispiel ist es vorgesehen, dass die von der Cloud gesendeten Vorkennzeichnungsdatei als Grundlage für Korrekturen auf dem Kennzeichnungsterminal dient. Auf dieser Grundlage kann die Kennzeichnungsperson die Lücken in der Vorkennzeichnungsdatei weiter überprüfen und ausfüllen. Durch Anwenden des Kennzeichnungsmodus, in dem die Vorkennzeichnung in der Cloud und dem Kennzeichnungsterminal zusammenarbeiten, kann die Kennzeichnungseffizienz effektiv verbessert und die Kennzeichnungskosten gesenkt werden.
Viertes Ausführungsbeispiel
Unter Bezugnahme auf 4 ist 4 eine schematische Darstellung der Struktur einer Trainingsvorrichtung für ein Zielerfassungsmodell, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Wie in 4 gezeigt, umfasst die Vorrichtung: ein Probendatenerfassungsmodul 410, ein Bestimmungsmodul 420 für die vorhergesagte Position und ein Zielerfassungsmodell-Bestimmungsmodul 430; wobei das Probendatenerfassungsmodul 410 so konfiguriert ist, dass Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des kennzeichnenden Objekts gekennzeichnet sind, erfasst werden;
wobei das Bestimmungsmodul 420 für die vorhergesagte Position so konfiguriert ist, dass die Probendaten in das anfängliche Erfassungsmodell eingegeben werden, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten;
wobei das Zielerfassungsmodell-Bestimmungsmodul 430 so konfiguriert ist, dass die Zielposition und die vorhergesagte Position verglichen werden und die Parameter des anfänglichen Erfassungsmodells gemäß den Vergleichsergebnissen angepasst werden, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird;
wobei die Verlustfunktion des Zielerfassungsmodells einen Klassifizierungsteil und einen Regressionsteil umfasst, wobei der Wert des Regressionsteils die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Wahlweise ist es vorgesehen, dass der normalisierte Fehler der Absolutwert der Differenz zwischen der vorhergesagten Position und der Zielposition ist und durch Normalisieren der Zielposition erhalten wird.
Die durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellte Trainingsvorrichtung für ein Zielerfassungsmodell kann das Trainingsverfahren für das Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird, und weist entsprechende Funktionsmodule und vorteilhafte Wirkungen zur Durchführung des Verfahrens auf. Für technische Details, die in den vorstehenden Ausführungsbeispielen nicht im Detail beschrieben wurden, kann auf das Trainingsverfahren für ein Zielerfassungsmodell verwiesen werden, das durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird.
Fünftes Ausführungsbeispiel
Unter Bezugnahme auf 5 ist 5 eine schematische Darstellung der Struktur einer Vorrichtung zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf eine Cloud angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Wie in 5 gezeigt, umfasst die Vorrichtung: ein Erfassungsmodul 510 für Daten in aufeinanderfolgenden Rahmen, ein Erfassungsergebnis-Bestimmungsmodul 520 und ein Zuordnungsbeziehungserstellungsmodul 530; wobei das Erfassungsmodul 510 für Daten in aufeinanderfolgenden Rahmen so konfiguriert ist, dass die Kennzeichnungsaufgabe erfasst wird und die Daten in aufeinanderfolgenden Rahmen ausgelesen werden, wobei die Kennzeichnungsaufgabe eine Kategorie und eine Position des zu kennzeichnenden Objekts umfasst;
wobei das Erfassungsergebnis-Bestimmungsmodul 520 so konfiguriert ist, dass die Zielerfassung an Daten in jedem Rahmen der Daten in ausgelesenen aufeinanderfolgenden Rahmen auf der Grundlage des vorbestimmten Zielerfassungsmodells und gemäß der Kennzeichnungsaufgabe durchgeführt wird, wobei die erhaltene Kategorie und die Position des zu kennzeichnenden Objekts in jedem Datenrahmen als Erfassungsergebnis verwendet werden;
wobei das Zuordnungsbeziehungserstellungsmodul 530 so konfiguriert ist, dass eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird, die zur Korrektur am Kennzeichnungsterminal verwendet wird;
wobei das vorbestimmte Zielerfassungsmodell eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen erstellt, wobei der Wert des Regressionsteils der Verlustfunktion, der vom vorbestimmten Zielerfassungsmodell im Verlauf des Trainings übernommen wird, ist: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Wahlweise ist es vorgesehen, dass die Vorrichtung ferner umfasst:

ein Korrekturmodul, das so konfiguriert ist, dass das Erfassungsergebnis auf Basis eines maschinellen Lernverfahrens korrigiert wird, so dass das gleiche zu kennzeichnende Objekt die gleichen Abmessungen aufweist, wobei das maschinelle Lernverfahren einen Kalman-Filteralgorithmus umfasst.

Wahlweise ist es vorgesehen, dass die Kennzeichnungsaufgabe ferner ein Ausgeben eines Ausgabedateiformats umfasst; entsprechend umfasst die Vorrichtung ferner:

ein Dateierzeugungsmodul, das so konfiguriert ist, dass eine erweiterbare Vorkennzeichnungsdatei gemäß dem Ausgabedateiformat aus dem Vorkennzeichnungsergebnis generiert wird, und die Vorkennzeichnungsdatei und die Daten in aufeinanderfolgenden Rahmen werden an das Kennzeichnungsterminal gesendet.

Die durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellte Vorrichtung zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen kann das Verfahren zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen ausführen, das auf die Cloud angewendet und durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird, und weist entsprechende Funktionsmodule und vorteilhafte Wirkungen zur Durchführung des Verfahrens auf. Für technische Details, die in den vorstehenden Ausführungsbeispielen nicht im Detail beschrieben wurden, kann auf das Verfahren zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen verwiesen werden, das auf die Cloud angewendet werden, das durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird.
Sechstes Ausführungsbeispiel
Unter Bezugnahme auf 6 ist 6 eine schematische Darstellung der Struktur einer Vorrichtung zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf einem Kennzeichnungsterminal angewendet wird, wobei dieses Verfahren durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Wie in 6 gezeigt, umfasst die Vorrichtung: ein Vorkennzeichnungsergebnis-Erfassungsmodul 610 und ein Korrekturmodul 620; wobei das Vorkennzeichnungsergebnis-Erfassungsmodul 610 so konfiguriert ist, dass ein Vorkennzeichnungsergebnis von Daten in aufeinanderfolgenden Rahmen erfasst wird, die von der Cloud gesendet wurden; wobei das Korrekturmodul 620 so konfiguriert ist, dass das Vorkennzeichnungsergebnis, wenn ein Korrekturbefehl für das Vorkennzeichnungsergebnis empfangen wird, gemäß dem Korrekturbefehl korrigiert wird, und das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird; wobei das Vorkennzeichnungsergebnis darin liegt: eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten, die von der Cloud nach dem Lesen der Daten in aufeinanderfolgenden Rahmen auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei das Erfassungsergebnis erhalten wird, indem eine Zielerfassung an dem zu kennzeichnenden Objekt in jedem Datenrahmen basierend auf dem vorbestimmten Zielerfassungsmodell und gemäß der Kennzeichnungsaufgabe durchgeführt wird; dabei umfasst das Erfassungsergebnis eine Kategorie und eine Position des zu kennzeichnenden Objekts, wobei das vorbestimmte Zielerfassungsmodell gemäß dem Trainingsverfahren des Zielerfassungsmodells erzeugt wird, das durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird.
Die durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellte Vorrichtung zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen kann das Verfahren zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen ausführen, das auf dem Kennzeichnungsterminal angewendet und durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird, und weist entsprechende Funktionsmodule und vorteilhafte Wirkungen zur Durchführung des Verfahrens auf. Für technische Details, die in den vorstehenden Ausführungsbeispielen nicht im Detail beschrieben wurden, kann auf das Verfahren zur Kennzeichnung der Daten in aufeinanderfolgenden Rahmen verwiesen werden, das auf dem Kennzeichnungsterminal angewendet werden, das durch ein beliebiges Ausführungsbeispiel der vorliegenden Erfindung bereitgestellt wird.
Siebtes Ausführungsbeispiel
Unter Bezugnahme auf 7 ist 7 eine schematische Darstellung der Struktur eines Geräts, der durch die Ausführungsbeispiele der vorliegenden Erfindung bereitgestellt wird. Wie in 7 gezeigt kann das Gerät umfassen:

einen Speicher 701, der ausführbaren Programmcode speichert;
einen mit dem Speicher 701 gekoppelten Prozessor 702;
der Prozessor 702 ruft den im Speicher 701 gespeicherten ausführbaren Programmcode auf, um das Trainingsverfahren für ein Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird, durchzuführen.

Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein anderes Cloud-Server bereit, das einen Speicher umfasst, der ausführbaren Programmcode speichert; einen mit dem Speicher gekoppelten Prozessor; wobei der Prozessor den im Speicher gespeicherten ausführbaren Programmcode aufruft, um das Verfahren zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für die Cloud verwendet wird, durchzuführen. Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein anderes Kennzeichnung-Terminal bereit, das einen Speicher umfasst, der ausführbaren Programmcode speichert; einen mit dem Speicher gekoppelten Prozessor; wobei der Prozessor den im Speicher gespeicherten ausführbaren Programmcode aufruft, um das Verfahren zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für das Kennzeichnungsterminal verwendet wird, durchzuführen.
Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein computerlesbares Speichermedium bereit, das ein Computerprogramm speichert, wobei das Computerprogramm Befehle umfasst, um einige oder alle der Schritte eines Trainingsverfahrens für ein Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird verwendet wird, auszuführen.
Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein computerlesbares Speichermedium bereit, das ein Computerprogramm speichert, wobei das Computerprogramm Befehle umfasst, um einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für die Cloud verwendet wird, auszuführen.
Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein computerlesbares Speichermedium bereit, das ein Computerprogramm speichert, wobei das Computerprogramm Befehle umfasst, um einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für das Kennzeichnungsterminal verwendet wird, auszuführen.
Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein Computerprogrammprodukt bereit, wobei, wenn das Computerprogrammprodukt auf einem Computer läuft, der Computer einige oder alle der Schritte eines Trainingsverfahrens für ein Zielerfassungsmodell, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird, ausführen wird. Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein Computerprogrammprodukt bereit, wobei, wenn das Computerprogrammprodukt auf einem Computer läuft, der Computer einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für die Cloud verwendet wird, ausführen wird.
Ausführungsbeispiele der vorliegenden Erfindung stellen auch ein Computerprogrammprodukt bereit, wobei, wenn das Computerprogrammprodukt auf einem Computer läuft, der Computer einige oder alle der Schritte eines Verfahrens zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das durch ein beliebiges Ausführungsbeispiel der Erfindung bereitgestellt wird und für das Kennzeichnungsterminal verwendet wird, ausführen wird.
Bei verschiedenen Ausführungsbeispielen der vorliegenden Erfindung versteht es sich, dass die Größe der Sequenznummern der oben erwähnten Prozesse keine unvermeidliche Ausführungssequenz impliziert, und die Ausführungsreihenfolge jedes Prozesses sollte durch seine Funktionen und interne Logik bestimmt werden und sollte keine Einschränkung des Implementierungsprozesses der Ausführungsbeispiele der vorliegenden Erfindung darstellen.
In den durch die vorliegende Erfindung bereitgestellten Ausführungsbeispiele versteht es sich, dass „B entsprechend A“ bedeutet, dass B dem A zugeordnet ist und B gemäß A bestimmt werden kann. Es versteht sich jedoch auch, dass das Bestimmen von B gemäß A nicht bedeutet, dass B nur gemäß A bestimmt wird, und B auch gemäß A und/oder anderen Informationen bestimmt werden kann.
Außerdem kann jede Funktionseinheit in jedem Ausführungsbeispiel der vorliegenden Erfindung in eine Verarbeitungseinheit integriert sein, oder jede Einheit kann physikalisch alleine existieren, oder zwei oder mehr Einheiten können in eine Einheit integriert sein. Die oben erwähnten integrierten Einheiten können in Form von Hardware implementiert werden oder können in Form von Software-Funktionseinheiten implementiert werden.
Die oben erwähnten integrierten Einheiten können, wenn sie in Form von Software-Funktionseinheiten implementiert sind und als eigenständige Produkte verkauft oder verwendet werden, in einem computerzugänglichen Speicher gespeichert werden. Basierend auf einem solchen Verständnis kann die technische Lösung der vorliegenden Erfindung im Wesentlichen oder der Teil, der zum Stand der Technik beiträgt, oder die gesamte oder ein Teil der technischen Lösung in Form eines Softwareprodukts verkörpert werden, wobei das Computersoftwareprodukt in einem Speicher gespeichert ist und mehrere Anforderungen enthält, um ein Computergerät (das ein Personal Computer, ein Server oder ein Netzwerkgerät usw. sein kann, insbesondere ein Prozessor in dem Computergerät) zu veranlassen, einige oder alle der Schritte der oben erwähnten Verfahren der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung auszuführen.
Der Durchschnittsfachmann in diesem Gebiet wird verstehen, dass alle oder ein Teil der Schritte in den verschiedenen Verfahren der obigen Ausführungsbeispiele abgeschlossen werden können, indem die relevante Hardware durch ein Programm angewiesen wird. Das Programm kann dabei in einem computerlesbaren Speichermedium gespeichert werden, und das Speichermedium umfasst einen Nur-Lese-Speicher (Read-Only Memory, ROM), einen Direktzugriffsspeicher (Random Access Memory, RAM), einen programmierbaren Nur-Lese-Speicher (Programmable Read-only Memory, PROM), einen löschbaren programmierbaren Nur-Lese-Speicher (Erasable Programmable Read Only Memory, EPROM), einen One-Zeit-programmierbaren Nur-Lese-Speicher (One-time Programmable Read-Only Memory, OTPROM), einen elektronisch löschbaren und wiederbeschreibbaren Nur-Lese-Speicher (Electrically-Erasable Programmable Read-Only Memory, EEPROM), Compact Disc Nur-Lese-Speicher (Compact Disc Read-Only Memory, CD-ROM) oder andere Compactdisc-Speicher, Diskette-Speicher, Bandspeicher oder jedes andere computerlesbare Medium, das zum Übertragen oder Speichern von Daten verwendet werden kann.
Während ein Trainingsverfahren für ein Zielerfassungsmodell, ein Verfahren und eine Vorrichtung zur Kennzeichnung der Daten gemäß offenbarten Ausführungsformen der vorliegenden Erfindung im Detail beschrieben wurden, werden hier spezielle Beispiele verwendet, um die Prinzipien und die Ausführungsformen der vorliegenden Erfindung zu veranschaulichen, und die obigen Ausführungsformen werden lediglich dazu verwendet, um das Verständnis des Verfahrens und der Kernideen davon zu unterstützen; gleichzeitig werden sich für allgemeine Fachleute auf diesem Gebiet gemäß der Idee der vorliegenden Erfindung Änderungen in den konkreten Ausführungsformen und dem Anwendungsbereich ergeben. Zusammenfassend sollte der Inhalt dieser Beschreibung nicht als Einschränkung der vorliegenden Erfindung ausgelegt werden.

Claims

Trainingsverfahren für ein Zielerfassungsmodell, dadurch gekennzeichnet, dass das Trainingsverfahren folgende Schritte umfasst: Es werden Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des Objekts gekennzeichnet sind, erfasst; die Probendaten werden in das anfängliche Erfassungsmodell eingegeben, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten; die Zielposition und die vorhergesagte Position werden verglichen und die Parameter des anfänglichen Erfassungsmodells werden gemäß den Vergleichsergebnissen angepasst, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird; wobei die Verlustfunktion des Zielerfassungsmodells einen Klassifizierungsteil und einen Regressionsteil umfasst, wobei der Wert des Regressionsteils die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der normalisierte Fehler der Absolutwert der Differenz zwischen der vorhergesagten Position und der Zielposition ist und durch Normalisieren der Zielposition erhalten wird.
Verfahren zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf eine Cloud angewendet wird, dadurch gekennzeichnet, dass das Trainingsverfahren umfasst: die Kennzeichnungsaufgabe wird erfasst und die Daten in aufeinanderfolgenden Rahmen werden ausgelesen, wobei die Kennzeichnungsaufgabe eine Kategorie und eine Position des zu kennzeichnenden Objekts umfasst; die Zielerfassung wird an Daten in jedem Rahmen der Daten in ausgelesenen aufeinanderfolgenden Rahmen auf der Grundlage des vorbestimmten Zielerfassungsmodells und gemäß der Kennzeichnungsaufgabe durchgeführt, wobei die erhaltene Kategorie und die Position des zu kennzeichnenden Objekts in jedem Datenrahmen als Erfassungsergebnis verwendet werden; eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten wird auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut, wobei die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird, die zur Korrektur am Kennzeichnungsterminal verwendet wird; wobei das vorbestimmte Zielerfassungsmodell eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen erstellt, wobei der Wert des Regressionsteils der Verlustfunktion, der vom vorbestimmten Zielerfassungsmodell im Verlauf des Trainings übernommen wird, ist: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Verfahren ferner umfasst: das Erfassungsergebnisses wird auf Basis eines maschinellen Lernverfahrens korrigiert, so dass das gleiche zu kennzeichnende Objekt die gleichen Abmessungen aufweist, wobei das maschinelle Lernverfahren einen Kalman-Filteralgorithmus umfasst.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Kennzeichnungsaufgabe ferner ein Ausgeben eines Ausgabedateiformats umfasst; entsprechend umfasst das Verfahren ferner: eine erweiterbare Vorkennzeichnungsdatei wird gemäß dem Ausgabedateiformat aus dem Vorkennzeichnungsergebnis generiert, und die Vorkennzeichnungsdatei und die Daten in aufeinanderfolgenden Rahmen werden an das Kennzeichnungsterminal gesendet.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Daten in aufeinanderfolgenden Rahmen ein Bild oder eine Lidar-Punktwolke sind.
Verfahren zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf einem Kennzeichnungsterminal angewendet wird, dadurch gekennzeichnet, dass das Trainingsverfahren umfasst: ein Vorkennzeichnungsergebnis von Daten in aufeinanderfolgenden Rahmen wird erfasst, die von der Cloud gesendet wurden; wobei das Vorkennzeichnungsergebnis, wenn ein Korrekturbefehl für das Vorkennzeichnungsergebnis empfangen wird, gemäß dem Korrekturbefehl korrigiert wird, und wobei das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird; wobei das Vorkennzeichnungsergebnis darin liegt: eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten, die von der Cloud nach dem Lesen der Daten in aufeinanderfolgenden Rahmen auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei das Erfassungsergebnis erhalten wird, indem eine Zielerfassung an dem zu kennzeichnenden Objekt in jedem Datenrahmen basierend auf dem vorbestimmten Zielerfassungsmodell und gemäß der Kennzeichnungsaufgabe durchgeführt wird; dabei umfasst das Erfassungsergebnis eine Kategorie und eine Position des zu kennzeichnenden Objekts, wobei das vorbestimmte Zielerfassungsmodell gemäß dem Trainingsverfahren des Zielerfassungsmodells nach Anspruch 1 erzeugt wird.
Trainingsvorrichtung für ein Zielerfassungsmodell, dadurch gekennzeichnet, dass die Trainingsvorrichtung umfasst: ein Probendatenerfassungsmodul, das so konfiguriert ist, dass Probendaten, die mit vorbestimmten Zielkategorien und Zielpositionen des kennzeichnenden Objekts gekennzeichnet sind, erfasst werden; ein Bestimmungsmodul für die vorhergesagte Position, das so konfiguriert ist, dass die Probendaten in das anfängliche Erfassungsmodell eingegeben werden, um die vorhergesagte Position des vorbestimmten Objekts zu erhalten; ein Zielerfassungsmodell-Bestimmungsmodul, das so konfiguriert ist, dass die Zielposition und die vorhergesagte Position verglichen werden und die Parameter des anfänglichen Erfassungsmodells gemäß den Vergleichsergebnissen angepasst werden, so dass das Erfassungsmodell, wenn der Wert des Regressionsteils der Verlustfunktion Konvergenz erreicht, als Zielerfassungsmodell verwendet wird; wobei die Verlustfunktion des Zielerfassungsmodells einen Klassifizierungsteil und einen Regressionsteil umfasst, wobei der Wert des Regressionsteils die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers ist, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Vorrichtung zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf eine Cloud angewendet wird, dadurch gekennzeichnet, dass die Trainingsvorrichtung umfasst: ein Erfassungsmodul für Daten in aufeinanderfolgenden Rahmen, das so konfiguriert ist, dass die Kennzeichnungsaufgabe erfasst wird und die Daten in aufeinanderfolgenden Rahmen ausgelesen werden, wobei die Kennzeichnungsaufgabe eine Kategorie und eine Position des zu kennzeichnenden Objekts umfasst; ein Erfassungsergebnis-Bestimmungsmodul, das so konfiguriert ist, dass die Zielerfassung an Daten in jedem Rahmen der Daten in ausgelesenen aufeinanderfolgenden Rahmen auf der Grundlage des vorbestimmten Zielerfassungsmodells und gemäß der Kennzeichnungsaufgabe durchgeführt wird, wobei die erhaltene Kategorie und die Position des zu kennzeichnenden Objekts in jedem Datenrahmen als Erfassungsergebnis verwendet werden; ein Zuordnungsbeziehungserstellungsmodul, das so konfiguriert ist, dass eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei die Zuordnungsbeziehung als ein Vorkennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird, die zur Korrektur am Kennzeichnungsterminal verwendet wird; wobei das vorbestimmte Zielerfassungsmodell eine Zuordnungsbeziehung zwischen dem zu kennzeichnenden Objekt und seiner Kategorie und Position in Daten in jedem Rahmen erstellt, wobei der Wert des Regressionsteils der Verlustfunktion, der vom vorbestimmten Zielerfassungsmodell im Verlauf des Trainings übernommen wird, ist: die gewichtete Summe der Positionen der zu kennzeichnenden Objekte nach einer Rangordnung gemäß der Größe des normalisierten Fehlers, wobei die Gewichtung des normalisierten Fehlers die k-Potenz von w ist, w ein Hyperparameter ist und kein Ordnungswert des normalisierten Fehlers nach der Rangordnung ist.
Vorrichtung zur Kennzeichnung von Daten in aufeinanderfolgenden Rahmen, das auf einem Kennzeichnungsterminal angewendet wird, dadurch gekennzeichnet, dass die Trainingsvorrichtung umfasst: ein Vorkennzeichnungsergebnis-Erfassungsmodul, das so konfiguriert ist, dass ein Vorkennzeichnungsergebnis von Daten in aufeinanderfolgenden Rahmen erfasst wird, die von der Cloud gesendet wurden; ein Korrekturmodul, das so konfiguriert ist, dass das Vorkennzeichnungsergebnis, wenn ein Korrekturbefehl für das Vorkennzeichnungsergebnis empfangen wird, gemäß dem Korrekturbefehl korrigiert wird, und wobei das korrigierte Kennzeichnungsergebnis als das Ziel-Kennzeichnungsergebnis der Daten in aufeinanderfolgenden Rahmen verwendet wird; wobei das Vorkennzeichnungsergebnis darin liegt: eine Zuordnungsbeziehung zwischen den gleichen zu kennzeichnenden Objekten in den jeweiligen Rahmendaten, die von der Cloud nach dem Lesen der Daten in aufeinanderfolgenden Rahmen auf der Basis des Erfassungsergebnisses und der Zeitfolgeinformationen zwischen den Rahmendaten aufgebaut wird, wobei das Erfassungsergebnis erhalten wird, indem eine Zielerfassung an dem zu kennzeichnenden Objekt in jedem Datenrahmen basierend auf dem vorbestimmten Zielerfassungsmodell und gemäß der Kennzeichnungsaufgabe durchgeführt wird; dabei umfasst das Erfassungsergebnis eine Kategorie und eine Position des zu kennzeichnenden Objekts, wobei das vorbestimmte Zielerfassungsmodell gemäß dem Trainingsverfahren des Zielerfassungsmodells nach Anspruch 1 erzeugt wird.