DE112018003503T5

DE112018003503T5 - Systeme und verfahren zum testen eines automatischen wahrnehmungssystems

Info

Publication number: DE112018003503T5
Application number: DE112018003503.4T
Authority: DE
Inventors: Lawrence A. Mianzo; Joseph Forcash; Tod A. Oblak; Jeffrey T. Stringer; Mark Hartman; Jeffrey J. Carter Jr.
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 2017-08-07
Filing date: 2018-07-25
Publication date: 2020-04-23
Also published as: AU2018313669B2; AU2018313669A1; US10332272B2; CA3071517A1; US20190043213A1; WO2019032289A1

Abstract

Es wird ein Verfahren zum Testen eines Wahrnehmungssystems offenbart. Das Verfahren umfasst das Erfassen eines oder mehrerer Objekte in einem zusammengesetzten Bild durch einen Prozessor, wobei das zusammengesetzte Bild ein erstes Bild und mindestens einen Abschnitt eines zweiten Bildes umfasst. Ein erster Satz von Objekten wird im ersten Bild erfasst. Ferner umfasst das Verfahren das Vergleichen eines zweiten Satzes von Objekten des einen oder der mehreren Objekte, die in dem Abschnitt des zweiten Bildes erfasst wurden, mit einem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes durch den Prozessor. Außerdem umfasst das Verfahren das Validieren der Leistung des Prozessors bei der Erkennung des ersten Satzes von Objekten im ersten Bild, indem sichergestellt wird, dass der zweite Satz von Objekten, der in mindestens einem Abschnitt eines zweiten Bildes erfasst wurde, mit dem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes übereinstimmt.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft die Bildverarbeitung. Insbesondere betrifft die vorliegende Offenbarung Systeme und Verfahren zum Testen eines automatischen Wahrnehmungssystems.
Hintergrund
Ein automatisches Wahrnehmungssystem kann es verschiedenen Maschinen wie Lastkraftwagen, Planierraupen, Kaltfräsen, Kaltrecyclern und Straßenfertigern ermöglichen, ein oder mehrere Objekte zu erkennen, während sich die Maschine auf einer Baustelle befindet. Abhängig von der Erkennung eines oder mehrerer Objekte kann die Maschine ihre Funktionsweise ändern/modifizieren. Wenn die Maschine beispielsweise entlang eines Pfades von einem Ort zum anderen fährt und das automatische Wahrnehmungssystem ein Objekt entlang des Pfades erkennt, kann die Maschine den Verfahrweg dynamisch ändern oder den Betrieb unterbrechen.
In bestimmten Szenarien kann das automatische Wahrnehmungssystem das eine oder die mehreren Objekte aufgrund bestimmter Mehrdeutigkeiten oder Verfälschungen im Algorithmus zum Erkennen des einen oder der mehreren Objekte fälschlicherweise erkennen. Dies kann den Gesamtbetrieb der Maschine, in der ein solches automatisches Wahrnehmungssystem installiert ist, weiter beeinträchtigen. Daher ist es unerlässlich, dass das automatische Wahrnehmungssystem ein oder mehrere Objekte nahtlos und genau erkennt.
Die US-Patentanmeldung Nr. 20120250983 offenbart eine Objekterfassungsvorrichtung und ein Objekterfassungsverfahren. Die Objekterfassungsvorrichtung umfasst Folgendes: einen Erkennungs-klassifizierer, der dafür konfiguriert ist, ein Objekt in einem Eingabebild zu erkennen, um ein oder mehrere Kandidatenobjekte zu erhalten; einen Überprüfungsklassifizierer, der dafür konfiguriert ist, jedes Kandidatenobjekt zu überprüfen, indem Überprüfungsmerkmale von einem Bildblock verwendet werden, der jedem Kandidatenobjekt entspricht; und eine Online-Lernvorrichtung, die dafür konfiguriert ist, den Erkennungsklassifizierer zu trainieren und zu optimieren, indem Bildblöcke, die den Kandidatenobjekten entsprechen, als Online-Stichproben verwendet werden, basierend auf den Überprüfungsergebnissen der Kandidatenobjekte, die vom Überprüfungsklassifizierer erhalten wurden.
Zusammenfassung
Gemäß einem Aspekt der vorliegenden Offenbarung wird ein Verfahren zum Testen eines Wahrnehmungssystems offenbart. Das Verfahren umfasst das Erfassen eines oder mehrerer Objekte in einem zusammengesetzten Bild durch einen Prozessor, wobei das zusammengesetzte Bild ein erstes Bild und mindestens einen Abschnitt eines zweiten Bildes umfasst. Ein erster Satz von Objekten wird im ersten Bild erfasst. Ferner umfasst das Verfahren das Vergleichen eines zweiten Satzes von Objekten des einen oder der mehreren Objekte, die in dem Abschnitt des zweiten Bildes erfasst wurden, mit einem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes durch den Prozessor. Außerdem umfasst das Verfahren das Validieren der Leistung des Prozessors bei der Erkennung des ersten Satzes von Objekten im ersten Bild, indem sichergestellt wird, dass der zweite Satz von Objekten, der in mindestens einem Abschnitt eines zweiten Bildes erfasst wurde, mit dem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes übereinstimmt.
Gemäß den Aspekten der vorliegenden Offenbarung wird eine Bilderfassungsvorrichtung offenbart. Die Bilderfassungsvorrichtung umfasst einen Bildsensor. Ferner umfasst die Bilderfassungsvorrichtung einen Prozessor, der mit dem Bildsensor gekoppelt ist und dafür konfiguriert ist, ein oder mehrere Objekte in einem zusammengesetzten Bild zu erfassen, wobei das zusammengesetzte Bild ein erstes Bild und mindestens einen Abschnitt eines zweiten Bildes umfasst. Ein erster Satz von Objekten wird im ersten Bild erfasst. Der Prozessor ist ferner dafür konfiguriert, einen zweiten Satz von Objekten des einen oder der mehreren Objekte, die in dem Abschnitt des zweiten Bildes erfasst wurden, mit einem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes zu vergleichen. Außerdem ist der Prozessor dafür konfiguriert, die Leistung des Prozessors bei der Erkennung des ersten Satzes von Objekten im ersten Bild zu überprüfen, indem sichergestellt wird, dass der zweite Satz von Objekten, der in mindestens einem Abschnitt eines zweiten Bildes erfasst wurde, mit dem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes übereinstimmt.
Figurenliste

1 stellt eine beispielhafte Baustelle gemäß bestimmten Implementierungen der vorliegenden Offenbarung dar;
2 stellt ein schematisches Diagramm eines Wahrnehmungssystems gemäß bestimmten Implementierungen der vorliegenden Offenbarung dar;
3 stellt ein Flussdiagramm eines Verfahrens zum Trainieren eines Klassifizierers gemäß bestimmten Implementierungen der vorliegenden Offenbarung dar;
4 stellt ein Flussdiagramm eines Verfahrens zum Testen eines Wahrnehmungssystems gemäß bestimmten Implementierungen der vorliegenden Offenbarung dar;
5 stellt ein Flussdiagramm eines weiteren Verfahrens zum Testen eines Wahrnehmungssystems gemäß bestimmten Implementierungen der vorliegenden Offenbarung dar;
6 ist ein Flussdiagramm, das ein beispielhaftes Szenario zum Testen des Wahrnehmungssystems gemäß bestimmten Implementierungen der vorliegenden Offenbarung darstellt; und
7 ist ein Flussdiagramm, das ein weiteres beispielhaftes Szenario zum Testen des Wahrnehmungssystems gemäß bestimmten Implementierungen der vorliegenden Offenbarung darstellt.

Detaillierte Beschreibung
In 1 ist eine Baustelle 100 dargestellt. In einer Ausführungsform kann die Baustelle 100 einer Bergbaustelle, einem Bauplatz oder einer anderen Baustelle entsprechen, an der eine Maschine zum Ausführen einer Aufgabe verwendet wird. Wie in 1 dargestellt, umfasst die Baustelle 100 eine Maschine 102 und einen ersten Satz von Objekten 104a, 104b, 104c, 104d und 104e (nachfolgend als erster Satz von Objekten 104 bezeichnet).
Die Maschine 102 kann einem Lastkraftwagen entsprechen, der auf der Baustelle 100 arbeitet, um Material von einem Ort zu einem anderen Ort zu transportieren. In einer Ausführungsform kann die Maschine 102 eine vollständig autonome Maschine sein, die das Material ohne manuelles Eingreifen transportiert. Damit die Maschine 102 im vollständig autonomen Modus arbeitet, umfasst die Maschine 102 ein Wahrnehmungssystem 106. In einer Ausführungsform kann das Wahrnehmungssystem 106 dafür konfiguriert sein, den ersten Satz von Objekten 104 auf der Baustelle 100 während des Betriebs der Maschine 102 zu erfassen. Beispielsweise kann das Wahrnehmungssystem 106 während der Bewegung der Maschine 102 von einem Ort zu einem anderen dafür konfiguriert sein, den ersten Satz von Objekten 104 entlang eines Pfades der Maschine 102 zu erfassen. Basierend auf der Erfassung des ersten Satzes von Objekten 104 kann das Wahrnehmungssystem 106 ein Signal an die Maschine 102 senden, um entweder einen Bewegungspfad zu modifizieren oder den Betrieb anzuhalten. Der Aufbau und die Funktionsweise des Wahrnehmungssystems 106 wurde später in Verbindung mit 2 beschrieben.
Fachleute erkennen, dass der Umfang der Offenbarung nicht darauf beschränkt ist, dass die Maschine 102 ein Lastkraftwagen ist. In einer Ausführungsform kann die Maschine 102 einer beliebigen anderen Maschine entsprechen, ohne vom Umfang der Offenbarung abzuweichen. Ferner kann mit Bezug auf das Wahrnehmungssystem 106 in Betracht gezogen werden, dass der Umfang der Offenbarung nicht darauf beschränkt ist, dass das Wahrnehmungssystem 106 auf der Maschine 102 installiert ist. In einer Ausführungsform kann das Wahrnehmungssystem 106 an einem entfernten Ort auf einem entfernten Server installiert sein. Bei einer solchen Implementierung ist eine Bilderfassungsvorrichtung auf der Maschine 102 installiert. Die Bilderfassungsvorrichtung kann die erfassten Daten zur weiteren Verarbeitung durch das Wahrnehmungssystem 106 an den entfernten Server übertragen.
In 2 ist ein Blockdiagramm des Wahrnehmungssystems 106 dargestellt. Das Wahrnehmungssystem 106 wurde in Verbindung mit 1 beschrieben. Das Wahrnehmungssystem 106 umfasst einen Prozessor 202, eine Bilderfassungsvorrichtung 204, einen Sendeempfänger 206, eine Speichervorrichtung 208, eine Trainingseinheit 214 und eine Leistungsbewertungseinheit 216. Die Speichervorrichtung 208 umfasst ferner einen Klassifizierer 210 und einen Objektverfolger 212.
In einer Ausführungsform kann sich der Prozessor 202 auf der Maschine 102 befinden und kann dafür konfiguriert sein, ein oder mehrere Untersysteme der Maschine 102 zu steuern. Der Prozessor 202 ist kommunikationsfähig mit der Bilderfassungsvorrichtung 204, dem Sendeempfänger 206, der Speichervorrichtung 208, der Trainingseinheit 214 und der Leistungsbewertungseinheit 216 verbunden. Der Prozessor 202 ist dafür konfiguriert, eine oder mehrere in der Speichervorrichtung 208 gespeicherte Anweisungen auszuführen, um eine vorbestimmte Operation auszuführen. Ferner ist der Prozessor 202 dafür konfiguriert, den Betrieb der Bilderfassungsvorrichtung 204, des Sendeempfängers 206, der Speichervorrichtung 208, der Trainingseinheit 214 und der Leistungsbewertungseinheit 216 zu steuern. Beispiele des Prozessors 202 umfassen, ohne darauf beschränkt zu sein, einen X86-Prozessor, einen RISC-Prozessor (Reduced Instruction Set Computing, Berechnung mit verringertem Anweisungssatz), einen ASIC-Prozessor (Application Specific Integrated Circuit, anwendungsspezifischer integrierter Schaltkreis), einen CISC-Prozessor (Complex Instruction Set Computing, Berechnung mit komplexem Anweisungssatz), einen ARM-Prozessor (Advanced RISC Machine, erweiterte RISC-Maschine) oder einen anderen Prozessor. Der Betrieb des Prozessors 202 wird später beschrieben.
Die Bilderfassungsvorrichtung 204 ist dafür konfiguriert, mindestens ein Bild der Arbeitsstelle 100 zu erfassen, in der die Maschine 102 arbeitet. In einer Ausführungsform kann die Bilderfassungsvorrichtung 204 einen Bildsensor umfassen, der zum Erfassen des Bildes konfiguriert ist. In einer Ausführungsform kann der Bildsensor das Licht in elektrische Signale umwandeln, die zur Erzeugung des Bildes verwendet werden. Einige Beispiele des Bildsensors können einen CMOS-Sensor (Complementary Metal-Oxide-Semiconductor, komplementärer Metalloxid-Halbleiter), einen CCD-Sensor (Charge Coupled Devices, ladungsgekoppelte Vorrichtungen), einen LIDAR-Sensor (Light Detection and Ranging, Lichterfassung und Ortung), ohne darauf beschränkt zu sein, und/oder dergleichen umfassen. Die Bilderfassungsvorrichtung 204 kann ferner dafür konfiguriert sein, einen Videostrom der Baustelle 100 zu erfassen, während die Maschine 102 auf der Baustelle 100 arbeitet. Fachleute wissen, dass das Erfassen des Videostroms das Erfassen einer vorbestimmten Anzahl von Einzelbildern pro Sekunde umfasst. Um beispielsweise den Videostrom der Baustelle 100 aufzunehmen, kann die Bilderfassungsvorrichtung 204 dafür konfiguriert sein, 30 Bilder pro Sekunde zu erfassen. Es kann jedoch in Betracht gezogen werden, dass für den Videostrom Bilder mit einer Geschwindigkeit von mehr als 30 Bildern/Sekunde oder weniger als 30 Bildern/Sekunde aufgenommen werden. Die Bilderfassungsvorrichtung 204 kann dafür konfiguriert sein, das erfasste Bild oder den erfassten Videostrom zur weiteren Verarbeitung unter Verwendung eines oder mehrerer Kommunikationsprotokolle an den Prozessor 202 zu übertragen.
In einer Ausführungsform kann der Sendeempfänger 206 die Kommunikation zwischen der Bilderfassungsvorrichtung 204, dem Prozessor 202 und der Speichervorrichtung 208 unter Verwendung eines oder mehrerer Kommunikationsprotokolle wie I2C^®, Zigbee^®, Infrarot und Bluetooth^® ermöglichen. Zusätzlich kann der Sendeempfänger 206 ferner dafür konfiguriert sein, Nachrichten und Daten zu/von verschiedenen Vorrichtungen/Maschinen, die auf der Baustelle 100 (z. B. dem entfernten Server) arbeiten, über ein Kommunikationsnetzwerk zu senden und zu empfangen, in Übereinstimmung mit den verschiedenen Kommunikationsprotokollen, z. B. TCP/IP, UDP und 2G-, 3G- oder 4G-Kommunikationsprotokollen.
Die Speichervorrichtung 208 speichert einen Satz von Anweisungen, die von dem Prozessor 202 ausgeführt werden können, um die vorbestimmte Operation auszuführen. Beispielsweise kann die Speichervorrichtung 208 dafür konfiguriert sein, den Befehlssatz zu speichern, der dem Klassifizierer 210 und dem Objektverfolger 212 entspricht. In einer Ausführungsform kann der Klassifizierer 210 dafür konfiguriert sein, ein oder mehrere Objekte in einem Bild zu erfassen. Beispielsweise kann der Klassifizierer 210 dafür konfiguriert sein, den ersten Satz von Objekten 104 in dem Bild zu erfassen, das die Baustelle 100 darstellt. Zusätzlich kann der Klassifizierer 210 dafür konfiguriert sein, die erfassten Objekte in eine oder mehrere Kategorien zu klassifizieren. In einer Ausführungsform können die eine oder die mehreren Kategorien eine menschliche Kategorie und eine Hinderniskategorie umfassen, ohne darauf beschränkt zu sein. Alle Objekte, die einem Menschen entsprechen, werden in die Kategorie Mensch und alle anderen Objekte in die Kategorie Hindernis eingestuft. Es kann in Betracht gezogen werden, dass zusätzlich zu den oben genannten Kategorien andere Kategorien existieren können, ohne vom Umfang der Offenbarung abzuweichen.
In einer Ausführungsform kann der Objektverfolger 212 dem Befehlssatz entsprechen, der es dem Prozessor 202 ermöglicht, die erfassten Objekte in dem Videostrom zu verfolgen, oder er kann Befehlssatz durch die Vielzahl von Einzelbildern, die von der Bilderfassungsvorrichtung 204 erfasst werden, entsprechen. Der Objektverfolger 212 kann einen oder mehrere bekannte Algorithmen verwenden, um die erfassten Objekte zu verfolgen. Beispiele für solche Algorithmen können eine kernbasierte Verfolgung und eine Konturverfolgung umfassen, ohne darauf beschränkt zu sein.
Fachleute erkennen, dass der Umfang der Offenbarung nicht auf das Implementieren des Klassifizierers 210 und des Objektverfolgers 212 als Befehlssatz beschränkt ist. In einer Ausführungsform können der Klassifizierer 210 und der Objektverfolger 212 auf einem anwendungsspezifischen integrierten Schaltkreis (Application Specific Integrated Circuit, ASIC) oder FPGA implementiert sein, die mit dem Prozessor 202 in Kommunikation stehen, ohne vom Umfang der Offenbarung abzuweichen.
Unter erneuter Bezugnahme auf die Speichervorrichtung 208 kann die Speichervorrichtung 208 ferner dafür konfiguriert sein, Bilddaten, die sich auf das Bild der Baustelle 100 beziehen (im Folgenden als erstes Bild bezeichnet), die von der Bilderfassungsvorrichtung 204 erfasst werden, und zuvor verarbeitete Bilder (nachfolgend als zweites Bild bezeichnet) zu speichern. Ferner kann die Speichervorrichtung 208 dafür konfiguriert sein, die Informationen zu den erfassten Objekten in dem ersten Bild und dem zweiten Bild zu speichern. In einer Ausführungsform können die Informationen, die mit den erfassten Objekten assoziiert sind, Folgendes umfassen, ohne darauf beschränkt zu sein, ein oder mehrere Schlüsselmerkmale, die den erfassten Objekten, einem Typ der erfassten Objekte und einem Ort der erfassten Objekte im Bild zugeordnet sind. In bestimmten Implementierungen kann die Speichervorrichtung 208 ferner dafür konfiguriert sein, Trainingsdaten zu speichern, die zum Trainieren des Klassifizierers 210 verwendet werden. Das Training des Klassifizierers 210 wurde später beschrieben. Einige der allgemein bekannten Speichervorrichtungsimplementierungen umfassen, ohne darauf beschränkt zu sein, einen Arbeitsspeicher (Random Access Memory, RAM), einen Nur-Lese-Speicher (Read Only Memory, ROM), ein Festplattenlaufwerk (Hard Disk Drive, HDD) und eine sichere digitale Karte (Secure Digital, SD).
Die Trainingseinheit 214 kann einer geeigneten Logik, Schaltung und/oder Schnittstelle entsprechen, die dafür konfiguriert sein kann, den Klassifizierer 210 unter Verwendung der Trainingsdaten (die in der Speichervorrichtung 208 gespeichert sind) zu trainieren. In einer Ausführungsform kann die Trainingseinheit 214 einen oder mehrere bekannte maschinelle Lernalgorithmen verwenden, wie beispielsweise neuronale Netze, radiale Basisfunktionen, Unterstützungs-Vektormaschinen (Support Vector Machines, SVM), Naive Bayes, k-nächster Nachbar-Algorithmen und andere maschinelle Lerntechniken, um den Klassifizierer 210 zu trainieren. Das Training des Klassifizierers 210 wurde in Verbindung mit 3 beschrieben.
Die Leistungsbewertungseinheit 216 kann einer geeigneten Logik, Schaltung und/oder Schnittstelle entsprechen, die dafür konfiguriert sein kann, eine Leistung des Prozessors 202 basierend auf der Erfassung des Objekts und der Verfolgung des Objekts in dem Bild bzw. dem Videostrom, das von der Bilderfassungsvorrichtung 204 erfasst wird, zu bewerten. Der Betrieb der Leistungsbewertungseinheit 216 wird später in Verbindung mit 4, 5, 6 und 7 beschrieben.
Bezugnehmend auf 3 ist ein Flussdiagramm 300 offenbart, das ein Verfahren zum Trainieren des Klassifizierers 210 darstellt. Das Flussdiagramm 300 wurde in Verbindung mit 2 beschrieben.
In Schritt 302 werden die Trainingsdaten (die in der Speichervorrichtung 208 gespeichert sind) extrahiert. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, die Trainingseinheit 214 anzuweisen, die Trainingsdaten zu extrahieren. In einer Ausführungsform können die Trainingsdaten einen Satz von Trainingsbildern und die Informationen, die sich auf die Objekte in jedem Bild in dem Satz von Trainingsbildern beziehen, umfassen. In einer Ausführungsform können die Informationen, die sich auf die Objekte beziehen, ein oder mehrere Schlüsselmerkmale der Objekte, einen Ort der Objekte in einem Bild und/oder dergleichen umfassen, ohne darauf beschränkt zu sein. In einer Ausführungsform können das eine oder die mehreren Schlüsselmerkmale des Objekts Interessenpunkten in einem Bild entsprechen, die für den Bildmaßstab oder die Bilddrehung unveränderlich sind. In einer Ausführungsform kann der Ort des Objekts in dem Bild einem Ort der Pixel in dem Bild entsprechen, die das Objekt darstellen. Wenn zum Beispiel die Position eines Pixels, das ein menschliches Objekt darstellt, bei (x1, y1) liegt, wird die Position des menschlichen Objekts als (x1, y1) betrachtet.
In Schritt 304 werden mehrere Schlüsselmerkmale in jedem Bild in dem Satz von Trainingsbildern identifiziert. In einer Ausführungsform kann der Prozessor 202 dafür konfiguriert sein, die Vielzahl von Schlüsselmerkmalen in jedem Bild in dem Satz von Trainingsbildern zu identifizieren. In einer Ausführungsform kann der Prozessor 202 eine oder mehrere bekannte Bildverarbeitungstechniken verwenden, wie z. B. skaleninvariante Merkmalsumwandlung (Scale Invariant Feature Transform, SIFT), um die Vielzahl von Schlüsselmerkmalen zu identifizieren.
In Schritt 306 wird der Klassifizierer 210 trainiert. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, die Trainingseinheit 214 anzuweisen, den Klassifizierer 210 auf der Grundlage der Vielzahl von Schlüsselmerkmalen (die vom Prozessor 202 in Schritt 304 identifiziert wurden) und des einen oder der mehreren Schlüsselmerkmale, die Objekten zugeordnet sind (aus den Trainingsdaten extrahiert), zu trainieren . In einer Ausführungsform ist die Trainingseinheit 214 dafür konfiguriert, die Vielzahl von Schlüsselmerkmalen mit dem einen oder den mehreren Schlüsselmerkmalen zu korrelieren, um ein mathematisches Modell zu erstellen. Ein solches mathematisches Modell kann dem Klassifizierer 210 entsprechen. In einer Ausführungsform wird die Korrelation der Vielzahl von Schlüsselmerkmalen mit dem einen oder den mehreren Schlüsselmerkmalen unter Verwendung einer oder mehrerer bekannter Techniken durchgeführt, wie beispielsweise, ohne darauf beschränkt zu sein, naive Bayes und lineare Diskriminanzanalyse, logistische Regression und/oder dergleichen.
Nach dem Training des Klassifizierers 210 kann der Prozessor 202 dafür konfiguriert werden, die Maschine 102 in dem vollständig autonomen Modus zu betreiben. Im vollständig autonomen Modus kann der Prozessor 202 die Bilderfassungsvorrichtung 204 anweisen, ein oder mehrere Echtzeitbilder der Baustelle 100 (d. h. das erste Bild) zu erfassen, in der die Maschine 102 arbeitet. Danach verwendet der Prozessor 202 den Klassifizierer 210, um den ersten Satz von Objekten 104 in dem ersten Bild zu erfassen. Basierend auf der Erfassung des ersten Satzes von Objekten 104 kann der Prozessor 202 die Maschine 102 betreiben. In einer Ausführungsform kann der Prozessor 202 ferner dafür konfiguriert sein, die Erfassung des ersten Satzes von Objekten 104 in dem ersten Bild zu validieren. Eine solche Validierung stellt sicher, dass die Erkennung des ersten Satzes von Objekten 104 fehlerfrei ist. Ferner testet eine solche Validierung die Integrität des Wahrnehmungssystems 106. Der Prozess des Testens des Wahrnehmungssystems 106 wurde in Verbindung mit 4 beschrieben.
In 4 ist ein Flussdiagramm 400 eines Verfahrens zum Testen des Wahrnehmungssystems 106 dargestellt. Das Flussdiagramm 400 wurde in Verbindung mit 1 und 2 beschrieben.
In Schritt 402 wird das erste Bild aufgenommen. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, die Bilderfassungsvorrichtung 204 anzuweisen, das erste Bild zu erfassen. Das erste Bild kann dem Echtzeitbild der Baustelle 100 entsprechen, in der die Maschine 102 arbeitet.
In Schritt 404 wird ein Abschnitt des zweiten Bildes an das erste Bild angehängt. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, den Abschnitt des zweiten Bildes an das erste Bild anzuhängen. Wie bereits erwähnt, entspricht das zweite Bild einem Bild, das zuvor vom Prozessor 202 verarbeitet wurde. Beispielsweise kann der Prozessor 202 zuvor einen zweiten Satz von Objekten in dem zweiten Bild erfasst haben. In einer alternativen Ausführungsform hat der Prozessor 202 möglicherweise den zweiten Satz von Objekten in dem zweiten Bild nicht erfasst. Der zweite Satz von Objekten wurde möglicherweise von einem anderen Prozessor oder durch Crowdsourcing erfasst.
Um den Abschnitt des zweiten Bildes anzuhängen, kann der Prozessor 202 dafür konfiguriert sein, eine Größe des ersten Bildes zu bestimmen. In einer Ausführungsform kann die Größe des ersten Bildes einer Anzahl von Pixeln entlang einer Länge des ersten Bildes und einer Anzahl von Pixeln entlang einer Breite des ersten Bildes entsprechen. Beispielsweise ist die Größe des ersten Bildes N x M, wobei N eine Anzahl von Pixeln entlang einer Länge des ersten Bildes und M eine Anzahl von Pixeln entlang einer Breite des ersten Bildes ist. Danach wird der Prozessor 202 dafür konfiguriert, zufällig einen Abschnitt des zweiten Bildes auszuwählen. In einer Ausführungsform ist eine Breite des Abschnitts des zweiten Bildes gleich der Breite des ersten Bildes. In einer alternativen Ausführungsform ist eine Länge des Abschnitts des zweiten Bildes gleich der Länge des ersten Bildes. Fachleute werden erkennen, dass der Umfang der Offenbarung nicht auf den Abschnitt des zweiten Bildes beschränkt ist, der entweder die gleiche Länge wie das erste Bild oder die gleiche Breite wie das erste Bild hat. In einer Ausführungsform kann der Abschnitt des zweiten Bildes eine beliebige Größe aufweisen.
Nach dem Extrahieren des Abschnitts des zweiten Bildes kann der Prozessor 202 dafür konfiguriert werden, den Abschnitt des zweiten Bildes an das erste Bild anzuhängen, um ein zusammengesetztes Bild zu erzeugen. Daher kann das zusammengesetzte Bild einen Abschnitt des zweiten Bildes und des ersten Bildes umfassen. In einer Ausführungsform kann der Prozessor 202 eine oder mehrere bekannte Bildverarbeitungstechniken verwenden, um den Abschnitt des zweiten Bildes an das erste Bild anzuhängen.
Fachleute werden erkennen, dass der Umfang der Offenbarung nicht darauf beschränkt ist, nur den Abschnitt des zweiten Bildes an das erste Bild anzuhängen. In einer Ausführungsform können mehr Bilder an das erste Bild angehängt werden. Zum Beispiel kann der Prozessor 202 dafür konfiguriert sein, einen Abschnitt des ersten Bildes zu extrahieren und an das erste Bild selbst anzuhängen. In noch einer anderen Ausführungsform kann der Prozessor 202 dafür konfiguriert sein, einen Abschnitt eines dritten Bildes zusätzlich zum Anhängen des Abschnitts des zweiten Bildes an das erste Bild anzuhängen. In einer Ausführungsform können das erste Bild, das zweite Bild und das dritte Bild unterschiedliche Bilder sein.
In Schritt 406 werden das eine oder die mehreren Objekte in dem zusammengesetzten Bild erfasst. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, das eine oder die mehreren Objekte zu erfassen. Um das eine oder die mehreren Objekte zu erfassen, ist der Prozessor 202 dafür konfiguriert, ein oder mehrere Schlüsselmerkmale aus dem zusammengesetzten Bild unter Verwendung einer oder mehrerer Bildverarbeitungstechniken wie SIFT, RIFT, HOG und SURF zu extrahieren. Danach verwendet der Prozessor 202 den Klassifizierer 210, um das eine oder die mehreren Objekte basierend auf dem einen oder den mehreren Schlüsselmerkmalen zu erfassen. Da das zusammengesetzte Bild das erste Bild und den Abschnitt des zweiten Bildes umfasst, erfasst der Prozessor 202 daher den ersten Satz von Objekten 104 im ersten Bild und den zweiten Satz von Objekten im Abschnitt des zweiten Bildes. Danach wird der Prozessor 202 dafür konfiguriert, die Informationen bezüglich des zweiten Satzes von Objekten an die Leistungsbewertungseinheit 216 zu übertragen.
In Schritt 408 wird die Leistung des Prozessors 202 bewertet. In einer Ausführungsform ist die Leistungsbewertungseinheit 216 dafür konfiguriert, die Leistung des Prozessors 202 zu bewerten. Die Leistungsbewertungseinheit 216 ist dafür konfiguriert, den zweiten Satz von Objekten vom Prozessor 202 zu empfangen. Ferner kann die Leistungsbewertungseinheit 216 dafür konfiguriert sein, die Informationen, die sich auf das eine oder die mehreren zuvor erfassten Objekte in dem zweiten Bild beziehen, aus der Speichervorrichtung 208 zu extrahieren. Wie diskutiert, können die Informationen, die sich auf ein oder mehrere zuvor erfasste Objekte beziehen, ein oder mehrere Schlüsselmerkmale umfassen, die mit jedem der ein oder mehreren zuvor erfassten Objekte, einer Kategorie jedes der ein oder mehreren zuvor erfassten Objekte und einem Ort des einen oder der mehreren zuvor erfassten Objekte verknüpft sind.
Danach ist die Leistungsbewertungseinheit 216 dafür konfiguriert, einen Satz zuvor erfasster Objekte aus dem einen oder den mehreren zuvor erfassten Objekten zu identifizieren. In einer Ausführungsform entspricht der Satz zuvor erfasster Objekte den Objekten, die in dem Abschnitt des zweiten Bildes identifiziert wurden. Ferner ist die Leistungsbewertungseinheit 216 konfiguriert, um die Informationen zu extrahieren, die sich auf den Satz zuvor erfasster Objekte beziehen. Die Leistungsbewertungseinheit 216 ist danach dafür konfiguriert, den zweiten Satz von Objekten mit dem Satz von zuvor erfassten Objekten zu vergleichen, um zu bestimmen, ob der zweite Satz von Objekten mit dem Satz von zuvor erfassten Objekten identisch ist. In einer Ausführungsform vergleicht die Leistungsbewertungseinheit 216 das eine oder die mehreren Schlüsselmerkmale, die dem zweiten Satz von Objekten zugeordnet sind, mit dem einen oder den mehreren Schlüsselmerkmalen, die dem Satz von zuvor erfassten Objekten zugeordnet sind, um festzustellen, ob der zweite Satz von Objekten mit dem Satz zuvor erfasster Objekte identisch ist.
In einer alternativen Ausführungsform kann die Leistungsbewertungseinheit 216 dafür konfiguriert sein, die Kategorie des zweiten Satzes von Objekten mit der Kategorie des Satzes von zuvor erfassten Objekten zu vergleichen, um festzustellen, ob die Kategorie des zweiten Satzes von Objekten und die zuvor erfassten Objekte identisch sind. Der Vergleich der Objekttypen wurde später in Verbindung mit 6 beschrieben.
Um außerdem zu bestimmen, ob der zweite Satz von Objekten mit dem zuvor erkannten Satz von Objekten übereinstimmt, kann die Leistungsbewertungseinheit 216 ferner den Ort des zweiten Satzes von Objekten (vom Prozessor 202 erfasst) mit dem Ort der zuvor erfassten Objekte (zuvor vom Prozessor 202 erfasst) abgleichen. In einer Ausführungsform kann die Leistungsbewertungseinheit 216 dafür konfiguriert sein, mit der Pixelposition übereinzustimmen, um zu bestimmen, ob der Ort des zweiten Satzes von Objekten mit dem Ort der zuvor erfassten Objekte identisch ist. In einer Ausführungsform kann die Leistungsbewertungseinheit 216 dafür konfiguriert sein, die Leistung des Prozessors 202 basiert sowohl auf der Übereinstimmung des zweiten Satzes von Objekten mit den zuvor erfassten Objekten als auch auf der Übereinstimmung des Ortes des zweiten Objekts mit dem Ort der zuvor erfassten Objekte zu bewerten.
In einer Ausführungsform kann die Leistungsbewertungseinheit 216 dafür konfiguriert sein, die Übereinstimmung zwischen dem zweiten Satz von Objekten und dem Satz von zuvor erfassten Objekten basierend auf einer Kombination einer Übereinstimmung zwischen einem oder mehreren Schlüsselmerkmalen, einer Übereinstimmung einer Kategorie der Objekte und einer Übereinstimmung der Position der Objekte zu bestimmen. Beispielsweise kann die Leistungsbewertungseinheit 216 den zweiten Satz von Objekten nur dann als mit dem ersten Satz von Objekten übereinstimmend betrachten, wenn die vollständigen Informationen, die mit den Objekten assoziiert sind (d. h. das eine oder die mehreren Schlüsselmerkmale, der Typ und der Ort) zueinander passen. In einer alternativen Ausführungsform kann die Leistungsbewertungseinheit 216 die Übereinstimmung nur dann berücksichtigen, wenn eines oder mehrere der Schlüsselmerkmale, der Typ und der Ort übereinstimmen.
Wenn die Leistungsbewertungseinheit 216 bestimmt, dass der zweite Satz von Objekten der gleiche ist wie der Satz von zuvor erfassten Objekten, ist die Leistungsbewertungseinheit 216 dafür konfiguriert, die Erfassung des ersten Satzes von Objekten in dem ersten Bild zu validieren. Wenn die Leistungsbewertungseinheit 216 jedoch feststellt, dass der zweite Satz von Objekten nicht mit dem Satz von zuvor erfassten Objekten identisch ist, ist die Leistungsbewertungseinheit 216 dafür konfiguriert, ein Signal zu erzeugen, das eine nicht ordnungsgemäße Leistung des Prozessors 202 anzeigt.
Fachleute werden erkennen, dass der Umfang der Offenbarung nicht auf das Validieren der Leistung des Prozessors 202 basierend auf dem Vergleich des zweiten Satzes von Objekten mit dem Satz von zuvor erfassten Objekten beschränkt ist. In einer Ausführungsform kann die Leistungsbewertungseinheit 216 ferner dafür konfiguriert sein, die Leistung des Prozessors 202 durch Validieren der Verfolgung des Objekts in einem Videostrom zu validieren. Das Validieren der Verfolgung des Objekts im Videostrom wurde in Verbindung mit 5 beschrieben.
Bezugnehmend auf 5 zeigt ein Flussdiagramm 500 eines Verfahrens zum Testen des Wahrnehmungssystems 106 durch Validieren der Verfolgung des einen oder der mehreren Objekte in einem Videostrom. Das Flussdiagramm 500 wurde in Verbindung mit 2, 3 und 4 beschrieben.
In Schritt 502 wird ein erster Videostrom empfangen. In einer Ausführungsform kann der Prozessor 202 dafür konfiguriert sein, den ersten Videostrom von der Bilderfassungsvorrichtung 204 zu empfangen. Fachleute wissen, dass der erste Videostrom eine Vielzahl von ersten Einzelbildern umfasst. Zum Zwecke der fortlaufenden Beschreibung wird angenommen, dass eine Anzahl der Vielzahl von ersten Einzelbildern N ist.
In Schritt 504 wird ein zweiter Videostrom von der Speichervorrichtung 208 abgerufen. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, den zweiten Videostrom von der Speichervorrichtung 208 abzurufen. In einer Ausführungsform umfasst der zweite Videostrom mehrere zweite Einzelbilder. Ferner ist eine Anzahl der Vielzahl der zweiten Einzelbilder dieselbe wie die Anzahl der Vielzahl der ersten Einzelbilder (d. h. N).
In Schritt 506 wird ein Abschnitt von jedem der mehreren zweiten Einzelbilder an ein chronologisch entsprechendes erstes Einzelbild der mehreren ersten Einzelbilder angehängt. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, den Abschnitt des zweiten Einzelbildes der Vielzahl von zweiten Einzelbildern an das erste Bild der Vielzahl von Einzelbildern in Übereinstimmung mit der chronologischen Reihenfolge anzuhängen, die der Vielzahl von ersten Einzelbildern und der Vielzahl von zweiten Einzelbildern zugeordnet ist. Beispielsweise umfasst die Vielzahl von ersten Einzelbildern ein erstes erstes Einzelbild, ein zweites erstes Einzelbild, ..., ein N-tes erstes Einzelbild. Ferner umfasst die Vielzahl von zweiten Einzelbildern ein erstes zweites Einzelbild, ein zweites zweites Einzelbild, ..., ein N-tes zweites Einzelbild. Der Prozessor 202 ist dafür konfiguriert, den Abschnitt des ersten zweiten Einzelbildes an das erste erste Einzelbild anzuhängen. In ähnlicher Weise ist der Prozessor 202 dafür konfiguriert, den Abschnitt des zweiten zweiten Einzelbildes an das zweite erste Einzelbild anzuhängen.
In einer Ausführungsform sind die Koordinaten des Abschnitts, der aus jedem der mehreren zweiten Einzelbilder extrahiert wird, gleich. Zum Beispiel, wenn die Koordinaten des aus dem ersten zweiten Einzelbild extrahierten Abschnitts (x1, y1), (x2, y2), (x3, y3) und (x4, y4) sind. Daher ist der Prozessor 202 dafür konfiguriert, den Abschnitt mit den gleichen Koordinaten aus anderen zweiten Einzelbildern (d. h. (x1, y1), (x2, y2), (x3, y3) und (x4, y4)) zu extrahieren. Fachleute erkennen jedoch, dass der Umfang der Offenbarung nicht auf das Extrahieren des Abschnitts mit den gleichen Koordinaten aus der Vielzahl von zweiten Einzelbildern beschränkt ist. In einer Ausführungsform können Abschnitte mit unterschiedlichen Koordinaten extrahiert und entsprechend an die entsprechende Vielzahl von ersten Einzelbildern angehängt werden. Da der Abschnitt der Vielzahl von zweiten Einzelbildern (die dem zweiten Videostrom entsprechen) an die Vielzahl von ersten Einzelbildern (die dem ersten Videostrom entsprechen) angehängt wird, wird ein zusammengesetzter Videostrom gebildet, der erste Einzelbilder und den Abschnitt der zweiten Einzelbilder umfasst. Nachfolgend umfasst der zusammengesetzte Videostrom eine Vielzahl von zusammengesetzten Einzelbildern.
In Schritt 508 werden das eine oder die mehreren Objekte in dem zusammengesetzten Videostrom verfolgt. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, das eine oder die mehreren Objekte in dem zusammengesetzten Videostrom zu verfolgen. Um das eine oder die mehreren Objekte in dem zusammengesetzten Videostrom zu verfolgen, kann der Prozessor 202 dafür konfiguriert sein, das eine oder die mehreren Objekte in jedem der mehreren zusammengesetzten Einzelbilder unter Verwendung des Klassifizierers 210 zu erfassen. In einer Ausführungsform kann der Prozessor 202 eine ähnliche Methodik verwenden, wie sie in Schritt 406 beschrieben ist, um das eine oder die mehreren Objekte zu erfassen. Wie oben beschrieben, ist der Prozessor 202 dafür konfiguriert, den ersten Satz von Objekten in dem ersten Einzelbild der Vielzahl von ersten Einzelbildern und den zweiten Satz von Objekten in dem Abschnitt des zweiten Einzelbildes zu erfassen. In einer Ausführungsform bilden die Menge der ersten Objekte und die Menge der zweiten Objekte das eine oder die mehreren Objekte.
Danach ist der Prozessor 202 dafür konfiguriert, das eine oder die mehreren Objekte durch die Vielzahl von zusammengesetzten Einzelbildern zu verfolgen. In einer Ausführungsform ist der Prozessor 202 dafür konfiguriert, das eine oder die mehreren Objekte durch die Vielzahl von zusammengesetzten Einzelbildern unter Verwendung des Objektverfolgers 212 zu verfolgen. In einer Ausführungsform kann das Verfolgen des einen oder der mehreren Objekte das Bestimmen der Koordinaten des einen oder der mehreren Objekte durch die Vielzahl von zusammengesetzten Einzelbildern beinhalten. Zum Beispiel hat ein Objekt die Koordinaten (x1, y1) in einem ersten zusammengesetzten Einzelbild und (x2, y2) in einem zweiten zusammengesetzten Einzelbild. Die Verfolgung der Bewegung des Objekts von (x1, y1) nach (x2, y2) entspricht der Objektverfolgung.
In einer Ausführungsform ist der Prozessor 202 durch Verfolgen des einen oder der mehreren Objekte durch die mehreren zusammengesetzten Einzelbilder dafür konfiguriert, den ersten Satz von Objekten (erfasst in jedem der mehreren ersten Einzelbilder) und den zweiten Satz von Objekten (erfasst in jedem der mehreren zweiten Einzelbilder) zu verfolgen.
In Schritt 510 wird geprüft, ob die Verfolgung des zweiten Satzes von Objekten mit der Verfolgung des Satzes von zuvor erfassten Objekten identisch ist. In einer Ausführungsform ist die Leistungsbewertungseinheit 216 dafür konfiguriert, die Prüfung durchzuführen. In einer Ausführungsform ist die Leistungsbewertungseinheit 216 dafür konfiguriert, die Verfolgungsinformationen zu extrahieren, die den zuvor erfassten Objekten in dem zweiten Videostrom zugeordnet sind. In einer Ausführungsform können die Verfolgungsinformationen Informationen umfassen, die sich auf die Koordinaten beziehen, die die zuvor erfassten Objekte möglicherweise durch die mehreren zweiten Einzelbilder verfolgt haben. Danach kann der Prozessor 202 dafür konfiguriert sein, die Verfolgung des Satzes zuvor erfasster Objekte (der in dem Abschnitt von jedem der Vielzahl des zweiten Einzelbildes erfasst wird) zu bestimmen.
Die Leistungsbewertungseinheit 216 ist dafür konfiguriert, die Verfolgung des Satzes zuvor erfasster Objekte mit der Verfolgung des zweiten Satzes von Objekten zu vergleichen. In einer Ausführungsform kann der Vergleich das chronologische Vergleichen der Koordinaten des Satzes zuvor erfasster Objekte (verfolgt durch die Vielzahl von zweiten Einzelbildern) mit den Koordinaten des zweiten Satzes von Objekten (verfolgt durch den Abschnitt des zweiten Einzelbildes) umfassen.
Wenn die Leistungsbewertungseinheit 216 bestimmt, dass die Verfolgungsinformationen des Satzes zuvor erfasster Objekte dieselben sind wie die Verfolgungsinformationen des zweiten Satzes von Objekten, kann die Leistungsbewertungseinheit 216 den Schritt 512 ausführen.
In Schritt 512 validiert die Leistungsbewertungseinheit 216 die Verfolgung des ersten Satzes von Objekten. Unter erneuter Bezugnahme auf Schritt 510, wenn die Leistungsbewertungseinheit 216 bestimmt, dass die Verfolgungsinformationen des Satzes zuvor erfasster Objekte nicht mit den Verfolgungsinformationen des zweiten Satzes von Objekten übereinstimmen, führt die Leistungsbewertungseinheit 216 den Schritt 514 aus.
In Schritt 514 ist die Leistungsbewertungseinheit 216 dafür konfiguriert, das Signal zu erzeugen, das eine nicht ordnungsgemäße Leistung des Prozessors 202 anzeigt.
Industrielle Anwendbarkeit
In 6 ist ein Flussdiagramm 600 eines beispielhaften Szenarios zum Testen des Wahrnehmungssystems 106 offenbart. Das Flussdiagramm 600 wurde in Verbindung mit 1, 2, 3 und 4 beschrieben.
Das erste Bild 602 wird von der Bilderfassungsvorrichtung 204 erfasst. In einer Ausführungsform kann das erste Bild 602 einem Bild der Baustelle 100 entsprechen, die den ersten Satz von Objekten 104 umfasst. Das erste Bild 602 wird an den Prozessor 202 übertragen.
Der Prozessor 202 ist ferner dafür konfiguriert, das zweite Bild 604 aus der Speichervorrichtung 208 zu extrahieren. Das zweite Bild 604 kann auch das Bild von Objekten umfassen. Zusätzlich ist der Prozessor 202 dafür konfiguriert, die Informationen zu extrahieren, die sich auf zuvor erfasste Objekte (dargestellt durch 606) in dem zweiten Bild 604 beziehen. Der Prozessor 202 kann ferner einen Abschnitt des zweiten Bildes 604 (dargestellt durch 608) zufällig auswählen. Danach kann der Prozessor 202 den Abschnitt 608 des zweiten Bildes 604 an das erste Bild 602 anhängen, um ein zusammengesetztes Bild 610 zu erzeugen.
Der Prozessor 202 ist ferner dafür konfiguriert, das eine oder die mehreren Objekte in dem zusammengesetzten Bild 610 zu erfassen. Die erfassten Objekte umfassen einen ersten Satz erfasster Objekte (dargestellt durch 612) in dem ersten Bild 602 und den zweiten Satz erfasster Objekte (dargestellt durch 614) in dem Abschnitt 608 des zweiten Bildes 604. Die Informationen (dargestellt durch 616), die sich auf den zweiten Satz von erfassten Objekten 612 beziehen, werden an die Leistungsbewertungseinheit 216 übertragen. Es kann beobachtet werden, dass die Informationen (dargestellt durch 616) Informationen umfassen, die sich auf eine Kategorie des Objekts (dargestellt durch 618) und Koordinaten des erfassten Objekts (dargestellt durch 620) beziehen. Beispielsweise weist ein erstes Objekt des zweiten Satzes von erfassten Objekten 612 einen Gesteinstyp (dargestellt durch 622) und Koordinaten (x5, y6) (dargestellt durch 624) auf.
Die Leistungsbewertungseinheit 216 ist ferner dafür konfiguriert, die Informationen zu vergleichen, die sich auf die zuvor erfassten Objekte beziehen (dargestellt durch 606). Es kann beobachtet werden, dass die Informationen, die sich auf die zuvor erfassten Objekte (606) beziehen, auch Informationen über die Kategorie der Objekte (dargestellt durch 618) und Koordinaten des Objekts (dargestellt durch 620) umfassen. Der Vergleich umfasst das Vergleichen der Kategorie und der Koordinaten der zuvor erfassten Objekte mit der Kategorie und den Koordinaten des zweiten Satzes von erfassten Objekten (dargestellt durch 614).
Zum Beispiel kann die Leistungsbewertungseinheit 216 prüfen, ob es ein Objekt in dem Satz zuvor erfasster Objekte 606 bei den Koordinaten (x5, y6) gibt. Wenn die Leistungsbewertungseinheit 216 feststellt, dass ein Objekt an den Koordinaten (x5, y6) vorhanden ist, ist die Leistungsbewertungseinheit 216 dafür konfiguriert, zu überprüfen, ob die Kategorie des Objekts in der Gruppe der zuvor erfassten Objekte der Kategorie des Objekts in dem zweiten Satz von Objekten entspricht. Beispielsweise bestimmt die Leistungsbewertungseinheit 216, dass die Objektkategorie an der Koordinate (x5, y6) in dem zweiten Satz von Objekten ein Fels ist, die Objektkategorie an der Koordinate (x5, y6) jedoch menschlich ist. Daher kann die Leistungsbewertungseinheit 216 ein Signal 626 erzeugen, das eine nicht ordnungsgemäße Leistung des Prozessors 202 anzeigt.
Wenn andererseits die Leistungsbewertungseinheit 216 bestimmt, dass die Kategorie des Satzes von zuvor erfassten Objekten dieselbe ist wie die Kategorie des zweiten Satzes von Objekten, validiert die Leistungsbewertungseinheit 216 die Erfassung des ersten Satzes erfasster Objekte 612 (dargestellt durch 628).
In 7 ist ein anderes Flussdiagramm 700 eines anderen beispielhaften Szenarios offenbart. Das Flussdiagramm 700 wurde in Verbindung mit 1, 2 und 5 beschrieben.
Der erste Videostrom 702 wird von der Bilderfassungsvorrichtung 204 erfasst. In einer Ausführungsform entspricht der erste Videostrom 702 einem Videostrom der Baustelle 100, während die Maschine 102 auf der Baustelle 100 arbeitet. Aus 7 ist ersichtlich, dass der erste Videostrom 702 drei erste Einzelbilder 704a, 704b und 704c umfasst. Nach Erhalt des ersten Videostroms 702 ist der Prozessor 202 dafür konfiguriert, den zweiten Videostrom 706 abzurufen. Der zweite Videostrom 706 umfasst drei zweite Einzelbilder 708a, 708b und 708c.
Ferner ist der Prozessor 202 dafür konfiguriert, den Abschnitt des zweiten Einzelbildes (zum Beispiel Abschnitt 710 in dem zweiten Einzelbild 708a) in dem zweiten Videostrom 706 zu identifizieren. Danach ist der Prozessor 202 dafür konfiguriert, den aus jedem der drei zweiten Einzelbilder 708a, 708b und 708c extrahierten Abschnitt 710 an das chronologisch entsprechende erste Einzelbild anzuhängen. Zum Beispiel wird der Abschnitt 710 von dem zweiten Einzelbild 708a an das erste Einzelbild 704a angehängt. In ähnlicher Weise wird der Abschnitt 710 von dem zweiten Einzelbild 708b an das zweite Einzelbild 704b angehängt. Ein solcher Prozess erzeugt drei zusammengesetzte Einzelbilder 712a, 712b und 712c. Ferner bilden die drei zusammengesetzten Einzelbilder 712a, 712b und 712c den zusammengesetzten Videostrom 714.
Nach der Erzeugung des zusammengesetzten Videostroms 714 ist der Prozessor 202 dafür konfiguriert, das eine oder die mehreren Objekte in dem zusammengesetzten Videostrom 714 unter Verwendung des Objektverfolgers 212 zu verfolgen. Aus 7 ist ersichtlich, dass sich ein Objekt 104 in dem chronologisch ersten Einzelbild in dem ersten Videostrom links befindet. Danach bewegt sich das Objekt zum äußersten rechten Ende des ersten Einzelbildes (wie aus den ersten Einzelbildern 704b und 704c ersichtlich ist). Der Objektverfolger 212 ist dafür konfiguriert, eine solche Bewegung des Objekts 104 zu verfolgen. In einer Ausführungsform ist der Objektverfolger 212 dafür konfiguriert, die Koordinaten der Bewegung des Objekts 104 durch die drei ersten Einzelbilder 704a, 704b und 704c zu bestimmen. Zum Beispiel werden die Koordinaten durch (x1, y1), (x2, y2), (x3, y3) in den ersten Einzelbildern 704a, 704b bzw. 704c dargestellt (angezeigt durch 716). Solche Informationen entsprechen den Verfolgungsinformationen des Objekts 104. Ferner ist der Objektverfolger 212 dafür konfiguriert, die Verfolgung des zweiten Satzes von Objekten in dem Abschnitt 710 des zweiten Einzelbildes 708a, 708b und 708c zu bestimmen. Es kann beobachtet werden, dass in dem chronologisch ersten zusammengesetzten Einzelbild 712a in dem Abschnitt 710 des zweiten Einzelbildes 708a kein zweites Objekt enthalten ist. In nachfolgenden zusammengesetzten Einzelbildern 712b und 712c ist jedoch das zweite Objekt (dargestellt durch 718) erschienen. Daher bestimmt der Objektverfolger 212 die Verfolgungsinformationen des zweiten Objekts (dargestellt durch 718) als (0, (al, b1), (a2, b2)) (dargestellt durch 720).
Die Leistungsbewertungseinheit 216 ist danach dafür konfiguriert, die Verfolgungsinformationen, die sich auf das zweite Objekt 718 beziehen, mit den Verfolgungsinformationen zu vergleichen, die dem zuvor erfassten Objekt (dargestellt durch 722) in dem Abschnitt 710 der zweiten Einzelbilder 708a, 708b und 708c zugeordnet sind. Es kann beobachtet werden, dass die Verfolgungsinformationen 722 des zuvor erfassten Objekts dieselben sind wie die Verfolgungsinformationen 720 des zweiten Objekts 718 und daher validiert die Leistungsbewertungseinheit 216 die Verfolgung des Objekts 104 (dargestellt durch 724).
Die offenbarte Ausführungsform umfasst zahlreiche Vorteile. Die vorgenannten Ausführungsformen offenbaren ein System zum Testen des Wahrnehmungssystems 106. Da die Erfassung der Objekte durch das Wahrnehmungssystem 106 jedes Mal validiert wird, kann daher im Falle einer fehlerhaften Erfassung des Objekts die Leistungsbewertungseinheit 216 ein Signal erzeugen, das es dem Prozessor 202 ermöglicht, den Betrieb der Maschine 102 rechtzeitig anzuhalten. In einer alternativen Ausführungsform zeigt das Signal dem Fernbediener an, den Betrieb der Maschine 102 abzuschalten. Ferner zeigt ein solches Signal eine Beschädigung der Speichervorrichtung 208 an, die später durch Installieren einer neuen Speichervorrichtung 208 korrigiert werden kann.
Während Aspekte der vorliegenden Offenbarung insbesondere unter Bezugnahme auf bestimmte obige Implementierungen gezeigt und beschrieben wurden, werden Fachleute verstehen, dass verschiedene zusätzliche Ausführungsformen durch die Modifikation der offenbarten Maschinen, Systeme und Verfahren in Betracht gezogen werden können, ohne vom Geist und Umfang dessen, was offenbart ist, abzuweichen. Es versteht sich, dass solche Ausführungsformen in den Umfang der vorliegenden Offenbarung fallen, der auf der Grundlage der Ansprüche und etwaiger Äquivalente davon bestimmt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20120250983 [0004]

Claims

Verfahren zum Testen eines Wahrnehmungssystems (106), wobei das Verfahren Folgendes umfasst: Erfassen eines oder mehrerer Objekte (104a, 104b, 104c, 104d, 104e) in einem zusammengesetzten Bild (610) durch einen Prozessor (202), wobei das zusammengesetzte Bild ein erstes Bild (602) und mindestens einen Abschnitt (608) eines zweiten Bildes (608) umfasst, wobei ein erster Satz von Objekten (612) in dem ersten Bild erfasst wird; Vergleichen eines zweiten Satzes von Objekten (614) des einen oder der mehreren Objekte (618), die in dem Abschnitt des zweiten Bildes erfasst wurden, mit einem Satz von zuvor erfassten Objekten (606) in dem Abschnitt des zweiten Bildes durch den Prozessor; und Validieren einer Leistung (216) des Prozessors bei der Erkennung des ersten Satzes von Objekten in dem ersten Bild, indem sichergestellt wird, dass der zweite Satz von Objekten, der in mindestens einem Abschnitt eines zweiten Bildes erfasst wurde, mit dem Satz von zuvor erfassten Objekten in dem Abschnitt des zweiten Bildes übereinstimmt.
Verfahren nach Anspruch 1, das ferner das Senden eines Signals (626) umfasst, das eine nicht ordnungsgemäße Leistung des Prozessors anzeigt, wenn das eine oder die mehreren Objekte, die in mindestens einem Abschnitt des zweiten Bildes erfasst wurden, nicht mit dem Satz zuvor erfasster Objekte im Abschnitt des zweiten Bildes übereinstimmen.
Verfahren nach Anspruch 1, das ferner das Empfangen des ersten Bildes von einer Bilderfassungsvorrichtung (204) durch den Prozessor umfasst.
Verfahren nach Anspruch 1, das ferner das Anhängen des Abschnitts des zweiten Bildes an das erste Bild durch den Prozessor umfasst, um das zusammengesetzte Bild zu erzeugen.
Verfahren nach Anspruch 1, wobei das zusammengesetzte Bild ferner einen Abschnitt eines dritten Bildes umfasst, wobei das dritte Bild ein oder mehrere zuvor erfasste Objekte umfasst.
Verfahren nach Anspruch 1, wobei das zweite Bild ein oder mehrere Objekte umfasst, die zuvor vom Prozessor erfasst wurden.
Verfahren nach Anspruch 1, wobei das zusammengesetzte Bild zusätzlich zu dem Abschnitt des zweiten Bildes ferner einen Abschnitt des ersten Bildes (704a, 704b, 704c) umfasst, der an das erste Bild angehängt ist.
Verfahren nach Anspruch 1, wobei das erste Bild und der Abschnitt des zweiten Bildes einem Einzelbild eines ersten Videostroms (702) bzw. einem Abschnitt eines Einzelbildes eines zweiten Videostroms (706) entsprechen, wobei der erste Videostrom einem Echtzeitvideo entspricht, das von einer Bilderfassungsvorrichtung erfasst wird, und wobei der zweite Videostrom einem historischen Videostrom entspricht, der zuvor von der Bilderfassungsvorrichtung erfasst wurde.
Verfahren nach Anspruch 8, ferner umfassend das Verfolgen des ersten Satzes von Objekten und des zweiten Satzes von Objekten in dem ersten Videostrom bzw. dem zweiten Videostrom durch den Prozessor.
Verfahren nach Anspruch 9, das ferner das Vergleichen der Verfolgung des ersten Satzes von Objekten mit der Verfolgung des Satzes von zuvor erfassten Objekten in dem zweiten Videostrom durch den Prozessor umfasst.