-
Die Erfindung betrifft Sensorsimulation und virtuelles Testen.
-
In der Entwicklung sicherheitskritischer eingebetteter Systeme ist es bekannt, diese Systeme in einer virtuellen Testumgebung auf korrekte Funktion zu überprüfen. In einem als Hardware in the Loop (HIL) bekannten Verfahren ist ein Prototyp eines eingebetteten Systems mit einem Simulationsrechner verbunden, der eine größtenteils virtuelle Testumgebung bereitstellt und das eingebettete Systems in harter Echtzeit mit mittels der virtuellen Testumgebung erzeugten Eingangsdaten versorgt. Umgekehrt kann der Simulationsrechner Steuersignale des eingebetteten Systems auslesen und diese bei der Berechnung des Zustands der virtuellen Testumgebung im jeweils nächsten Simulationszeitschritt berücksichtigen. In früheren Entwicklungsstadien ist es auch bekannt, statt eines prototypischen eingebetteten Systems nur dessen Software oder deren Programmlogik in eine virtuelle Testumgebung einzubinden. Solche vollständig virtuellen Testverfahren sind als Software in the Loop (SIL) oder Model in the Loop (MIL) bekannt und müssen nicht zwangsläufig in Echtzeit ablaufen. In der Automobilindustrie ist weiterhin ein Vehicle in the Loop (VIL) genanntes Verfahren bekannt, bei dem ein Prototyp des eingebetteten Systems in einem physischen Testfahrzeug verbaut auf einer Teststrecke oder einem Rollenprüfstand getestet wird, wobei das eingebettete System in harter Echtzeit mit mittels einer virtuellen Testumgebung erzeugten synthetischen Sensordaten versorgt wird.
-
Einige eingebettete Systeme werten Sensordaten aus, die von Sensorsystemen mit bildgebenden Sensoren zugeliefert werden. Besondere Bedeutung haben derartige eingebettete Systeme in der Automobilindustrie im Zusammenhang fortgeschrittener Fahrassistenzsysteme (ADAS, Advanced Driving Assistance Systems) und des hochautomatisierten Fahrens (HAF). Unter bildgebenden Sensoren werden alle Sensoren verstanden, aus deren Sensordaten ein Bild der Umgebung des Sensors reproduzierbar ist, insbesondere RADAR-, LIDAR- und Ultraschallsensoren und weiterhin die optischen Sensoren von Kamerasystemen zur passiven Bilderfassung im sichtbaren oder nicht sichtbaren Lichtspektrum. Derartige Sensorsysteme können neben dem Sensor selbst auch eine Bildverarbeitungseinheit zur Auswertung der von dem Sensor zugelieferten Bilddaten umfassen. Die Bildverarbeitungseinheit kann als autonomes eingebettetes System ausgestaltet sein oder in das zu prüfende eingebettete System integriert sein.
-
Wenn eine virtuelle Testumgebung für die Prüfung eines eingebetteten Systems vorgesehen ist, das Eingangsdaten von einem Sensorsystem mit einem bildgebenden Sensor erwartet, muss die virtuelle Testumgebung eine Simulation des Sensorsystems umfassen. In einigen Anwendungsfällen, beispielsweise wenn die Bildverarbeitungseinheit kein Prüfling bzw. kein Teil des Prüflings ist, ist es zur Einsparung von Rechenaufwand sinnvoll, auf eine detaillierte Simulation des Sensors zu verzichten. Statt aus der virtuellen Testumgebung Bilddaten des Sensors zu berechnen, wird dem simulierten Sensor ein Sensorsichtfeld zugeordnet, beispielsweise ein vom Sensor ausgehendes kegelförmiges Sichtfeld mit begrenzter Reichweite, und aus einer Vielzahl von der virtuellen Testumgebung umfasster virtueller Objekte wird eine Anzahl virtueller Objekte als durch das Sensorsystem erkennbare virtuelle Objekte bestimmt. Wenn die Sensorsimulation beispielsweise für die Simulation einer Verkehrsschilderkennung vorgesehen ist, können alle der virtuellen Testumgebung zufügbaren virtuellen Verkehrsschilder als durch das Sensorsystem erkennbare virtuelle Objekte bestimmt werden. In einem Simulationslauf in der virtuellen Testumgebung würden dann in einer beispielhaften Anwendung alle virtuellen Verkehrsschilder, die von dem Sensorsichtfeld erfasst sind, in eine vorläufige Liste erkannter virtueller Objekte aufgenommen werden, während alle übrigen von dem Sensorsichtfeld erfassten virtuellen Objekte, beispielsweise Personen, Bäume, Gebäude, Fahrzeuge und Ampeln, von dem simulierten Sensorsystem grundsätzlich nicht erkannt werden, d.h. grundsätzlich nicht in die vorläufige Liste erkannter virtueller Objekte aufgenommen werden.
-
In der vorliegenden Beschreibung der Erfindung ist demnach mit einer Simulation eines Sensorsystems bevorzugt eine Simulation anhand eines einfachen Sensorsystemmodells gemeint, das lediglich das Verhalten des Sensorsystems oberflächlich imitiert, aber allenfalls in geringem Umfang physikalische oder technische Abläufe eines physischen Sensorsystems simuliert und insbesondere keine Berechnung synthetischer Bilddaten, die beispielsweise die von einem echten bildgebenden Sensor erzeugten Bilddaten nachbilden, umfasst. Derartige einfache Sensorsystemmodelle sind auch als Ground-Truth-Sensoren bekannt. Ein Vorteil dieser ist der geringe Rechenaufwand, der zu ihrer Ausführung nötig ist. Dadurch eignen sich Ground-Truth-Sensoren besonders zur Anwendung auf virtuelle Tests, die in harter Echtzeit durchgeführt werden, beispielsweise auf Hardware-in-the-Loop-Verfahren.
-
Ein grundsätzliches Problem bei der Implementierung von Ground-Truth-Sensoren ist die Berücksichtigung einer perspektivischen Verdeckung von durch das Sensorsystem erkennbaren virtuellen Objekten. Wie vorhergehend beschrieben bewertet ein Ground-Truth-Sensor zunächst alle virtuellen Objekte als erkannt, die von dem Sensorsichtfeld erfasst und als durch das Sensorsystem erkennbare Objekte bestimmt sind. Um das Sensorsystem realistisch zu simulieren, muss aber nachträglich geprüft werden, ob ein als erkannt gewertetes virtuelles Objekt für den Sensor tatsächlich sichtbar ist oder ob das virtuelle Objekt aus Sicht des Sensors zumindest teilweise durch ein anderes virtuelles Objekt verdeckt ist. Wenn das der Fall ist und die perspektivische Verdeckung ein gewisses Maß überschreitet, muss das virtuelle Objekt aus der vorläufigen Liste erkannter virtueller Objekte entfernt werden.
-
Aus dem Fachgebiet der Computergraphik sind zahlreiche Verfahren zur Erkennung perspektivisch verdeckter Flächen bekannt. Eine Auswahl ist beispielsweise in der Präsentation „Visibility and Hidden Surface Removal“ von Torsten Möller offenbart (Teil der Vorlesung „CMPT 361: Introduction to Computer Graphics“ der Simon Fräser University, Kanada, abrufbar im Internet). Einige davon beinhalten auch die Projektion einer dreidimensionalen Szene auf eine Projektionsebene. Ziel dieser bekannten Verfahren ist aber die Berechnung eines realistischen Bildes, und ihr hoher Rechenaufwand macht sie für Echtzeitanwendungen problematisch, zumal nach der Berechnung eines Sensorbildes gemäß einem der bekannten Verfahren noch evaluiert werden müsste, ob eine ermittelte perspektivische Verdeckung noch eine Erkennung des verdeckten Objekts durch das simulierte Sensorsystem zulassen würde. Für Ground-Truth-Sensoren besteht Bedarf nach einer weniger rechenintensiven Methode zur Abschätzung einer perspektivischen Verdeckung, die insbesondere ohne Einsatz eines Grafikprozessors in Echtzeit durchführbar ist.
-
Die noch unveröffentlichte
europäische Patentanmeldung 18172050.9 „Verfahren zur schnellen Abschätzung einer perspektivischen Verdeckung in einer Simulation eines bildgebenden Sensors“ schlägt zu diesem Zweck vor, in einer virtuellen Umgebung zwei geometrische Ersatzkörper eines ersten und eines zweiten Objekts mit gegenüber dem ersten und zweiten Objekt vereinfachter Geometrie auf eine Projektionsebene zu projizieren und die Abbilder der Ersatzkörper auf Überschneidung zu überprüfen. Ein Objekt wird als perspektivisch verdeckt gewertet, wenn die Überschneidung in Bezug auf ein näher am Sensor liegenden Objekt ein vorgegebenes Maß überschreitet. Besonders vorteilhaft geschieht die Überprüfung auf Überschneidung durch eine Kollisionserkennung beider Abbilder, und zur Berücksichtigung einer Toleranz des Sensorsystems hinsichtlich einer perspektivischen Verdeckung wird zumindest einer der Ersatzkörper vor der Projektion kleiner skaliert.
-
Ein Nachteil der Offenbarung der 18172050.9 ist ihre Beschränkung auf dreidimensionale Ersatzkörper. Die gewünschte technische Wirkung eines Ersatzkörpers, ein optisches Abbild zu erzeugen, das einem gedachten Abbild eines Objekts in der virtuellen Umgebung zumindest ähnelt, ist auch mittels eines zweidimensionalen Ersatzkörpers erreichbar. Vor diesem Hintergrund ist es eine Aufgabe der Erfindung, den in der 18172050.9 offenbarten Stand der Technik zu ergänzen.
-
Die Lehre der 18172050.9 ist außerdem problematisch bei der Abschätzung einer perspektivischen Verdeckung durch das Terrain der virtuellen Testumgebung. Eine Kuppe in einer nachgebildeten hügeligen Landschaft ist im allgemeinen kein eindeutig begrenztes Objekt, was die Zuweisung eines dreidimensionalen Ersatzkörpers, beispielsweise einer Bounding Box, schwierig macht. Vor diesem Hintergrund ist es eine besondere Aufgabe der Erfindung, die Abschätzung einer perspektivischen Verdeckung durch eine Kuppe in einer virtuellen Umgebung zu vereinfachen.
-
Zur Lösung der Aufgabe wird ein nachfolgend beschriebenes Verfahren zur Simulation eines Sensorsystems vorgeschlagen. Das simulierte Sensorsystem umfasst dabei einen bildgebenden Sensor und eine Bildverarbeitungseinheit zur Erkennung von Objekten in dem von dem Sensor ausgegebenen Sensorbild. Die Simulation des Sensorsystems selbst ist bevorzugt ein Ground-Truth-Sensor und umfasst den bildgebenden Sensor und die Bildverarbeitungseinheit nur implizit.
-
Zur Anwendung des Verfahrens wird eine virtuelle Testumgebung eingesetzt, die eine Vielzahl virtueller Objekte umfasst und in der dem Sensor und jedem virtuellen Objekt jeweils Ortskoordinaten zugeordnet werden. Dem Sensor wird in der virtuellen Testumgebung ein Sensorsichtfeld zugeordnet, und eine Anzahl von Objekten aus der Vielzahl virtueller Objekte wird als durch das Sensorsystem erkennbare virtuelle Objekte bestimmt.
-
Auf der virtuellen Testumgebung wird ein Simulationslauf gestartet, in dessen Verlauf dem Sensor oder mindestens einem virtuellen Objekt zyklisch neue Ortskoordinaten in der virtuellen Testumgebung zugeordnet werden, und es wird zyklisch überprüft, ob zumindest ein virtuelles Objekt durch das Sensorsichtfeld erfasst ist.
-
Wenn zumindest ein erstes virtuelles Objekt und ein zweites virtuelles Objekt durch das Sensorsichtfeld erfasst sind und das zweite virtuelle Objekt durch das Sensorsystem erkennbar ist, wird auf die nachfolgend beschriebene Weise eine Abschätzung der perspektivischen Verdeckung des zweiten Objekts durch das erste Objekt durchgeführt. Dazu wird in der virtuellen Testumgebung zunächst eine Projektionsebene aufgespannt, deren räumliche Orientierung so gewählt ist, dass sie für eine Zentralprojektion des ersten Objekts und des zweiten Objekts geeignet ist, wenn die Ortskoordinaten des Sensors als Augpunkt der Zentralprojektion verwendet werden. Eine Zentralprojektion ist als Projektion mit vom Augpunkt ausgehendem fächerförmigem Strahlengang zu verstehen, die auf der Projektionsebene ein Bild der projizierten Punkte erzeugt, wie sie ein am Augpunkt stehender Beobachter, konkret der Sensor, wahrnehmen würde.
-
Auf die Projektionsebene wird eine zumindest teilweise Zentralprojektion eines mit dem ersten Objekt ortsgleichen ersten geometrischen Ersatzkörpers mit den Ortskoordinaten des Sensors als Augpunkt durchgeführt, wobei die Abmessungen des unskalierten ersten geometrischen Ersatzkörpers so gewählt sind, dass das erste Abbild aus perspektivischer Sicht des Sensors zumindest näherungsweise mit dem ersten virtuellen Objekt deckungsgleich ist. Unter einer teilweisen Zentralprojektion bzw. einer teilweise durchgeführten Zentralprojektion eines Objekts ist zu verstehen, dass nur eine unvollständige Auswahl von Punkten des Objekts in einer Zentralprojektion auf die Projektionsebene projiziert wird. In einigen Ausführungsformen wird aus den projizierten Punkten eine Menge auf der Projektionsebene gebildet, die näherungsweise mit einem aus einer vollständig durchgeführten Zentralprojektion des Objekts resultierenden Abbild übereinstimmt.
-
Auf zur Durchführung der Zentralprojektion des ersten geometrischen Körpers analoge Weise wird eine zumindest teilweise Zentralprojektion eines mit dem zweiten Objekt ortsgleichen zweiten geometrischen Ersatzkörpers auf die Projektionsebene mit den Ortskoordinaten des Sensors als Augpunkt durchgeführt, wobei die Abmessungen des unskalierten zweiten geometrischen Ersatzkörpers so gewählt sind, dass das zweite Abbild aus perspektivischer Sicht des Sensors zumindest näherungsweise mit dem zweiten virtuellen Objekt deckungsgleich ist.
-
Es ist unerheblich, ob der erste oder das zweite geometrische Ersatzkörper in der virtuellen Testumgebung nativ vorhanden sind oder zur Durchführung der Zentralprojektion nach Bedarf erzeugt werden.
-
Zumindest der erste geometrische Ersatzkörper ist erfindungsgemäß ein zweidimensionales Objekt ohne räumliche Ausdehnung entlang der optischen Achse der Zentralprojektion. Die räumliche Orientierung des ersten geometrischen Ersatzkörpers muss also so gewählt sein, dass die Schnittmenge der optischen Achse und der durch den ersten geometrischen Ersatzkörper aufgespannten Ebene punktförmig ist. Die Dimensionalität des zweiten geometrischen Ersatzkörpers ist nicht festgelegt. Er kann entweder, analog zum ersten geometrischen Ersatzkörper, als zweidimensionales Objekt ausgestaltet sein oder als dreidimensionales Objekt, dessen Abmessungen zumindest näherungsweise mit den Abmessungen des zweiten virtuellen Objekts übereinstimmen.
-
Als dreidimensionales Objekt ausgestaltet ist der zweite geometrische Ersatzkörper bevorzugt ein Hüllkörper oder ein skalierter Hüllkörper des zweiten virtuellen Objekts. Unter einem Hüllkörper eines Objekts ist ein das Objekt vollständig umfassender geometrischer Körper mit gegenüber dem umfassten Objekt vereinfachter Geometrie zu verstehen, insbesondere ein Polyeder mit wenigen Vertices oder ein auf einfache Weise analytisch beschreibbarer Körper, beispielsweise eine Kugel oder ein Zylinder.
-
Wie viele Vertices ein Hüllkörper höchstens umfassen sollte bzw. wie einfach dessen Geometrie sein sollte, ist vom Anwendungsfall abhängig und kaum allgemeingültig festlegbar. Sofern das Verfahren zur Ausführung in Echtzeit vorgesehen ist, sollte die Geometrie der geometrischen Körper grundsätzlich derart gewählt sein, dass ein vollständiger Durchlauf einer Softwareimplementierung des Verfahrens innerhalb einer durch den Anwendungsfall vorgegebenen Zeitspanne, insbesondere innerhalb eines Simulationszeitschritts, so sicher gewährleistet ist, dass innerhalb eines vollständigen Simulationslaufs keine Übertretung der vorgegebenen Zeitspanne durch die Softwareimplementierung zu erwarten ist. Welche Geometrien der geometrischen Körper bzw. welche Anzahl von Vertices vertretbar sind, ist insbesondere von der Implementierung des Verfahrens, der Komplexität der virtuellen Testumgebung und der Simulation und von der Hardwareausstattung des das Verfahren durchführenden Computersystems abhängig.
-
Die Projektion des ersten geometrischen Ersatzkörpers erzeugt ein erstes Abbild auf der Projektionsebene, die Projektion des zweiten geometrischen Ersatzkörpers erzeugt ein zweites Abbild auf der Projektionsebene. Nachfolgend wird geprüft, ob eine Schnittmenge des ersten Abbilds und des zweiten Abbilds existiert. In dem Fall, dass erstens eine Schnittmenge existiert, zweitens der euklidische Abstand zwischen Sensor und erstem Objekt geringer als der euklidische Abstand zwischen Sensor und zweitem Objekt ist und drittens die Größe der Schnittmenge in Relation zur Größe des zweiten Abbilds einen vordefinierten Schwellwert überschreitet, wird das zweite Objekt als geometrisch verdeckt gewertet, d.h. es wird davon ausgegangen, dass die Bildverarbeitungseinheit das zweite Objekt nicht erkennt, auch dann nicht, wenn das zweite Objekt aus Sicht des Sensors teilweise sichtbar ist, weil der Grad der perspektivischen Verdeckung für eine Erkennung des zweiten Objekts durch die Bildverarbeitungseinheit zu hoch ist. Eine Ermittlung der euklidischen Abstände erfolgt bevorzugt anhand der Ortskoordinaten des Sensors, des ersten Objekts und des zweiten Objekts.
-
In dem Fall, dass mindestens eine der vorgenannten Bedingungen nicht erfüllt ist, dass also entweder keine Schnittmenge existiert oder der euklidische Abstand zwischen Sensor und erstem Objekt größer oder gleich dem euklidischen Abstand zwischen Sensor und zweitem Objekt ist oder die Größe der Schnittmenge in Relation zur Größe des zweiten Abbilds den vordefinierten Schwellwert nicht überschreitet, wird das zweite Objekt als perspektivisch nicht verdeckt gewertet, d.h. es wird davon ausgegangen, dass die Bildverarbeitungseinheit das zweite Objekt erkennt, auch dann, wenn das zweite Objekt teilweise durch das erste Objekt perspektivisch verdeckt ist, weil der Grad der perspektivischen Verdeckung für eine Erkennung des zweiten Objekts durch die Bildverarbeitungseinheit hinreichend niedrig ist.
-
Die vorhergehend beschriebene Abschätzung einer perspektivischen Verdeckung kann bei Bedarf mehrfach auf jeweils unterschiedliche virtuelle Objekte durchgeführt werden, wenn neben dem ersten Objekt und dem zweiten Objekt weitere virtuelle Objekte durch das Sensorsichtfeld erfasst sind. Zur Auswertung durch den Prüfling oder durch das die virtuelle Testumgebung betreibende Computersystem wird ein Signal des Sensorsystems erzeugt, dem die Information entnehmbar ist, dass alle durch das Sensorsichtfeld erfassten und durch das Sensorsystem erkennbaren virtuellen Objekte, die als perspektivisch nicht verdeckt gewertet sind, von der Bildverarbeitungseinheit erkannt wurden und alle durch das Sensorsichtfeld erfassten und durch das Sensorsystem erkennbaren virtuellen Objekte, die als perspektivisch verdeckt gewertet sind, von der Bildverarbeitungseinheit nicht erkannt wurden.
-
In einem möglichen Anwendungsfall bildet das Signal ein mögliches Signal eines realen Sensorsystems nach, insbesondere eines in Serie produzierten oder prototypischen Sensorsystems. In einem anderen möglichen Anwendungsfall bildet das Signal kein mögliches Signal eines realen Sensorsystems nach und wird beispielsweise zur Ansteuerung eines Prüfstands verwendet, der eingerichtet ist, einem realen bildgebenden Sensor die Existenz von Objekten innerhalb seines Sensorsichtfelds vorzutäuschen.
-
Die Lehre der Erfindung unterscheidet sich von der Lehre der 18172050.9 im wesentlichen durch die Ausgestaltung des ersten geometrischen Ersatzkörpers als zweidimensionales Objekt. Diese Ausgestaltung kann, wie nachfolgend noch erläutert wird, insbesondere vorteilhaft sein, wenn das erste virtuelle Objekt eine virtuelle Kuppe ist. Für andere Ausgestaltungen des ersten virtuellen Objekts, beispielsweise als virtuelles Fahrzeug oder ein anderes eindeutig begrenzbares Objekt, beschreibt die Erfindung eine Alternative zur 18172050.9 mit ähnlicher technischer Wirkung. Die in der 18172050.9 beschriebenen vorteilhaften Ausgestaltungen sind naheliegend auf die vorliegend beschriebene Erfindung übertragbar.
-
Vorteilhaft ist der vordefinierte Schwellwert gleich null, und die Überprüfung der Existenz einer Schnittmenge geschieht anhand einer Kollisionserkennung für das erste Abbild und das zweite Abbild. Anhand einer Kollisionserkennung ist die Existenz einer Schnittmenge des ersten und des zweiten Abbilds besonders schnell überprüfbar, was die Echtzeittauglichkeit des Verfahrens weiter verbessert. Besonders vorteilhaft werden die Projektionen des ersten und des zweiten geometrischen Ersatzkörpers im allgemeinen nicht vollständig durchgeführt, sondern zur Bildung des ersten Abbilds nur eine Auswahl von Punkten des ersten geometrischen Ersatzkörpers auf die Projektionsebene projiziert und zur Bildung des zweiten Abbilds nur eine Auswahl von Punkten des zweien geometrischen Ersatzkörpers auf die Projektionsebene projiziert. Die ausgewählten Punkte sind dabei jeweils so gewählt, dass ihre Projektionen Teil der konvexen Hülle des ersten Abbilds bzw. des zweiten Abbilds sind. Die Kollisionserkennung wird dabei schon während des laufenden Projektionsvorgangs anhand der bereits projizierten Punkte durchgeführt und abgebrochen, sobald anhand der bereits projizierten Punkte eine Kollision des ersten Abbilds und des zweiten Abbilds erkannt oder ausgeschlossen wird.
-
Anhand einer Kollisionserkennung ist nur die bloße Existenz einer Schnittmenge nachweisbar, aber ihr Ergebnis beinhaltet keine Aussage über die Größe einer nachgewiesenen Schnittmenge. Ohne weitere Maßnahmen würde in der vorhergehend beschriebenen bevorzugten Ausführung also schon eine beliebig kleine perspektivische Verdeckung des zweiten virtuellen Objekts durch das erste virtuelle Objekt bewirken, dass das zweite virtuelle Objekt als perspektivisch verdeckt gewertet wird und von dem Sensorsystem nicht erkannt wird. In Bezug auf reale bildgebende Sensorsysteme ist das im allgemeinen kein realistisches Verhalten. Von einem realen Sensorsystem ist zu erwarten, das die Bildverarbeitungseinheit hinsichtlich einer perspektivischen Verdeckung eines Objekts eine gewisse Toleranz aufweist und das Objekt auch bei einer teilweisen perspektivischen Verdeckung erkennt, sofern die Verdeckung ein gewisses Maß nicht überschreitet.
-
Zur Nachbildung dieses Verhaltens ist es vorteilhaft, einen Toleranzwert für eine perspektivische Verdeckung eines für das Sensorsystem erkennbaren virtuellen Objekts festzulegen, aus dem Toleranzwert einen Skalierungsfaktor zu berechnen und den ersten geometrischen Ersatzkörper oder den zweiten geometrischen Ersatzkörper vor der Durchführung der Projektion um den Skalierungsfaktor kleiner zu skalieren.
-
Die 18172050.9 offenbart einen angepassten Gilbert-Johnson-Keerthi-Algorithmus zur Durchführung einer derartigen Projektion und Kollisionserkennung sowie einen Algorithmus zur Ermittlung von Skalierungsfaktoren für das ersten virtuelle Objekt und/oder das zweite virtuelle Objekt.
-
Wie vorhergehend bereits angemerkt, ist die Erfindung gegenüber der 18172050.9 insbesondere dann vorteilhaft, wenn das Terrain der virtuellen Testumgebung Kuppen umfasst und das erste virtuelle Objekt eine Kuppe ist - zum einen, weil es einfach ist, für eine Kuppe einen zweidimensionalen geometrischen Ersatzkörper zu definieren, dessen Abbild auf der Projektionsebenen in guter Näherung einem Abbild der Kuppe selbst entspricht, und zum anderen, weil es für ineinander übergehende Kuppen in einem hügeligen oder bergigen Terrain schwierig ist, klar abgegrenzte dreidimensionale geometrische Ersatzkörper zu definieren.
-
Wenn der Sensor an einem virtuellen Testvehikel befestigt ist, das sich in der virtuellen Umgebung bewegt, und für das virtuelle Vehikel zumindest ein Fahrweg vorgegeben ist, beispielsweise in Form einer Fahrbahn, auf der sich das virtuelle Vehikel im Normalfall bewegt, oder in Form einer Solltrajektorie, dann kann, wo der vorgegebene Fahrweg über eine Kuppe führt, der erste geometrische Ersatzkörper am Gipfelpunkt der Kuppe angeordnet und bezüglich seines Gierwinkel orthogonal zum Fahrweg ausgerichtet sein. Diese Ausführung ist insofern vorteilhaft, dass Gestalt und räumliche Orientierung der Ersatzkörper aller Kuppen unabhängig von den Ortskoordinaten des virtuellen Vehikels schon vor dem Start eines Testlaufs in der virtuellen Testumgebung festlegbar sind, also während eines Testlaufs auf eine dynamische Berechnung der Ersatzkörper von Kuppen verzichtet werden kann, was sich vorteilhaft auf den zu betreibenden Rechenaufwand während des Testlaufs und damit auf die Echtzeittauglichkeit des Verfahrens auswirkt. Weil durch den vorgegebenen Fahrweg von vornherein vorgegeben ist, aus welcher Richtung sich das virtuelle Vehikel einer Kuppe annähert, ist auch ohne dynamische Berechnung des Ersatzkörpers der Kuppe hinreichend sichergestellt, dass die räumliche Orientierung des Ersatzkörpers der jeweiligen Kuppe zur Erzeugung eines Abbilds, das in guter Näherung einem Abbild der Kuppe selbst entspricht, geeignet ist.
-
Alternativ kann die räumliche Orientierung des ersten geometrischen Ersatzkörpers auch im Laufe der Simulation dynamisch variiert werden, insbesondere dann, wenn das erste virtuelle Objekt keine Kuppe ist, sodass sich der Sensor dem ersten virtuellen Objekt aus einer Vielzahl unterschiedlicher Raumwinkel annähern kann. Die dynamische Variation kann insbesondere derart ausgestaltet sein, dass der erste geometrische Ersatzkörper bezüglich seines Gierwinkels orthogonal zur Verbindungslinie der Ortskoordinaten des Sensors und der Ortskoordinaten des ersten virtuellen Objekts ausgerichtet ist.
-
Der beanspruche Schutz der Erfindung bezieht sich außerdem auf ein Computerprogrammprodukt zur Einrichtung eines Computersystems zur Durchführung eines erfindungsgemäßen Verfahrens sowie auf ein zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtetes Compute rsyste m .
-
Die nachfolgend erläuterten Figuren illustrieren beispielhafte Ausführungsformen der Erfindung. Es zeigen
- 1 eine beispielhafte virtuelle Testumgebung;
- 2 ein zur Durchführung eines erfindungsgemäßen Verfahrens eingerichtetes Computersystem;
- 3 einen beispielhaften Projektionsvorgang eines ersten geometrischen Ersatzkörpers und eines zweiten geometrischen Ersatzkörpers; und
- 4 einige Beispiele zur Ausgestaltung des ersten geometrischen Ersatzkörpers.
-
Die Abbildung der 1 zeigt eine beispielhafte Ausgestaltung einer zur Durchführung des Verfahrens eingerichteten virtuellen Testumgebung VT. Die Testumgebung VT umfasst als virtuelles Testvehikel ein virtuelles Testfahrzeug VE und eine Vielzahl weiterer virtueller Objekte OB, beispielsweise Bäume, Straßenschilder und weitere Fahrzeuge. Jedem Objekt OB sind Ortskoordinaten zugeordnet, die die räumliche Position des jeweiligen Objekts OB innerhalb der virtuellen Testumgebung VT definieren. Im Rahmen einer auf einem Computersystem CS laufenden Simulation werden dem Testfahrzeug VE und einigen weiteren Objekten OB, beispielsweise den weiteren Fahrzeugen, zyklisch neue Ortskoordinaten zugeordnet, d.h. diese Objekte sind eingerichtet, sich innerhalb der virtuellen Testumgebung VT zu bewegen. Andere Objekte OB, beispielsweise Verkehrsschilder und Bäume, sind statisch, d.h. ihre Ortskoordinaten bleiben im Laufe der Simulation unverändert.
-
Die virtuelle Testumgebung umfasst eine Fahrbahn R, und die virtuelle Testumgebung VT umfasst ein Fahrermodell, das das virtuelle Testfahrzeug VE derart ansteuert, dass das virtuelle Testfahrzeug VE sich entlang der Fahrbahn R bewegt. Die Fahrbahn R gibt auf diese Weise dem Testfahrzeug VE einen Fahrweg vor. Das Terrain in der virtuellen Testumgebung VT ist bergig, und die Fahrbahn R führt über eine Vielzahl von Kuppen C.
-
Das virtuelle Testfahrzeug VE umfasst einen virtuellen bildgebenden Sensor S, der Teil einer Simulation eines Sensorsystems des Testfahrzeugs VE ist. Das Sensorsystem umfasst neben dem Sensor S auch eine Bildverarbeitungseinheit, die das vom Sensor S erfasste Bild auswertet, in dem Bild Objekte OB erkennt und eine Objektliste der erkannten Objekte OB erstellt. Das simulierte Sensorsystem ist als Ground-Truth-Sensor ausgestaltet, umfasst also den Sensor S, die Bildverarbeitungseinheit und mögliche weitere Bestandteile des Sensorsystems nur implizit.
-
Dem Testfahrzeug VE ist außerdem ein pyramidenförmiges Sensorsichtfeld FV zugeordnet. Das Sensorsystem kann nur Objekte OB erkennen, die sich innerhalb des Sensorsichtfelds FV befinden. Zur Verringerung des Rechenaufwands ist die Geometrie des Sensorsichtfelds FV gegenüber der Geometrie des Sichtfelds eines realen Sensors vereinfacht.
-
Jedem Objekt OB ist als geometrisches Ersatzobjekt ein quaderförmiger Hüllkörper B zugeordnet, im Fachgebiet der Computergraphik als Bounding Box bekannt. Die Verwendung einer Bounding Box ist insofern vorteilhaft, dass sie die Implementierung der Erfindung erleichtert, da Bounding Boxes in auf Computergraphik basierenden virtuellen Umgebungen normalerweise nativ vorhanden sind. Grundsätzlich ist aber auch die Anwendung geometrisch komplexerer Hüllkörper als Ersatzkörper möglich, die der tatsächlichen Geometrie der durch sie eingefüllten Objekte OB ähnlicher sind und dadurch ein plausibleres Abbild 12 auf einer Projektionsebene P erzeugen. Grundsätzlich vorteilhaft sollte ein als Ersatzkörper verwendeter Hüllkörper aber eine einfache Geometrie aufweisen, also durch wenige Vertices aufgespannt sein oder auf einfache Weise durch einen analytischen Ausdruck mathematisch beschreibbar sein.
-
Jeder Kuppe C ist als geometrischer Ersatzkörper eine Rechteckfläche PL zugeordnet. Jede Rechteckfläche PL ist am Gipfelpunkt der Fahrbahn B auf der jeweiligen Kuppe angeordnet und bezüglich seines Gierwinkels orthogonal zur Fahrbahn R, und damit zum Fahrweg des Testfahrzeugs VE, ausgerichtet. Die Breite jeder Rechteckfläche PL entspricht der Breite der Fahrbahn R, und die Höhe jeder Rechteckfläche PL entspricht der Höhe des Gipfelpunkts der Fahrbahn B auf der jeweiligen Kuppe C.
-
Der einer Kuppe C zugeordnete geometrische Ersatzkörper PL kann alternativ auch dynamisch definiert werden, wenn eine Kuppe C durch das Sensorsichtfeld FV erfasst wird oder wenn das Sensorsichtfeld FV sich einer Kuppe C annähert.
-
Die Abbildung der 2 illustriert eine beispielhafte Anwendung eines das Verfahren ausführenden Computersystems CS. Das Computersystem führt eine Simulation der virtuellen Testumgebung VT aus. Ein automotives elektronisches Steuergerät E ist kommunikativ mit dem Computersystem CS verbunden. Das Computersystem erzeugt auf Basis der Simulation der virtuellen Testumgebung VT ein Stimulussignal ST. Das Stimulussignal enthält beispielhaft eine Objektliste aller Objekte OB, die die Bildverarbeitungseinheit des Sensorsystems in der virtuellen Testumgebung VT im aktuellen Zeitschritt der Simulation erkannt hat. Das Steuergerät E ist eingerichtet, das Stimulussignal ST einzulesen und auszuwerten und auf Basis der Objektliste ein Steuersignal CO für ein Fahrzeug zu erzeugen. Das Steuergerät E kann beispielsweise ein sich in der Entwicklung befindliches Steuergerät für ein fortgeschrittenes Fahrassistenzsystem (ADAS, Advanced Driving Assistance System) sein. Das Computersystem CS ist eingerichtet, das Steuersignal CO einzulesen und in der Simulation der virtuellen Testumgebung CS zu berücksichtigen, konkret die Vorgaben des Steuersignals CO bei der Steuerung des virtuellen Testfahrzeug VE umzusetzen.
-
Aufbauten wie die in der Abbildung der 2 gezeigte sind in der Fachwelt als Hardware-in-the-Loop-Simulatoren, kurz HILs, bekannt, weil sich eine zu testende Hardware, hier das Steuergerät E, in einem geschlossenen Regelkreis mit einem Simulator, hier dem Computersystem CS, befindet. Die Hardware ist auf diese Weise gefahrlos und unter reproduzierbaren Bedingungen testbar. Um dem Steuergerät E einen Betrieb in einer realen Arbeitsumgebung vorzutäuschen, muss die Simulation auf dem Computersystem CS in harter Echtzeit ablaufen, d.h. alle innerhalb eines Zeitschritts der Simulation vorzunehmenden Berechnungen müssen innerhalb einer vorgegebenen Zeitspanne garantiert abgeschlossen sein. Effiziente Algorithmen, wie beispielsweise zur Abschätzung perspektivischer Verdeckungen zur realistischen Nachbildung eines Sensorsystems, sind deshalb von elementarer Bedeutung für die technische Durchführbarkeit simulatorgestützter Steuergerätetests.
-
Die Abbildung der 3 illustriert die Durchführung eines Projektionsvorgangs zur Abschätzung einer perspektivischen Verdeckung eines zweiten virtuellen Objekts aus Sicht des Sensors S. Ein erstes virtuelles Objekt und das zweite virtuelle Objekt befinden sich innerhalb des Sensorsichtfelds FV. Zwischen dem Sensor S und dem ersten und zweiten Objekt wird eine Projektionsebene P aufgespannt. Der erste geometrische Ersatzkörper PL, eine Rechteckfläche, wird anhand einer Zentralprojektion mit dem Sensor S als Augpunkt auf die Projektionsebene P projiziert, um ein erstes Abbild I1 zu erzeugen. Der zweite geometrische Ersatzkörper, ein Hüllkörper B, wird anhand einer Zentralprojektion mit dem Sensor S als Augpunkt auf die Projektionsebene P projiziert, um ein zweites Abbild I2 zu erzeugen. Wie in der Abbildung dargestellt wird vom ersten geometrischen Ersatzkörper PL und vom zweiten geometrischen Ersatzkörper B jeweils nur eine Auswahl von Vertices projiziert, deren Abbilder auf der Projektionsebene P Teile der konvexen Hülle des ersten Abbilds I1 bzw. des zweiten Abbilds I2 sind. Die 18172050.9 offenbart ein Verfahren zur Ermittlung einer derartigen Auswahl vor Durchführung der Projektion.
-
Zur Abschätzung einer perspektivischen Verdeckung des zweiten Objekts wird die Existenz einer Schnittmenge des ersten Abbilds I1 und des zweiten Abbilds I2 überprüft. Wenn, wie in der Abbildung dargestellt, keine Schnittmenge existiert, wird das zweite Objekt als perspektivisch nicht verdeckt gewertet, und das zweite Objekt verbleibt vorerst in der mit dem Stimulussignals ST ausgegebenen Objektliste der vom Sensorsystem erkannten Objekte. (Das zweite Objekt kann natürlich nachfolgend noch aus der Objektliste entfernt werden, wenn eine perspektivische Verdeckung durch ein anderes virtuelles Objekt als dem ersten Objekt ermittelt wird.) Wenn eine Schnittmenge existiert, wird das zweite Objekt aus der Objektliste entfernt, sofern weiterhin die Größe der Schnittmenge einen vordefinierten Schwellwert überschreitet und der euklidische Abstand zwischen dem Sensor S und dem ersten Objekt geringer ist als der euklidische Abstand zwischen dem Sensor S und dem zweiten Objekt. Ist zumindest eine der letztgenannten Zusatzbedingungen nicht erfüllt, verbleibt das zweite Objekt trotz der Existenz einer Schnittmenge in der Objektliste.
-
Die Abbildung der 4 zeigt Beispiele für mögliche Ausgestaltungen geometrischer Ersatzkörper P als zweidimensionale Objekte. Die Beispiele I und II zeigen Ersatzkörper PL für Kuppen C. In Beispiel I ist der Ersatzkörper PL wie vorhergehend beschrieben als Rechteckfläche ausgestaltet, Beispiel II zeigt eine komplexere Ausgestaltung als Sechseck, die auch den beidseitig des Fahrwegs R abfallenden Hang berücksichtigt. Die Ersatzkörper beider Beispiele I und II können eine vordefinierte räumliche Orientierung aufweisen, beispielsweise hinsichtlich ihres Gierwinkels orthogonal zum Fahrweg R, oder sie können im Laufe der Simulation dynamisch angeordnet werden, beispielsweise derart, dass sie bezüglich ihres Gierwinkels immer orthogonal zur Verbindungslinie zwischen dem Sensor S und den Ortskoordinaten der Kuppe C angeordnet sind.
-
Obwohl die Ausgestaltung als zweidimensionales Objekt insbesondere für Kuppen C vorteilhaft ist, können auch die geometrischen Ersatzkörper PL anderer virtueller Objekte zweidimensional ausgestaltet sein. Die Beispiele III bis V zeigen zweidimensionale Ersatzkörper PL, die anstelle der Hüllkörper B in der Abbildung der 1 verwendet werden können.
-
Beispiel III zeigt einen als Rechteckfläche ausgestalteten Ersatzkörper. Die räumliche Orientierung des Ersatzkörpers PL muss in Abhängigkeit der zum virtuellen Objekt OB relativen Position des Sensors S dynamisch variiert werden, um zu jedem Zeitpunkt eine hinreichende Deckungsgleichheit des Abbilds des Ersatzkörpers PL mit dem virtuellen Objekt OB aus perspektivischer Sicht des Sensors S sicherzustellen. Vorteilhaft werden zu dem gleichen Zweck auch Höhe und Breite des Ersatzkörpers PL dynamisch und in Abhängigkeit, der zum Objekt OB relativen Position des Sensors variiert.
-
Beispiel IV zeigt eine komplexere Ausgestaltung des Ersatzkörpers PL als Sechseck, um die geometrischen Formen des virtuellen Objekts OB besser zu berücksichtigen. Die räumlichen Positionen der Vertices des Rechtecks relativ zum virtuellen Objekt OB müssen in Abhängigkeit der zum virtuellen Objekt OB relativen Position des Sensors S dynamisch variiert werden, um zu jedem Zeitpunkt eine hinreichende Deckungsgleichheit des Abbilds des Ersatzkörpers PL mit dem virtuellen Objekt OB aus perspektivischer Sicht des Sensors S sicherzustellen.
-
Im Beispiel V sind dem virtuellen Objekt OB zwei als Rechteckflächen ausgestaltete, zueinander orthogonal angeordnete Ersatzköper PL zugeordnet, wobei für beide Ersatzkörper PL ein Abbild auf der Projektionsebene P gebildet wird und auf Basis beider Abbilder das erste Abbild I1 erstellt wird, beispielsweise als die Vereinigungsmenge beider Abbilder oder als die konvexe Hülle der Vereinigungsmenge. Die Ausgestaltung des Beispiels V ist insofern vorteilhaft, dass sie für jede seitliche Draufsicht auf das virtuelle Objekt OB ein annähernd mit dem virtuellen Objekt OB deckungsgleiches Abbild erzeugt, sodass auf eine dynamische Variation der Ersatzkörper PL unter Berücksichtigung der relativen Position des Sensors S verzichtet werden kann. Um weitere Blickwinkel auf die Oberseite und Unterseite des virtuellen Objekts zu berücksichtigen, kann dem virtuellen Objekt auch noch ein dritter Ersatzköper PL zugewiesen werden, der zu beiden dargestellten Ersatzköpern PL orthogonal angeordnet ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
