DE102019209725B4 - Method for adjusting means of a control device - Google Patents
Method for adjusting means of a control device Download PDFInfo
- Publication number
- DE102019209725B4 DE102019209725B4 DE102019209725.1A DE102019209725A DE102019209725B4 DE 102019209725 B4 DE102019209725 B4 DE 102019209725B4 DE 102019209725 A DE102019209725 A DE 102019209725A DE 102019209725 B4 DE102019209725 B4 DE 102019209725B4
- Authority
- DE
- Germany
- Prior art keywords
- road vehicle
- virtual
- virtual image
- environment
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Quality & Reliability (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
Verfahren zum Anpassen von Mitteln einer Steuereinrichtung (24) für ein Off-Road-Fahrzeug, wobei das Off-Road-Fahrzeug die Steuereinrichtung (24) aufweist, die Mittel aufweist, um automatisierte Funktionen (20) des Off-Road-Fahrzeugs ab Autonomie-Level 4 zu steuern, wobei in einer Simulationsumgebung (100)- ein virtuelles Abbild (1) des Off-Road-Fahrzeugs erzeugt wird,- eine virtuelle Umgebung (2) erzeugt wird, in welcher sich das virtuelle Abbild (1) des Off-Road-Fahrzeugs bewegt,- wenigstens ein virtuelles Objekt (5, 8) erzeugt wird, welches in der virtuellen Umgebung (2) angeordnet ist,- das virtuelle Abbild (1) des Off-Road-Fahrzeugs in der virtuellen Umgebung (2) wenigstens eine automatisierte Funktion (6) gemäß dem Vermögen des Off-Road-Fahrzeugs durchführt, wodurch Reaktionsdaten (23) des virtuellen Abbilds (1) des Off-Road-Fahrzeugs generiert werden, dadurch gekennzeichnet, dass die Reaktionsdaten (23) des virtuellen Abbilds (1) des Off-Road-Fahrzeugs aus der Simulationsumgebung (100) an ein externes System (30) ausgegeben werden, wobei die Reaktionsdaten (23) des virtuellen Abbilds (1) des Off-Road-Fahrzeugs mittels Soll-Reaktionsdaten des Off-Road-Fahrzeugs ausgewertet werden, und wobei die Mittel der Steuereinrichtung (24) des Off-Road-Fahrzeugs ausgehend von den ausgewerteten Reaktionsdaten angepasst werden, wobei das Anpassen der Mittel der Steuereinrichtung (24) dann erfolgt, wenn die ausgegebenen Reaktionsdaten (23) des virtuellen Abbilds (1) des Off-Road-Fahrzeugs im Vergleich zu den Soll-Reaktionsdaten des Off-Road-Fahrzeugs einer korrekten Reaktion entsprechen.Method for adapting means of a control device (24) for an off-road vehicle, wherein the off-road vehicle has the control device (24) which has means for enabling automated functions (20) of the off-road vehicle from autonomy -Level 4 to control, whereby in a simulation environment (100) - a virtual image (1) of the off-road vehicle is generated, - a virtual environment (2) is generated in which the virtual image (1) of the off-road vehicle is located -Road vehicle moves, - at least one virtual object (5, 8) is generated, which is arranged in the virtual environment (2), - the virtual image (1) of the off-road vehicle in the virtual environment (2) performs at least one automated function (6) according to the capabilities of the off-road vehicle, thereby generating reaction data (23) of the virtual image (1) of the off-road vehicle, characterized in that the reaction data (23) of the virtual image (1) of the off-road vehicle from the simulation environment (100) are output to an external system (30), the reaction data (23) of the virtual image (1) of the off-road vehicle using target reaction data of the off-road vehicle Road vehicle are evaluated, and wherein the means of the control device (24) of the off-road vehicle are adjusted based on the evaluated reaction data, the means of the control device (24) being adjusted when the output reaction data (23) of the virtual image (1) of the off-road vehicle corresponds to a correct reaction compared to the target reaction data of the off-road vehicle.
Description
Die vorliegende Erfindung betrifft ein Verfahren zum Anpassen von Mitteln einer Steuereinrichtung für ein Off-Road-Fahrzeug mit den Merkmalen nach Anspruch 1, ein Computerprogrammprodukt mit den Merkmalen nach Anspruch 6, eine Vorrichtung zur Datenverarbeitung mit den Merkmalen nach Anspruch 7 und ein computerlesbares Medium mit den Merkmalen nach Anspruch 8.The present invention relates to a method for adapting means of a control device for an off-road vehicle with the features according to
Zum Testen autonom fahrender Straßenfahrzeuge werden virtuelle Umgebungen simuliert, in welchen die Steuersoftware für diese Straßenfahrzeuge erprobt werden kann. Diese Simulationsumgebungen sind allerdings nur für Fahrten auf Straßen oder in straßenähnlichen Umgebungen geeignet. Im Bereich der Off-Road-Fahrzeuge, beispielsweise bei landwirtschaftlichen Fahrzeugen oder Baumaschinen, gibt es keine derartigen Simulationsumgebungen. In diesem Bereich ändern sich die Umgebungsverhältnisse häufig, der Untergrund weist keine definierte Ebenheit auf, es sind keine Verkehrszeichen vorhanden, die Bewegungen des jeweiligen Fahrzeugs regeln, etc.To test autonomously driving road vehicles, virtual environments are simulated in which the control software for these road vehicles can be tested. However, these simulation environments are only suitable for driving on roads or in road-like environments. In the area of off-road vehicles, for example agricultural vehicles or construction machinery, there are no such simulation environments. In this area, the environmental conditions change frequently, the ground does not have a defined flatness, there are no traffic signs that regulate the movements of the respective vehicle, etc.
Zum Simulieren derartiger Umgebungen für Off-Road-Fahrzeuge gibt es im Bereich der Computerspiele bereits die Möglichkeit, ein z. B. landwirtschaftliches Szenario zu modellieren. In solchen Spielen übernimmt der Spieler die Rolle eines Landwirts und kann u.a. Kulturen, Felder, Landschaften, Fahrzeuge, Menschen, Tiere und Objekte selbst modellieren. Diese Spiele sind allerdings nicht als Testumgebung für autonome Off-Road-Fahrzeuge nutzbar.To simulate such environments for off-road vehicles, there is already the possibility in the field of computer games, for example. B. to model an agricultural scenario. In such games, the player takes on the role of a farmer and can, among other things, model cultures, fields, landscapes, vehicles, people, animals and objects themselves. However, these games cannot be used as a test environment for autonomous off-road vehicles.
Aus
Aus
Der vorliegenden Erfindung liegt ausgehend vom Stand der Technik die Aufgabe zu Grunde, eine verbesserte Methode zum Anpassen von Mitteln einer Steuereinrichtung für ein Off-Road-Fahrzeug vorzuschlagen.Based on the prior art, the present invention is based on the object of proposing an improved method for adapting means of a control device for an off-road vehicle.
Die vorliegende Erfindung schlägt ausgehend von der vorgenannten Aufgabe ein Verfahren zum Anpassen von Mitteln einer Steuereinrichtung für ein Off-Road-Fahrzeug nach Anspruch 1, ein Computerprogrammprodukt nach Anspruch 6, ein Vorrichtung zur Datenverarbeitung nach Anspruch 7 und ein computerlesbares Medium nach Anspruch 8 vor. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen gehen aus den Unteransprüchen hervor.Based on the aforementioned object, the present invention proposes a method for adapting means of a control device for an off-road vehicle according to
Bei einem Verfahren zum Anpassen von Mitteln einer Steuereinrichtung für ein Off-Road-Fahrzeug weist das Off-Road-Fahrzeug die Steuereinrichtung auf, die wiederum Mittel aufweist, um automatisierte Funktionen des Off-Road-Fahrzeugs ab Autonomie-Level 4 zu steuern. Dabei wird in einer Simulationsumgebung ein virtuelles Abbild des Off-Road-Fahrzeugs erzeugt. Eine virtuelle Umgebung wird erzeugt, in welcher sich das virtuelle Abbild des Off-Road-Fahrzeugs bewegt. Wenigstens ein virtuelles Objekt wird erzeugt, welches in der virtuellen Umgebung angeordnet ist. Das virtuelles Abbild des Off-Road-Fahrzeugs führt in der virtuellen Umgebung wenigstens eine automatisierte Funktion gemäß dem Vermögen des Off-Road-Fahrzeugs durch. Dadurch werden Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs generiert. Die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs werden aus der Simulationsumgebung an ein externes System ausgegeben. Die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs werden mittels Soll-Reaktionsdaten des Off-Road-Fahrzeugs ausgewertet. Die Mittel der Steuereinrichtung des Off-Road-Fahrzeugs werden ausgehend von den ausgewerteten Reaktionsdaten angepasst.In a method for adapting means of a control device for an off-road vehicle, the off-road vehicle has the control device, which in turn has means for controlling automated functions of the off-road vehicle from
Das Off-Road-Fahrzeug ist hierbei ein Landfahrzeug. Beispielsweise ist das Fahrzeug ein NKW, eine Landmaschine, eine Baumaschine o. ä. Das Off-Road-Fahrzeug ist dabei derart ausgeformt, dass es automatisierte Funktionen durchführen kann. Beispielsweise kann das Fahrzeug automatisierte Funktionen ab SAE J3016 Autonomiestufe Level 4 ausführen. Beispielsweise können automatisierte Funktionen des Fahrzeugs das autonome oder teilautonome Fahren sein. Zudem können automatisierte Funktionen automatisierte Arbeitsverfahren sein, beispielsweise: ein Ausbringen von Saatgut, Streugut, Schüttgut, Düngemittel, Herbiziden, Pestiziden, Fungiziden oder dergleichen; ein Ernten, Beschneiden oder Roden von Pflanzen o. ä.; ein Wenden, Lockern oder Abtragen von Erdreich; ein Befördern von Gütern.The off-road vehicle is a land vehicle. For example, the vehicle is a commercial vehicle, an agricultural machine, a construction machine or similar. The off-road vehicle is designed in such a way that it can carry out automated functions. For example, the vehicle can perform automated functions from SAE J3016
Das Off-Road-Fahrzeug weist die Steuereinrichtung auf. Diese weist Mittel auf, um die automatisierten Funktionen des Fahrzeugs zu steuern. Beispielsweise können diese Mittel dazu dienen, eine Funktions- und Trajektorien-Planung für das Fahrzeug durchzuführen. In anderen Worten sind die Mittel z. B. als integrierte Schaltungen ausgeformt, auf welchen ein Computerprogrammprodukt bzw. eine Software ablaufen kann. Das Anpassen der Mittel erfolgt, indem das Computerprogrammprodukt bzw. die Software angepasst wird. Die Steuereinrichtung weist wenigstens eine Schnittstelle auf, über welche sie mit einer Aktuatorik eines Antriebssystems des Off-Road-Fahrzeug verbunden werden kann, so dass ein Daten- und Signalaustausch erfolgen kann. In anderen Worten kann die Steuereinrichtung die Aktuatorik des Antriebssystems des Off-Road-Fahrzeugs ansteuern. Das Antriebssystem weist z. B. einen Motor, ein Getriebe, ein Lenksystem, ein Bremssystem o. ä. auf. Dadurch können beispielsweise eine Geschwindigkeit, eine Beschleunigung und eine Verzögerung des Off-Road-Fahrzeugs angepasst werden. Weiterhin können dadurch die Lenkwinkel an den Rädern des Off-Road-Fahrzeugs angepasst werden. Es wird also beispielsweise eine Lenkung, eine Bremskraft und eine Energiebereitstellung ausgehend von den Anforderungen durch die Steuereinrichtung beeinflusst. Die Steuereinrichtung erzeugt also mittels ihrer Mittel Steuersignale, um die Aktuatorik des Off-Road-Fahrzeug anzusteuern, so dass eine Funktion des Off-Road-Fahrzeugs automatisiert durchgeführt werden kann. Ausgehend von z. B. der Trajektorien-Planung generiert die Steuereinrichtung Steuersignale für die Aktuatorik des Antriebssystems des Off-Road-Fahrzeugs an, so dass das Fahrzeug sich gemäß seiner Trajektorie bewegt. Es wird beispielsweise eine Lenkung, eine Bremskraft und eine Energiebereitstellung beeinflusst. Beispielsweise kann die Steuereinrichtung Steuersignale für einen Lenkaktuator des Lenksystems des Off-Road-Fahrzeugs z. B. ausgehend von der Trajektorien-Planung generieren.The off-road vehicle has the control device. This has means to control the automated functions of the vehicle. For example, these means can be used to: Carry out functional and trajectory planning for the vehicle. In other words, the means are e.g. B. formed as integrated circuits on which a computer program product or software can run. The means are adjusted by adapting the computer program product or software. The control device has at least one interface via which it can be connected to an actuator of a drive system of the off-road vehicle, so that data and signals can be exchanged. In other words, the control device can control the actuator system of the drive system of the off-road vehicle. The drive system has e.g. B. an engine, a transmission, a steering system, a braking system or similar. This allows, for example, the speed, acceleration and deceleration of the off-road vehicle to be adjusted. Furthermore, the steering angles on the wheels of the off-road vehicle can be adjusted. For example, steering, braking force and energy provision are influenced by the control device based on the requirements. The control device therefore uses its means to generate control signals in order to control the actuator system of the off-road vehicle, so that a function of the off-road vehicle can be carried out automatically. Starting from e.g. B. trajectory planning, the control device generates control signals for the actuator system of the drive system of the off-road vehicle, so that the vehicle moves according to its trajectory. For example, steering, braking force and energy supply are influenced. For example, the control device can send control signals for a steering actuator of the steering system of the off-road vehicle, for example. B. generate based on trajectory planning.
Die Steuereinrichtung weist zudem wenigstens eine Schnittstelle auf, über welche sie mit wenigstens einem Umfeldsensor des Off-Road-Fahrzeugs verbunden werden kann, so dass ein Daten- und Signalaustausch erfolgen kann. Der Umfeldsensor kann beispielsweise als eine Kamera, ein Radar-Sensor, ein Lidar-Sensor, ein Ultraschall-Sensor, oder als ein anderer geeigneter Umfeldsensor ausgeformt sein. Bei mehreren Umfeldsensoren kann eine Kombination aus mehreren Umfeldsensoren, die sich jeweils durch eine andere Sensortechnik auszeichnen, eingesetzt werden. Beispielsweise kann die Auswertung der Umfelddaten, die von dem wenigstens einen Umfeldsensor bezüglich der direkten Umgebung des Off-Road-Fahrzeugs generiert werden, mittels der Mittel der Steuereinrichtung erfolgen. Diese können sich dazu beispielsweise eines Computerprogrammprodukts bedienen. Das Computerprogrammprodukt kann beispielsweise eine künstliche Intelligenz umfassen, die ein trainiertes künstliches neuronales Netz aufweist. Die Umfelddaten sind nötig, um die automatisierten Funktionen des Off-Road-Fahrzeugs planen und ausführen zu können.The control device also has at least one interface via which it can be connected to at least one environmental sensor of the off-road vehicle, so that data and signals can be exchanged. The surroundings sensor can be designed, for example, as a camera, a radar sensor, a lidar sensor, an ultrasonic sensor, or as another suitable surroundings sensor. If there are several environmental sensors, a combination of several environmental sensors, each characterized by a different sensor technology, can be used. For example, the evaluation of the surroundings data generated by the at least one surroundings sensor with regard to the immediate surroundings of the off-road vehicle can be carried out using the means of the control device. For example, they can use a computer program product. The computer program product can, for example, include an artificial intelligence that has a trained artificial neural network. The environmental data is necessary in order to be able to plan and execute the automated functions of the off-road vehicle.
Zusätzlich kann das Fahrzeug ein Positionsbestimmungssystem aufweisen, mittels welchem globale Positionsdaten des Off-Road-Fahrzeugs bestimmt werden können, z. B. GPS-Koordinaten. Diese können ebenfalls zur Planung und Ausführung der automatisierten Funktionen nötig sein. Das Positionsbestimmungssystem kann mit der Steuereinrichtung verbunden sein.In addition, the vehicle can have a position determination system by means of which global position data of the off-road vehicle can be determined, e.g. B. GPS coordinates. These may also be necessary for planning and executing the automated functions. The position determination system can be connected to the control device.
In einer Simulationsumgebung wird ein virtuelles Abbild des Off-Road-Fahrzeugs erzeugt. Die Simulationsumgebung stellt dabei ein Computerprogrammprodukt dar, welche die Physik der realen Welt exakt nachbildet, wenn es auf einem Computer ausgeführt wird. Es gelten dieselben physikalischen Gesetzmäßigkeiten, die auf der Erde gelten. Das heißt, dass Objekte, die in der Simulationsumgebung miteinander interagieren in der realen Welt auf die gleiche Art und Weise interagieren würden. Beispielsweise wirkt auf die Objekte in der Simulationsumgebung eine virtuelle Gravitationskraft ein, die der realen Gravitationskraft auf der Erde entspricht.A virtual image of the off-road vehicle is created in a simulation environment. The simulation environment represents a computer program product that exactly replicates the physics of the real world when executed on a computer. The same physical laws apply that apply on Earth. This means that objects that interact with each other in the simulation environment would interact in the same way in the real world. For example, the objects in the simulation environment are affected by a virtual gravitational force that corresponds to the real gravitational force on Earth.
Das virtuelle Abbild des Off-Road-Fahrzeugs stellt eine detailgetreue Simulation des Off-Road-Fahrzeuges dar. Es werden sowohl die Abmessungen als auch sämtliche notwendigen technischen Details simuliert. Das virtuelle Abbild verfügt somit über wenigstens einen virtuellen Umfeld-Sensor, über eine virtuelle Aktuatorik eines virtuellen Antriebssystems, über ein virtuelles Positionsbestimmungssystem, und ggf. über weitere virtuelle Sensorik oder Fahrzeugbestandteile. Diese interagieren miteinander wie im realen Off-Road-Fahrzeug. Das virtuelle Abbild des Off-Road-Fahrzeugs ist somit in der Lage sämtliche Funktionen durchzuführen, die das reale Off-Road-Fahrzeug durchführen kann. Zusätzlich kann das virtuelle Abbild eine virtuelle Steuereinrichtung aufweisen, die der realen Steuereinrichtung des Off-Road-Fahrzeugs entspricht. Dadurch können Steuerbefehle oder Algorithmen, die auf der realen Steuereinrichtung ablaufen sollen, rein virtuell getestet werden. Dies wird auch als Software in the Loop bezeichnet. Alternativ dazu kann die reale Steuereinrichtung mit dem Computer, auf welchem die Simulationsumgebung läuft, verbunden werden, so dass die Reaktionen, z. B. in Form von Steuerbefehlen, der realen Steuereinrichtung auf die Simulationsumgebung getestet werden können. Das wird auch als Hardware in the Loop bezeichnet.The virtual image of the off-road vehicle represents a detailed simulation of the off-road vehicle. Both the dimensions and all necessary technical details are simulated. The virtual image thus has at least one virtual environment sensor, a virtual actuator system of a virtual drive system, a virtual positioning system, and possibly other virtual sensors or vehicle components. These interact with each other like in a real off-road vehicle. The virtual image of the off-road vehicle is therefore able to perform all functions that the real off-road vehicle can perform. In addition, the virtual image can have a virtual control device that corresponds to the real control device of the off-road vehicle. This means that control commands or algorithms that are supposed to run on the real control device can be tested purely virtually. This is also known as software in the loop. Alternatively, the real control device can be connected to the computer on which the simulation environment runs, so that the reactions, e.g. B. in the form of control commands, the real control device can be tested in the simulation environment. This is also known as hardware in the loop.
Zudem wird in der Simulationsumgebung eine virtuelle Umgebung erzeugt, in welcher sich das virtuelle Abbild des Off-Road-Fahrzeugs bewegt. Es wird wenigstens ein virtuelles Objekt erzeugt, welches in der virtuellen Umgebung angeordnet ist. Dieses Objekt kann als ein stationäres oder ein bewegliches Objekt ausgebildet sein. Ein stationäres Objekt ist ein Objekt, das seinen Standort nicht verändert oder verändern kann, beispielsweise ein Baum, ein Gebäude, ein Zaun, o. ä. Ein bewegliches Objekt ist ein Objekt, dass seinen Standort ändern kann, beispielsweise ein Fahrzeug, eine Person, ein Tier o. ä. Das virtuelle Objekt wird in der virtuellen Umgebung angeordnet und bildet somit beispielweise ein Hindernis für das virtuelle Off-Road-Fahrzeug oder ein Interaktions-Objekt für das virtuelle Off-Road-Fahrzeug aus.In addition, a virtual environment is created in the simulation environment in which the virtual image of the off-road vehicle moves. At least one virtual object is created, which is arranged in the virtual environment. The This object can be designed as a stationary or a moving object. A stationary object is an object that does not or cannot change its location, for example a tree, a building, a fence, etc. A moving object is an object that can change its location, for example a vehicle, a person, an animal or similar. The virtual object is arranged in the virtual environment and thus forms, for example, an obstacle for the virtual off-road vehicle or an interaction object for the virtual off-road vehicle.
Die virtuelle Umgebung stellt eine für das Off-Road-Fahrzeug typische Umgebung dar, beispielsweise bei einem landwirtschaftlichen Fahrzeug eine zu bearbeitende Agrarfläche oder bei einer Baumaschine eine zu bearbeitende Baustelle. Die Agrarfläche weist z. B. einen Bewuchs mit Nutzpflanzen auf, wobei die Nutzpflanzen virtuelle Objekte sind. Zusätzlich kann diese einen Bewuchs mit Unkraut, einen Schädlingsbefall o. ä. aufweisen, welche wiederum virtuelle Objekte darstellen.The virtual environment represents an environment typical of the off-road vehicle, for example, in the case of an agricultural vehicle, an agricultural area to be worked on or, in the case of a construction machine, a construction site to be worked on. The agricultural area has e.g. B. a growth of crops, the crops being virtual objects. In addition, it can have weed growth, pest infestation, etc., which in turn represent virtual objects.
Außerdem kann in der virtuellen Umgebung eine Witterung simuliert werden, beispielsweise Dürre, Regen, Hagel, Schnee, Starkwind etc. Ausgehend von der simulierten Witterung kann eine von dem Off-Road-Fahrzeug zu befahrende Oberfläche beeinflusst werden. Beispielsweise kann ein aufgeweichter oder ausgetrockneter Erdboden simuliert werden. Außerdem weist die virtuelle Umgebung Boden-Unebenheiten, Steigungen im Gelände, Spurrillen, unbefahrbare Bereiche, wie beispielsweise Gewässer o. ä. auf. Die virtuelle Umgebung kann beispielsweise an real existierenden Umgebungsdaten orientiert sein, z. B. an topografischen Daten einer gewissen Agrarfläche oder Baustelle.In addition, weather conditions can be simulated in the virtual environment, for example drought, rain, hail, snow, strong wind, etc. Based on the simulated weather conditions, a surface to be driven on by the off-road vehicle can be influenced. For example, a softened or dried out soil can be simulated. In addition, the virtual environment has uneven ground, slopes in the terrain, ruts, impassable areas such as bodies of water, etc. The virtual environment can, for example, be based on real existing environmental data, e.g. B. on topographical data of a certain agricultural area or construction site.
Die Simulationsumgebung kann beispielsweise teilweise durch ein bereits verfügbares Computerspiel zur Verfügung gestellt werden, beispielsweise durch eine Landwirtschaftssimulation. Vorteilhaft an der Verwendung eines Computerspiels ist, dass dieses die nötige Physik bereits abbildet und eine Vielzahl an virtuellen Umgebungen aufweisen kann.The simulation environment can, for example, be partially provided by an already available computer game, for example a farming simulation. The advantage of using a computer game is that it already reflects the necessary physics and can have a variety of virtual environments.
Das virtuelles Abbild des Off-Road-Fahrzeugs führt in der virtuellen Umgebung wenigstens eine automatisierte Funktion gemäß dem Vermögen des Off-Road-Fahrzeugs durch. Dadurch werden Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs generiert. Das Vermögen des Off-Road-Fahrzeugs bezeichnet hierbei diejenigen Möglichkeiten, die das reale Off-Road-Fahrzeug aufweist, um seine Funktionen automatisiert durchzuführen. In anderen Worten beschreibt das Vermögen des Off-Road-Fahrzeugs, was dieses Off-Road-Fahrzeug umzusetzen im Stande ist.The virtual image of the off-road vehicle performs at least one automated function in the virtual environment according to the capabilities of the off-road vehicle. This generates reaction data from the virtual image of the off-road vehicle. The ability of the off-road vehicle refers to the possibilities that the real off-road vehicle has to carry out its functions automatically. In other words, the capability of the off-road vehicle describes what this off-road vehicle is capable of doing.
Beispielsweise bewegt sich das virtuelle Off-Road-Fahrzeug autonom in seiner virtuellen Umgebung entlang einer Trajektorie, welche von der Steuereinrichtung geplant wurde. Diese Trajektorie kann beispielsweise derart geplant sein, dass das virtuelle Off-Road-Fahrzeug eine unebene Agrarfläche, die eine gewisse Steigung aufweist, mäanderförmig abfährt, um z. B. Saatgut autonom auszubringen. Zusätzlich werden stationäre Objekte simuliert, die das virtuelle Off-Road-Fahrzeug bei seiner Trajektorien-Planung beeinflussen, beispielsweise ein Zaun um die Agrarfläche, welcher nicht durchfahren werden kann. Weiterhin werden bewegliche Objekte simuliert, die das virtuelle Off-Road-Fahrzeug bei der Ausführung seiner automatisierten Funktion, z. B. beim autonomen Fahren, beeinflussen. Beispielsweise können Tiere den abzufahrenden Weg des virtuellen Off-Road-Fahrzeugs kreuzen. Dabei soll eine Kollision mit den beweglichen Objekten verhindert werden. Das virtuelle Abbild des Off-Road-Fahrzeugs erkennt z. B. mittels seiner Umfeldsensoren die beweglichen Objekte und reagiert auf diese derart, dass eine Kollision vermieden wird. Beispielsweise kann ausgehend von den Daten der Umfeldsensoren das bewegliche Objekt als „Tier“ klassifiziert werden. Zusätzlich muss das virtuelle Off-Road-Fahrzeug zum Stillstand gebracht werden, um die Kollision zu vermeiden. Zu diesem Zweck muss z. B. das Bremssystem des Off-Road-Fahrzeugs angesteuert werden, so dass die Bremsen des Off-Road-Fahrzeugs betätigt werden.For example, the virtual off-road vehicle moves autonomously in its virtual environment along a trajectory that was planned by the control device. This trajectory can, for example, be planned in such a way that the virtual off-road vehicle travels in a meandering manner over an uneven agricultural area that has a certain gradient, for example. B. to spread seeds autonomously. In addition, stationary objects are simulated that influence the virtual off-road vehicle in its trajectory planning, for example a fence around the agricultural area that cannot be driven through. Furthermore, moving objects are simulated that the virtual off-road vehicle carries out when executing its automated function, e.g. B. in autonomous driving. For example, animals can cross the path of the virtual off-road vehicle. The aim is to prevent a collision with moving objects. The virtual image of the off-road vehicle recognizes e.g. B. detects moving objects using its environmental sensors and reacts to them in such a way that a collision is avoided. For example, based on the data from the surrounding sensors, the moving object can be classified as an “animal”. In addition, the virtual off-road vehicle must be brought to a standstill to avoid the collision. For this purpose, e.g. B. the braking system of the off-road vehicle can be controlled so that the brakes of the off-road vehicle are actuated.
Aus diesen nötigen Reaktionen werden somit die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs zusammengestellt. Die Reaktionsdaten umfassen daher diejenigen Daten, die von der Umfeldsensorik und von der Steuereinrichtung des virtuellen Abbilds des Off-Road-Fahrzeugs als Reaktion des virtuellen Off-Road-Fahrzeugs auf seine virtuelle Umgebung und auf die virtuellen Objekte in dieser Umgebung erzeugt werden. Reaktionsdaten können beispielsweise Klassifizierungen von virtuellen Objekten sein, beispielsweise das Einordnen dieser virtuellen Objekte in Kategorien wie „Person“, „Tier“, „Fahrzeug“, „Gebäude“, „Bordstein“, „(Nutz-) Pflanze“, „Begrenzung“ etc. Bei der Klassifizierung ist zu beachten, dass sich das virtuelle Off-Road-Fahrzeug auf einem unebenen Untergrund bewegt, wodurch die Erfassung der virtuellen Umgebung des virtuellen Off-Road-Fahrzeugs aufgrund von Nick-, Wank- und Gierbewegungen erschwert wird. Weiterhin können Reaktionsdaten Tiefeninformationen des wenigstens einen Umfeldsensors des virtuellen Off-Road-Fahrzeugs sein, beispielsweise bei virtuellen Lidar- oder Radarsensoren. Weiterhin können Reaktionsdaten semantisch segmentiert sein. Weiterhin können Reaktionsdaten Steuerbefehle der Steuereinrichtung sein.The reaction data of the virtual image of the off-road vehicle is compiled from these necessary reactions. The reaction data therefore includes those data that are generated by the surrounding sensor system and by the control device of the virtual image of the off-road vehicle as a reaction of the virtual off-road vehicle to its virtual environment and to the virtual objects in this environment. Reaction data can be, for example, classifications of virtual objects, for example the classification of these virtual objects into categories such as “person”, “animal”, “vehicle”, “building”, “curb”, “(crop)”, “boundary”, etc , When classifying, it should be noted that the virtual off-road vehicle moves on an uneven surface, which makes it difficult to capture the virtual environment of the virtual off-road vehicle due to pitching, rolling and yaw movements. Furthermore, reaction data can be depth information from the at least one environment sensor of the virtual off-road vehicle, for example in the case of virtual lidar or radar sensors. Furthermore, reaction data can be semantically segmented. Furthermore, reaction data can be control commands from the control device.
Die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs werden aus der Simulationsumgebung an ein externes System ausgegeben. Das externe System kann beispielsweise eine Speichereinrichtung eines Computers sein. Dort kann eine Person diese Reaktionsdaten abrufen. Beispielsweise können die Reaktionsdaten anschließend an einem Display angezeigt werden, so dass die Person diese Reaktionsdaten ablesen und auswerten kann.The reaction data of the virtual image of the off-road vehicle is output from the simulation environment to an external system. The external system can be, for example, a storage device of a computer. A person can access this reaction data there. For example, the reaction data can then be displayed on a display so that the person can read and evaluate this reaction data.
Die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs werden anschließend mittels Soll-Reaktionsdaten des Off-Road-Fahrzeugs ausgewertet. Soll-Reaktionsdaten sind dabei diejenigen Reaktionsdaten, die von dem realen Off-Road-Fahrzeug zu erwarten gewesen wären, wenn dieses in seiner realen Umgebung auf ein reales Objekt reagiert. Beispielsweise sind die Soll-Reaktionsdaten für das o. g. Beispiel ein rechtzeitiges Stoppen des Off-Road-Fahrzeugs, um die Kollision mit dem Tier, das den Fahrweg des Off-Road-Fahrzeugs laut seiner Trajektorie kreuzt, zu vermeiden. Zudem sind die Soll-Reaktionsdaten, dass das Objekt richtig als „Tier“ klassifiziert wird und nicht als z. B. unbewegliches Objekt.The reaction data of the virtual image of the off-road vehicle is then evaluated using target reaction data of the off-road vehicle. Target reaction data are the reaction data that would have been expected from the real off-road vehicle if it reacted to a real object in its real environment. For example, the target reaction data for the above is Example, stopping the off-road vehicle in time to avoid a collision with the animal that crosses the path of the off-road vehicle according to its trajectory. In addition, the target reaction data is that the object is correctly classified as an “animal” and not as e.g. B. immovable object.
Die Soll-Reaktionsdaten werden daher mit den Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs verglichen. Liegen die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs innerhalb eines akzeptablen Toleranzbereichs um die Soll-Reaktionsdaten, können die Mittel der Steuereinrichtung des Off-Road-Fahrzeugs angepasst werden. In diesem Fall ist die Reaktion des virtuellen Off-Road-Fahrzeugs korrekt. Der Testlauf in der Simulationsumgebung wurde demnach erfolgreich abgeschlossen. Dadurch können die Mittel der realen Steuereinrichtung des realen Off-Road-Fahrzeugs verbessert werden.The target reaction data is therefore compared with the reaction data of the virtual image of the off-road vehicle. If the reaction data of the virtual image of the off-road vehicle is within an acceptable tolerance range around the target reaction data, the means of the control device of the off-road vehicle can be adjusted. In this case, the response of the virtual off-road vehicle is correct. The test run in the simulation environment was therefore successfully completed. This allows the means of the real control device of the real off-road vehicle to be improved.
Liegen die Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs jedoch nicht innerhalb eines akzeptablen Toleranzbereichs um die Soll-Reaktionsdaten, müssen weitere Einstellungen an dem virtuellen Off-Road-Fahrzeug und an den zu simulierenden Reaktionen vorgenommen werden. Beispielsweise müssen die in der Simulationsumgebung getesteten Computerprogrammprodukte oder die getestete Software geändert werden, so dass bei einer erneuten Konfrontation mit der bereits einmal durchlaufenen Situation korrekte Reaktionsdaten generiert werden, die innerhalb des akzeptablen Toleranzbereichs um die Soll-Reaktionsdaten liegen. Die Mittel der Steuereinrichtung des realen Off-Road-Fahrzeugs werden somit nicht anhand der Reaktionsdaten angepasst, da dies in einem realen Fahrbetrieb zu fehlerhaften Reaktionen des Off-Road-Fahrzeugs führen würde.However, if the reaction data of the virtual image of the off-road vehicle is not within an acceptable tolerance range around the target reaction data, further settings must be made to the virtual off-road vehicle and to the reactions to be simulated. For example, the computer program products or software tested in the simulation environment must be changed so that when confronted again with the situation that has already been experienced, correct reaction data is generated that lies within the acceptable tolerance range around the target reaction data. The means of the control device of the real off-road vehicle are therefore not adjusted based on the reaction data, since this would lead to incorrect reactions of the off-road vehicle in real driving operations.
Beispielsweise müssen Änderungen an dem Computerprogrammprodukt des virtuellen Off-Road-Fahrzeugs im o. g. Beispiel vorgenommen werden, wenn das virtuelle Objekt nicht als „Tier“ (entsprechend der Soll-Reaktionsdaten) klassifiziert wird, sondern als „Gebäude“. Die Mittel der realen Steuereinrichtung des realen Off-Road-Fahrzeugs dürfen in diesem Fall nicht geändert werden. Beispielsweise müssen Änderungen an dem Computerprogrammprodukt des virtuellen Off-Road-Fahrzeugs im o. g. Beispiel vorgenommen werden, wenn das virtuelle Off-Road-Fahrzeug nicht zum Stillstand kommt (entsprechend der Soll-Reaktionsdaten), um die Kollision mit dem Tier zu vermeiden. Die Mittel der realen Steuereinrichtung des realen Off-Road-Fahrzeugs dürfen in diesem Fall nicht angepasst werden. Allerdings können die Mittel der Steuereinrichtung des realen Off-Road-Fahrzeugs im o. g. Beispiel angepasst werden, wenn das virtuelle Off-Road-Fahrzeug zum Stillstand kommt, um die Kollision mit dem Tier zu vermeiden, allerdings eine stärkere Verzögerung wählt als in den Soll-Reaktionsdaten vorgesehen. Die Reaktionsdaten des virtuellen Off-Road-Fahrzeugs liegen innerhalb eines Toleranzbereichs um die Soll-Raktionsdaten.For example, changes to the computer program product of the virtual off-road vehicle in the above must be made. Example can be done if the virtual object is not classified as an “animal” (according to the target reaction data), but as a “building”. The means of the real control device of the real off-road vehicle may not be changed in this case. For example, changes to the computer program product of the virtual off-road vehicle in the above must be made. For example, if the virtual off-road vehicle does not come to a stop (according to the target reaction data) in order to avoid the collision with the animal. The means of the real control device of the real off-road vehicle may not be adjusted in this case. However, the means of the control device of the real off-road vehicle can be in the above-mentioned. For example, if the virtual off-road vehicle comes to a standstill to avoid collision with the animal, but chooses a greater deceleration than intended in the target reaction data. The reaction data of the virtual off-road vehicle is within a tolerance range around the target reaction data.
Vorteilhaft am hier dargestellten Verfahren ist, dass eine Simulationsumgebung geschaffen wird, welche dazu geeignet ist, automatisierte Funktionen von Off-Road-Fahrzeugen in einer virtuellen Umgebung zu testen. Dadurch werden Zeit und Kosten eingespart, da keine realen Testfahrten durchgeführt werden müssen.The advantage of the method presented here is that a simulation environment is created which is suitable for testing automated functions of off-road vehicles in a virtual environment. This saves time and costs because no real test drives have to be carried out.
Nach einer weiterbildenden Ausführungsform entsprechen die ausgegebenen Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs Sensordaten des wenigstens einen Umfeldsensors. Das heißt, dass das virtuelle Abbild des Off-Road-Fahrzeugs wenigstens einen virtuellen Umfeldsensor aufweist. Dieser wenigstens eine virtuelle Umfeldsensor stellt ein virtuelles Abbild des wenigstens einen realen Umfeldsensors, der bereits beschrieben wurde. In anderen Worten wird der wenigstens eine reale Umfeldsensor simuliert, so dass dieser die Umgebung des virtuellen Abbilds des Off-Road-Fahrzeugs erfassen kann.According to a further embodiment, the output reaction data of the virtual image of the off-road vehicle corresponds to sensor data from the at least one environment sensor. This means that the virtual image of the off-road vehicle has at least one virtual environment sensor. This at least one virtual environment sensor represents a virtual image of the at least one real environment sensor that has already been described. In other words, the at least one real environment sensor is simulated so that it can detect the environment of the virtual image of the off-road vehicle.
Durch das Erfassen der Umgebung des virtuellen Abbilds des Off-Road-Fahrzeugs werden durch den wenigstens einen virtuellen Umfeldsensor Sensordaten, die auch als Umfelddaten bezeichnet werden können, generiert. Diese Sensordaten stellen die Reaktion auf die virtuelle Umgebung und das wenigstens eine virtuelle Objekt dar.By detecting the environment of the virtual image of the off-road vehicle, sensor data, which can also be referred to as environment data, is generated by the at least one virtual environment sensor. This sensor data represents the reaction to the virtual environment and the at least one virtual object.
Ist der wenigstens eine Umfeldsensor beispielsweise als Lidar-Sensor oder Radar-Sensor ausgebildet, stellen die Sensordaten Tiefeninformationen dar. Diese Sensordaten können beispielsweise genutzt werden, um das wenigstens eine virtuelle Objekt zu klassifizieren, Abstände zwischen dem wenigsten einen virtuellen Objekt und dem Umfeldsensor zu bestimmen, eine Struktur der Fahrbahnoberfläche, auf welcher sich das virtuelle Abbild des Off-Road-Fahrzeugs bewegt, zu erfassen o. ä. Dabei kann z. B. getestet werden, ob der Umfeldsensor das virtuelle Objekt bei sich auf unebenem Untergrund bewegendem Off-Road-Fahrzeug korrekt erfassen kann.If the at least one environmental sensor is designed, for example, as a lidar sensor or radar sensor, the sensor data represents depth information. This sensor data can, for example can be used to classify the at least one virtual object, to determine distances between the at least one virtual object and the environment sensor, to detect a structure of the road surface on which the virtual image of the off-road vehicle moves, or similar . This can e.g. For example, it can be tested whether the environment sensor can correctly detect the virtual object when the off-road vehicle is moving on uneven ground.
Durch einen Vergleich der Sensordaten mit Soll-Reaktionsdaten, d. h. mit Sensordaten, die bei Erfassung des virtuellen Objekts zu erwarten gewesen wären, kann ermittelt werden, ob der wenigstens eine Umfeldsensor korrekte Sensordaten liefert.By comparing the sensor data with target reaction data, i.e. H. Using sensor data that would have been expected when the virtual object was detected, it can be determined whether the at least one environmental sensor delivers correct sensor data.
Nach einer weiterbildenden Ausführungsform entsprechen die ausgegebenen Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs Planungsdaten einer Trajektorien-Planung des virtuellen Abbilds des Off-Road-Fahrzeugs. Diese Trajektorien-Planung bezieht sich dabei auf die virtuelle Umgebung und das wenigstens eine virtuelle Objekt des virtuellen Off-Road-Fahrzeugs. In anderen Worten erfolgt eine Trajektorien-Planung des virtuellen Off-Road-Fahrzeugs als Reaktion auf die virtuelle Umgebung und das wenigstens eine virtuelle Objekt.According to a further embodiment, the output reaction data of the virtual image of the off-road vehicle corresponds to planning data of a trajectory planning of the virtual image of the off-road vehicle. This trajectory planning relates to the virtual environment and the at least one virtual object of the virtual off-road vehicle. In other words, trajectory planning of the virtual off-road vehicle takes place in response to the virtual environment and the at least one virtual object.
Beispielsweise kann eine Trajektorie des virtuellen Off-Road-Fahrzeugs geplant werden, entlang welcher sich dieses autonom bewegen soll. Die Trajektorie stellt hierbei Planungsdaten dar. Dabei wird die Trajektorie Fahrweg derart gewählt, dass das virtuelle Off-Road-Fahrzeug stationäre virtuelle Objekte umfährt und sich auf dem virtuellen Untergrund bewegt. Beispielsweise kann das Aussäen von Saatgut simuliert werden, wobei das virtuelle Off-Road-Fahrzeug auf einer landwirtschaftlichen Fläche beispielsweise einen mäanderförmigen Fahrweg automatisiert abfährt. Dabei müssen jedoch Steigungen der landwirtschaftlichen Fläche beachtet werden, beispielsweise wenn diese an einem Berghang angeordnet ist. Daher ist es notwendig, dass für das virtuelle Off-Road-Fahrzeug z. B. gewisse Lenkwinkel, eine gewisse Beschleunigung, ein gewisses Schaltverhalten o. ä. geplant werden, damit das virtuelle Off-Road-Fahrzeug die Trajektorie abfahren kann. Die Trajektorien-Planung bezieht sich somit sowohl auf die Planung der abzufahrenden Trajektorie, d. h. des Fahrwegs, als auch auf die Planung der nötigen Steuerbefehle für die Systeme des Off-Road-Fahrzeugs, so dass die Trajektorie abgefahren werden kann.For example, a trajectory of the virtual off-road vehicle can be planned along which it should move autonomously. The trajectory represents planning data. The trajectory path is selected such that the virtual off-road vehicle drives around stationary virtual objects and moves on the virtual surface. For example, the sowing of seeds can be simulated, with the virtual off-road vehicle automatically driving along a meandering path on an agricultural area, for example. However, gradients in the agricultural area must be taken into account, for example if it is located on a mountain slope. It is therefore necessary for the virtual off-road vehicle to have e.g. B. certain steering angles, a certain acceleration, a certain switching behavior or similar can be planned so that the virtual off-road vehicle can follow the trajectory. Trajectory planning therefore refers to both the planning of the trajectory to be followed, i.e. H. the route, as well as the planning of the necessary control commands for the systems of the off-road vehicle so that the trajectory can be followed.
Durch einen Vergleich der Trajektorien-Planung mit Soll-Reaktionsdaten, d. h. mit einer Trajektorien-Planung, die bei der vorgegebenen Umgebung des virtuellen Off-Road-Fahrzeugs, bei dem vorgegebenen virtuellen Objekt und bei der vorgegebenen durchzuführenden automatisierten Funktion zu erwarten gewesen wären, kann ermittelt werden, ob die Trajektorien-Planung innerhalb eines Toleranzbereichs abläuft. In anderen Worten kann getestet werden, ob das virtuelle Off-Road-Fahrzeug befähigt ist, seine automatisierten Funktionen korrekt durchzuführen, ohne dass es zu Fahrfehlern, Kollisionen oder anderen Problemen kommt.By comparing the trajectory planning with target reaction data, i.e. H. With a trajectory planning that would have been expected in the given environment of the virtual off-road vehicle, with the given virtual object and with the given automated function to be carried out, it can be determined whether the trajectory planning takes place within a tolerance range. In other words, it can be tested whether the virtual off-road vehicle is capable of performing its automated functions correctly without causing driving errors, collisions or other problems.
Nach einer weiterbildenden Ausführungsform entsprechen die ausgegebenen Reaktionsdaten des virtuellen Abbilds des Off-Road-Fahrzeugs Klassifizierungsdaten. Klassifizierung bezeichnet dabei das Einordnen der vom wenigstens einen Umfeldsensor erfassten virtuellen Objekte in Klassen. Dies umfasst beispielsweise die Unterscheidung zwischen stationären und beweglichen Objekten. Weiterhin beispielsweise umfasst dies das Einordnen dieser virtuellen Objekte in Kategorien wie „Person“, „Tier“, „Fahrzeug“, „Gebäude“, „Bordstein“, „(Nutz-) Pflanze“, „Begrenzung“ etc., wie bereits beschrieben. Die Klassifizierungsdaten umfassen somit die erfassten virtuellen Objekte in Kombination mit den diesen virtuellen Objekten zugeordneten Klassen.According to a further embodiment, the output reaction data of the virtual image of the off-road vehicle corresponds to classification data. Classification refers to the classification of the virtual objects detected by at least one environmental sensor into classes. This includes, for example, the distinction between stationary and moving objects. This also includes, for example, classifying these virtual objects into categories such as “person”, “animal”, “vehicle”, “building”, “curb”, “(crop) plant”, “boundary”, etc., as already described. The classification data thus includes the recorded virtual objects in combination with the classes assigned to these virtual objects.
Durch einen Vergleich der Klassifizierungsdaten mit Soll-Reaktionsdaten, d. h. mit einer Klassifizierung, die bei dem wenigstens einen virtuellen Objekt, das mittels des wenigstens einen virtuellen Umfeldsensors erfasst wird, zu erwarten gewesen wäre, kann ermittelt werden, ob die Klassifizierung der Sensordaten des wenigstens einen virtuellen Umfeldsensors korrekt abläuft.By comparing the classification data with target reaction data, i.e. H. With a classification that would have been expected for the at least one virtual object that is detected by means of the at least one virtual environment sensor, it can be determined whether the classification of the sensor data of the at least one virtual environment sensor is proceeding correctly.
Ein Computerprogrammprodukt weist Befehle auf, welche bei Ausführung des Computerprogrammprodukts auf einem Computer diesen veranlassen, ein Verfahren durchzuführen, das bereits in der vorherigen Beschreibung beschrieben wurde. Das Computerprogrammprodukt ist dabei ausgeformt als Simulationsprogramm, welches die Simulationsumgebung ausführt.A computer program product has instructions which, when the computer program product is executed on a computer, cause the computer to carry out a method that has already been described in the previous description. The computer program product is designed as a simulation program that executes the simulation environment.
Das Computerprogrammprodukt kann auf einem computerlesbaren Medium verkörpert sein. Dieses computerlesbare Medium umfasst Befehle, die bei der Ausführung durch einen Computer diesen veranlassen, das Verfahren auszuführen, das bereits in der vorherigen Beschreibung beschrieben wurde. Das computerlesbare Medium kann beispielsweise als ein Datenträger oder ein herunterladbarer Datenstrom ausgeformt sein.The computer program product may be embodied on a computer-readable medium. This computer-readable medium includes instructions that, when executed by a computer, cause it to carry out the method already described in the previous description. The computer-readable medium can be in the form of, for example, a data carrier or a downloadable data stream.
Eine Vorrichtung zur Datenverarbeitung umfasst Mittel zur Ausführung des Verfahrens, das bereits in der vorherigen Beschreibung beschrieben wurde. Die Vorrichtung zur Datenverarbeitung kann beispielsweise als Computer ausgebildet sein.A data processing device includes means for carrying out the method already described in the previous description. The data processing device can be designed, for example, as a computer.
Anhand der im Folgenden erläuterten Figur wird ein Ausführungsbeispiel und Details der Erfindung näher beschrieben. Es zeigt:
-
1 eine schematische Darstellung einer Simulationsumgebung nach einem Ausführungsbeispiel.
-
1 a schematic representation of a simulation environment according to an exemplary embodiment.
In der Simulationsumgebung 100 wird ein virtuelles Abbild 1 eines Off-Road-Fahrzeugs simuliert. Dieses virtuelle Abbild 1 stellt das Off-Road-Fahrzeug detailgetreu dar. Es werden zudem Fahrzeug-Elemente 4, 7 simuliert, die das virtuelle Abbild 1 des Off-Road-Fahrzeugs aufweist. Die virtuellen Fahrzeugelemente 4, 7 sind dabei an den realen Fahrzeugelementen des realen Off-Road-Fahrzeugs orientiert. Diese Fahrzeug-Elemente 4, 7 interagieren miteinander und sind Bestandteil des virtuellen Abbilds 1 des Off-Road-Fahrzeugs Dies ist durch die Umrahmung und die Pfeile angedeutet. Beispielsweise kann ein erstes Fahrzeug-Element 4 ein virtuelles Lenksystem des virtuellen Abbilds 1 des Off-Road-Fahrzeugs sein. Dieses virtuelle Lenksystem weist dabei dieselben technischen Funktionen auf, die ein reales Lenksystem des realen Off-Road-Fahrzeugs aufweisen würde. Beispielsweise kann ein zweites Fahrzeug-Element 7 ein virtuelles Bremssystem des virtuellen Abbilds 1 des Off-Road-Fahrzeugs sein. Dieses virtuelle Bremssystem weist dabei dieselben technischen Funktionen auf, die ein reales Bremssystem des realen Off-Road-Fahrzeugs aufweisen würde. Selbstverständlich kann das virtuelle Abbild 1 des Off-Road-Fahrzeugs weitere Fahrzeugelemente 4, 7 aufweisen, die hier aus Übersichtlichkeitsgründen nicht dargestellt sind.A
Zudem wird in der Simulationsumgebung 100 eine virtuelle Umgebung 2 simuliert. Diese virtuelle Umgebung 2 stellt beispielsweise eine Landschaft dar, die an einer realen Landschaft orientiert sein kann. Beispielsweise kann die virtuelle Umgebung 2 zu bearbeitende Agrarflächen, Baustellen oder Abbaugebiete umfassen. Die virtuelle Umgebung 2 weist dabei beispielsweise unebene Flächen oder Wege auf, auf welchen sich das virtuelle Abbild 1 des Off-Road-Fahrzeugs bewegen kann. In der virtuellen Umgebung 2 sind mehrere virtuelle Objekte 5, 8 angeordnet. Dies ist mittels der Umrahmung angedeutet. Diese virtuellen Objekte 5, 8 interagieren miteinander, mit der virtuellen Umgebung 2 und mit dem virtuellen Abbild 1 des Off-Road-Fahrzeugs. Dies ist mittels der Pfeile angedeutet. Beispielsweise kann ein erstes virtuelles Objekt 5 ein stationäres Objekt, beispielsweise ein Gebäude sein. Beispielsweise kann ein zweites virtuelles Objekt 8 ein bewegliches Objekt, z. B. ein Tier sein.In addition, a
Das virtuelle Abbild 1 des Off-Road-Fahrzeugs ist dazu befähigt, automatisierte Funktionen 6 durchzuführen. Diese automatisierten Funktionen 6 sind dabei gleichartig zu den automatisierten Funktionen 20, die das reale Off-Road-Fahrzeug durchführen kann. Die automatisierten Funktionen 20 des realen Off-Road-Fahrzeugs werden in anderen Worten in die Simulationsumgebung 100 eingespielt. Um diese virtuellen automatisierten Funktionen 6 durchführen zu können, benötigt das virtuelle Abbild 1 des Off-Road-Fahrzeugs Umfelddaten, die mittels eines virtuellen Umfeldsensors 3 erfasst werden. Dabei ist der virtuelle Umfeldsensor 3 ein virtuelles Abbild der Umfeldsensorik des realen Off-Road-Fahrzeugs. Das virtuelle Abbild 1 des Off-Road-Fahrzeugs weist in anderen Worten den virtuellen Umfeldsensor 3 auf. Der virtuelle Umfeldsensor 3 erfasst das Umfeld des virtuellen Abbilds 1 des Off-Road-Fahrzeugs, also die virtuelle Umgebung 2, sowie die virtuellen Objekte 5, 8. Dadurch werden Sensordaten, d. h. Umfelddaten generiert. Diese stellen Reaktionsdaten 23 dar, welche an ein externes System 30 ausgegeben werden können. Zusätzlich kann ausgehend von den Sensordaten des Umfeldsensors 3 eine Klassifizierung der virtuellen Objekte 5, 8 vorgenommen werden, um z. B. zwischen beweglichen und stationären Objekten unterscheiden zu können. Diese Klassifizierungsdaten können ebenfalls an das externe System 30 ausgegeben werden.The
In die Simulationsumgebung 100 können zusätzlich Testfälle 22 eingespeist werden, welche sich an realen Testläufen des realen Off-Road-Fahrzeugs orientieren. Weiterhin kann die Simulationsumgebung 100 mit realen Messdaten einer realen Messtechnik 21 ausgestattet werden. Beispielsweise können diese Messdaten während eines automatisierten Fahrbetriebs des realen Off-Road-Fahrzeugs erhoben worden sein. Zusätzlich können aufgenommene Sensordaten 25 des realen Off-Road-Fahrzeugs, z. B. Umfelddaten, in die Simulationsumgebung 100 einfließen. Durch diese eben genannten Maßnahmen kann die Simulationsumgebung 100 realistischer werden und die Testläufe für das virtuelle Abbild 1 des Off-Road-Fahrzeugs können aussagekräftiger werden.In addition,
Soll nun eine automatisierte Funktion 20 des realen Off-Road-Fahrzeugs in der Simulationsumgebung 100 getestet werden, werden zunächst die Abläufe eben dieser automatisierten Funktion 20 als virtuelle automatisierte Funktion 6 des virtuellen Abbilds 1 des Off-Road-Fahrzeugs umgesetzt. Das heißt, die nötigen Steuerbefehle, um die automatisierte Funktion 20 des realen Off-Road-Fahrzeugs umzusetzen, werden derart geändert, dass diese nunmehr die Fahrzeugelemente 4, 7 ansteuern und somit die virtuelle automatisierte Funktion 6 umsetzen. Für das virtuelle Abbild 1 des Off-Road-Fahrzeugs wird eine Situation geschaffen, auf welche dieses reagieren muss. Beispielsweise ist die zu testende automatisierte Funktion 20 des realen Off-Road-Fahrzeugs ein Abernten einer Agrarfläche, beispielsweise ein Mähen von Getreide. Die Agrarfläche wird als virtuelle Umgebung 2 simuliert. Zusätzlich werden virtuelle Objekte 5, 8 simuliert. Beispielsweise steht auf der simulierten Agrarfläche ein Gebäude, welches das erste virtuelle Objekt 5 darstellt. Wiederum beispielsweise wird ein Tier simuliert, welches sich auf der Agrarfläche bewegt und welches das zweite virtuelle Objekt 8 darstellt.If an
Das virtuelle Abbild 1 des Off-Road-Fahrzeugs soll nun beim Durchführen seiner automatisierten Funktion 6 die Agrarfläche vollständig abernten, und gleichzeitig eine Kollision mit den virtuellen Objekten 5, 8 vermeiden. Mittels seines Umfeldsensors 3 erfasst das virtuelle Abbild 1 des Off-Road-Fahrzeugs sowohl die virtuellen Objekte 5, 8 als auch die virtuelle Umgebung 2. Anschließend wird als Reaktion auf die erfassten virtuellen Objekte 5, 8 eine Trajektorie geplant, welche abgefahren wird. Dabei werden Steuerbefehle für die Fahrzeugelemente 4, 7 generiert, so dass diese angesteuert werden können, damit das virtuelle Abbild 1 des Off-Road-Fahrzeugs der Trajektorie folgen kann. Zudem werden Steuerbefehle für die Fahrzeugelemente 4, 7 generiert, damit das virtuelle Abbild 1 des Off-Road-Fahrzeugs eine Kollision mit den virtuellen Objekten 5, 8, besonders mit dem beweglichen virtuellen Objekt 8 vermeidet. Zusätzlich kann auch eine Kollisions-Warnung an einen Fahrzeugführer simuliert werden, welche beispielsweise über ein Display 9 ausgegeben werden kann. Dies stellt jeweils Reaktionsdaten 23 dar.The
Diese Reaktionsdaten 23 werden an das externe System 30 ausgegeben. Die ausgegebenen Reaktionsdaten 23 werden mit Soll-Reaktionsdaten 31 verglichen. Diese Soll-Reaktionsdaten umfassen im hier dargestellten Beispiel eine präferierte Trajektorie sowie ein Vermeiden der Kollision mit einem der virtuellen Objekte 5, 8 durch z. B. Abbremsen. Wird der präferierten Trajektorie zumindest im Rahmen eines Toleranzbereichs gefolgt und die Agrarfläche abgeerntet, ohne dass es zu einer Kollision mit den virtuellen Objekten 5, 8 kommt, ist der Ablauf der virtuellen automatisierten Funktion 6 korrekt. Die Reaktionsdaten 23, die infolge der virtuellen Umgebung 2 und der virtuellen Objekte 5, 8 generiert wurden, sind somit korrekt.This
Beispielsweise kann die automatisierte Funktion 20 als virtuelle automatisierte Funktion 6 vollständig innerhalb der Simulationsumgebung 100 getestet werden. In diesem Fall muss keine reale Steuereinrichtung 24 mit der Simulationsumgebung 100 interagieren. Alternativ dazu kann eine reale Steuereinrichtung 24 mit der Simulationsumgebung 100 interagieren. Die Steuereinrichtung 24 kann zu diesem Zweck mit einer Vorrichtung zur Datenverarbeitung verbunden sein, auf welcher die Simulationsumgebung ausgeführt werden kann. So kann getestet werden, ob die reale Steuereinrichtung 24 auf die Gegebenheiten der Simulationsumgebung 100 korrekt reagiert. In anderen Worten werden für die Steuereinrichtung 24 Situationen simuliert, auf welche die Steuereinrichtung 24 mit Anpassung ihrer Steuerbefehle reagieren muss, um die automatisierte Funktion 20 des realen Off-Road-Fahrzeugs ausführen zu können.For example, the
Sind die Reaktionsdaten 23, die in der Simulationsumgebung 100 erlangt wurden, im Vergleich mit den Soll-Reaktionsdaten 31 als korrekt eingestuft, können die Mittel der Steuereinrichtung 24 angepasst werden. Dadurch kann die reale automatisierte Funktion 20, welche mittels der Simulationsumgebung 100 getestet wurde, verbessert werden.If the
BezugszeichenReference symbols
- 11
- virtuelles Abbild des Off-Road-Fahrzeugsvirtual image of the off-road vehicle
- 22
- virtuelle Umgebungvirtual environment
- 33
- UmfeldsensorEnvironment sensor
- 44
- FahrzeugelementVehicle element
- 55
- virtuelles Objektvirtual object
- 66
- automatisierte Funktion des virtuellen Abbilds des Off-Road-Fahrzeugsautomated function of the virtual image of the off-road vehicle
- 77
- FahrzeugelementVehicle element
- 88th
- virtuelles Objektvirtual object
- 99
- Display display
- 2020
- automatisierte Funktionen des Off-Road-Fahrzeugsautomated functions of the off-road vehicle
- 2121
- Messtechnikmeasuring technology
- 2222
- TestfälleTest cases
- 2323
- ReaktionsdatenReaction data
- 2424
- SteuereinrichtungControl device
- 2525
- aufgenommene Sensordaten recorded sensor data
- 3030
- externes Systemexternal system
- 3131
- Soll-Reaktionsdaten Target response data
- 100100
- SimulationsumgebungSimulation environment
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019209725.1A DE102019209725B4 (en) | 2019-07-03 | 2019-07-03 | Method for adjusting means of a control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019209725.1A DE102019209725B4 (en) | 2019-07-03 | 2019-07-03 | Method for adjusting means of a control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102019209725A1 DE102019209725A1 (en) | 2021-01-07 |
| DE102019209725B4 true DE102019209725B4 (en) | 2023-10-26 |
Family
ID=74092731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102019209725.1A Active DE102019209725B4 (en) | 2019-07-03 | 2019-07-03 | Method for adjusting means of a control device |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102019209725B4 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7837543B2 (en) | 2004-04-30 | 2010-11-23 | Microsoft Corporation | Reward-driven adaptive agents for video games |
| US20170024643A1 (en) | 2015-07-24 | 2017-01-26 | Google Inc. | Continuous control with deep reinforcement learning |
| DE102016216268A1 (en) | 2015-09-11 | 2017-03-16 | Ford Global Technologies, Llc | GENERATION OF SENSOR DATA IN A VIRTUAL ROAD ENVIRONMENT |
| DE102017216321A1 (en) | 2017-09-14 | 2019-03-14 | Robert Bosch Gmbh | Method and device for determining a driving function for highly automated driving for a vehicle |
| DE102018128290A1 (en) | 2017-11-14 | 2019-05-16 | GM Global Technology Operations LLC | METHOD AND DEVICE FOR PRODUCING SCENARIOS AND PARAMETRIC SWEEPS FOR THE DEVELOPMENT AND EVALUATION OF AUTONOMOUS DRIVE SYSTEMS |
-
2019
- 2019-07-03 DE DE102019209725.1A patent/DE102019209725B4/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7837543B2 (en) | 2004-04-30 | 2010-11-23 | Microsoft Corporation | Reward-driven adaptive agents for video games |
| US20170024643A1 (en) | 2015-07-24 | 2017-01-26 | Google Inc. | Continuous control with deep reinforcement learning |
| DE102016216268A1 (en) | 2015-09-11 | 2017-03-16 | Ford Global Technologies, Llc | GENERATION OF SENSOR DATA IN A VIRTUAL ROAD ENVIRONMENT |
| DE102017216321A1 (en) | 2017-09-14 | 2019-03-14 | Robert Bosch Gmbh | Method and device for determining a driving function for highly automated driving for a vehicle |
| DE102018128290A1 (en) | 2017-11-14 | 2019-05-16 | GM Global Technology Operations LLC | METHOD AND DEVICE FOR PRODUCING SCENARIOS AND PARAMETRIC SWEEPS FOR THE DEVELOPMENT AND EVALUATION OF AUTONOMOUS DRIVE SYSTEMS |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102019209725A1 (en) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3970077B1 (en) | Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system | |
| EP3765927B1 (en) | Method for generating a training data record for training an artificial intelligence module for a control device of a vehicle | |
| EP3599846B1 (en) | Drift correction in the distribution of plant protection agents | |
| DE102017115049A1 (en) | VIRTUAL SENSOR DATA GENERATION SYSTEM AND METHOD FOR SUPPORTING THE DEVELOPMENT OF ALGORITHMS ENABLING TRACKING OF RAIL TRANSITIONS UNDER VARIANT WEATHER CONDITIONS | |
| DE102019202106A1 (en) | Method for validating automated functions of a vehicle | |
| DE102019111315A1 (en) | Autonomous agricultural work machine and method of operating it | |
| EP3783529A1 (en) | Safety system and method for operating a mobile agricultural working machine | |
| DE102019219241A1 (en) | Method for creating a road user algorithm for computer simulation of road users, method for training at least one algorithm for a control device of a motor vehicle, computer program product and motor vehicle | |
| WO2020164834A1 (en) | Trajectory determination for agricultural machines using grid maps | |
| DE102019114866A1 (en) | Control system and method for operating an agricultural work machine and agricultural work machine | |
| DE102019209725B4 (en) | Method for adjusting means of a control device | |
| DE102019111317A1 (en) | Autonomous agricultural work machine and method of operating it | |
| DE102021204797A1 (en) | Apparatus and method for learning a guideline for off-road vehicles for construction sites | |
| DE112020007538T5 (en) | Driving assistance device, learning device, driving assistance method, driving assistance program, learned model creation method, and learned model creation program data carrier | |
| AT524932B1 (en) | Method and system for testing a driver assistance system for a vehicle | |
| DE102018222623A1 (en) | Process for automatic irrigation of plants | |
| DE102019216147B3 (en) | Method for determining the drivability of an area of a site for a vehicle | |
| EP3286997B1 (en) | Method for simulating and determining an effective method for working agricultural areas | |
| DE102019202068A1 (en) | Method for operating an automated vehicle | |
| DE102020205542A1 (en) | Preparation of learning data sets with noisy labels for classifiers | |
| DE102019206149B4 (en) | Process for checking the plausibility of detected objects | |
| DE102020214123B4 (en) | Method for detecting an environment of a first sensor system | |
| DE102022212490A1 (en) | Method for determining status information regarding a status of an agricultural work tool of an agricultural work machine | |
| DE102019217026A1 (en) | Method for tracking a vehicle | |
| DE102020201622A1 (en) | Method for tracking a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R018 | Grant decision by examination section/examining division |