WO2020164813A1 - Control device and method, and computer program product for calculating a pitching movement of a vehicle, in particular an autonomous or semi-autonomous vehicle, e.g. an autonomous or semi-autonomous agricultural machine - Google Patents

Control device and method, and computer program product for calculating a pitching movement of a vehicle, in particular an autonomous or semi-autonomous vehicle, e.g. an autonomous or semi-autonomous agricultural machine Download PDF

Info

Publication number
WO2020164813A1
WO2020164813A1 PCT/EP2020/050341 EP2020050341W WO2020164813A1 WO 2020164813 A1 WO2020164813 A1 WO 2020164813A1 EP 2020050341 W EP2020050341 W EP 2020050341W WO 2020164813 A1 WO2020164813 A1 WO 2020164813A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
autonomous
image points
angle
control method
Prior art date
Application number
PCT/EP2020/050341
Other languages
German (de)
French (fr)
Inventor
Markus Birk
Original Assignee
Zf Friedrichshafen Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Friedrichshafen Ag filed Critical Zf Friedrichshafen Ag
Publication of WO2020164813A1 publication Critical patent/WO2020164813A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • This environment detection which is usually sensor-based, is used to generate and evaluate environment data in order to use it to detect objects in the vicinity of the vehicle and around the condition of the road. Based on this data evaluation, the vehicle is controlled autonomously or partially autonomously, for example to avoid collisions with other objects such as plantings, buildings, people and other road users as far as possible.
  • Another goal of this data evaluation is to adapt the driving dynamics to the road surface conditions such as width, gradient, surface roughness, etc.
  • the invention is therefore based on the object of realizing a control device and method for a vehicle drive train or a vehicle, which makes it possible to improve the detection of the surroundings so that errors caused by vibrations of the vehicle are corrected.
  • the processor can use the determined angle as an angle caused by a real slope of the standing surface, provided that the determined angle exceeds the predefined threshold value.
  • the angle is preferably not taken into account in the further object recognition. For example, the value of the angle is changed to zero.
  • the processor 14 is designed to process the received data in order to calculate a pitching movement of the vehicle 50.
  • the processor 14 creates an imaginary auxiliary line 30, 32, which comes about by means of linear regression of several surrounding image points 22, 24, 26, 28.
  • Fig. 2 GE shows.
  • the environment sensor 20 for example a radar sensor
  • the environment sensor 20 detects the environment of the vehicle 20 within a field angle 56 and thus also a standing area on which the vehicle 20 is located.
  • a predefined standing area 52 is shown as a solid line, which is the actual standing area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a control method for calculating a pitching movement in a vehicle drive train or a vehicle (50), comprising the steps of: determining multiple environment image points (22, 24, 26, 28) on a standing surface of the vehicle (50) captured by an environment sensor (20); establishing a notional auxiliary line (30, 32) for the multiple environment image points (22) by means of a linear regression; and determining an angle (34, 36) between the auxiliary line (30, 32) and a predefined standing surface (52).

Description

Steuervorrichtung und -verfahren sowie Computer-Programm-Produkt zum Berech nen einer Nickbewegung eines Fahrzeugs, insbesondere eines autonomen oder teil autonomen Fahrzeugs, beispielsweise einer autonomen oder teilautonomen Land maschine Control device and method as well as computer program product for calculating a pitching movement of a vehicle, in particular of an autonomous or partially autonomous vehicle, for example an autonomous or partially autonomous agricultural machine
TECHNISCHES GEBIET TECHNICAL AREA
Die vorliegende Erfindung betrifft das Gebiet der Fahrzeugantriebsstränge. Außer dem betrifft die vorliegende Erfindung Fahrzeuge, insbesondere autonom bezie hungsweise teilautonom fahrenden Fahrzeuge, beispielsweise eine Landmaschine.The present invention relates to the field of vehicle drive trains. In addition, the present invention relates to vehicles, in particular autonomously or partially autonomously driving vehicles, for example an agricultural machine.
Im Rahmen der vorliegenden Erfindung werden eine Steuervorrichtung und eine Steuerverfahren sowie ein Computer-Programm-Produkt vorgeschlagen. In the context of the present invention, a control device and a control method as well as a computer program product are proposed.
TECHNISCHER HINTERGRUND TECHNICAL BACKGROUND
Bei autonom bzw. teilautonom fahrenden Fahrzeugen spielt die Erfassung des Um felds eine zentrale Rolle. Diese in der Regel sensorbasierte Umfelderfassung dient dazu, Umfelddaten zu erzeugen und zu auszuwerten, um hieraus Objekte im Umfeld des Fahrzeugs sowie um die Fahrbahnbeschaffenheiten zu detektieren. Basierend auf dieser Datenauswertung wird das Fahrzeug entsprechend autonom oder teilau tonom gesteuert, um beispielsweise Kollisionen mit anderen Objekten, etwa Bepflan zungen, Bebauungen, Personen sowie anderen Verkehrsteilnehmern, möglichst zu vermeiden. Ein anderes Ziel dieser Datenauswertung ist, die Fahrdynamik auf die Fahrbahnbeschaffenheiten wie Breite, Steigung, Oberflächenrauheiten usw. anzu passen. In the case of autonomous or semi-autonomous vehicles, recording the surroundings plays a central role. This environment detection, which is usually sensor-based, is used to generate and evaluate environment data in order to use it to detect objects in the vicinity of the vehicle and around the condition of the road. Based on this data evaluation, the vehicle is controlled autonomously or partially autonomously, for example to avoid collisions with other objects such as plantings, buildings, people and other road users as far as possible. Another goal of this data evaluation is to adapt the driving dynamics to the road surface conditions such as width, gradient, surface roughness, etc.
In der Praxis ergibt sich jedoch, dass die Umfelderfassung durch eine Reihe von Fak toren beeinträchtigt wird. Insbesondere führen Vibrationen des Fahrzeugs, die etwa auf die Grundvibrationen des Motors oder Schlaglöcher auf der Fahrbahn zurückzu führen sind, dazu, dass sich die Positionierung der Umfeldsensoren ändern. Da die Umfeldsensoren in der Regel in Bezug auf eine bestimmte Einbaulage kalibriert sind, hat dies zur Folge, dass die Kalibrierungsdaten nicht mehr auf die Situation, in der das Fahrzeug vibriert, anwendbar sind. Folglich ist die Erfassung der Fahrbahnober fläche bzw. Standfläche des Fahrzeugs fehlerbehaftet. In practice, however, it turns out that the perception of the surroundings is impaired by a number of factors. In particular, vibrations of the vehicle, which can be traced back to the basic vibrations of the engine or potholes on the roadway, cause the positioning of the environment sensors to change. Since the environment sensors are usually calibrated with reference to a specific installation position, this means that the calibration data are no longer relevant to the situation in which the vehicle vibrates, are applicable. Consequently, the detection of the road surface or standing area of the vehicle is faulty.
Der Erfindung liegt daher die Aufgabe zu Grunde, eine Steuervorrichtung und - verfahren für einen Fahrzeugantriebsstrang bzw. ein Fahrzeug zu realisieren, die bzw. das es ermöglicht, die Umfelderfassung dahingehend zu verbessern, dass durch Vibrationen des Fahrzeugs verursachte Fehler korrigiert sind. The invention is therefore based on the object of realizing a control device and method for a vehicle drive train or a vehicle, which makes it possible to improve the detection of the surroundings so that errors caused by vibrations of the vehicle are corrected.
Die Aufgabe wird gelöst durch eine Steuervorrichtung, ein Steuerverfahren sowie ein Computer-Programm-Produkt gemäß den unabhängigen Ansprüchen. The object is achieved by a control device, a control method and a computer program product according to the independent claims.
Bei dem Fahrzeug kann es sich beispielsweise um einen autonom oder teilautonom fahrenden Personen- oder Lastkraftwagen, ein autonom oder teilautonom fahrendes Offroad- und/oder Nutzfahrzeug, eine autonom oder teilautonom fahrende Industrie- und/oder Landmaschine handeln. Beim Fahrzeugantriebsstrang handelt es sich ins besondere um einen intelligenten Antriebsstrang. The vehicle can be, for example, an autonomously or partially autonomously driving passenger or truck, an autonomously or partially autonomously driving off-road and / or utility vehicle, an autonomously or partially autonomously driving industrial and / or agricultural machine. The vehicle drive train is, in particular, an intelligent drive train.
Bei der Steuervorrichtung kann es sich beispielsweise um eine elektronische Steuer einheit (engl. ECU = Electronic Control Unit), ein elektronisches Steuermodul (ECM = electronic control module) oder eine Steuereinheit für autonomes Fahren (z.B. ein „Autopilot“) handeln. Der in der Steuervorrichtung verwendete/verbaute Prozessor kann ein Zentrale Prozessierungseinheit (Engl.: Central Processing Unit, CPU) oder eine Graphische Prozessierungseinheit (Engl.: Graphic Processing Unit, GPU) um fassen. The control device can be, for example, an electronic control unit (ECU), an electronic control module (ECM = electronic control module) or a control unit for autonomous driving (e.g. an "autopilot"). The processor used / built into the control device can comprise a central processing unit (CPU) or a graphic processing unit (GPU).
Die Steuervorrichtung kann beispielsweise für ein autonomes bzw. teilautonomes Fahrzeug eingesetzt werden, so dass dieses ganz bzw. teilweise ohne Einfluss eines menschlichen Fahrers agieren kann. Die Steuervorrichtung kann sich im Fahrzeug befinden, oder auch außerhalb oder teilweise außerhalb des Fahrzeugs. So kann es sich beispielsweise um einen Algorithmus handeln, der auf einem Server oder einem Cloud-System abläuft. Die Steuervorrichtung weist eine Schnittstelle auf, um Steuer signale, die basierend auf der Auswertung der vom Umfeldsensor gelieferten Um- felddaten erzeugt werden, an eine mechatronische Steuereinheit des Fahrzeugs auszugeben. The control device can be used, for example, for an autonomous or partially autonomous vehicle so that it can act entirely or partially without the influence of a human driver. The control device can be located in the vehicle, or also outside or partially outside the vehicle. For example, it can be an algorithm that runs on a server or a cloud system. The control device has an interface to control signals that are based on the evaluation of the environment sensor supplied Field data are generated to be output to a mechatronic control unit of the vehicle.
Bei dem Umfeldsensor handelt es sich beispielsweise um einen oder mehrere Radar- , Lidar- und/oder Ultraschallsensoren. Alternativ kann es sich hierbei um eine oder mehrere Kameras handeln, die Bildsensoren insbesondere in Form eines CCD oder CMOS aufweisen. Die von den Bildsensoren erzeugten Bilddaten können beispiels weise aus Luminanzdaten (Grauwerte, Helligkeit) bestehen oder auch Chrominanz daten (Farbe) enthalten. Der Umfeldsensor ist dazu ausgebildet, um das Umfeld des Fahrzeugs zu überwachen und gegebenenfalls Objekte auf einer Fahrbahn zu er kennen. Beispielsweise werden Sensordaten vom Umfeldsensor erzeugt, die eine sich dem Fahrzeug nähernde Person oder ein anderes, sich dem Fahrzeug nähern des Fahrzeug betreffen. The environment sensor is, for example, one or more radar, lidar and / or ultrasonic sensors. Alternatively, this can be one or more cameras that have image sensors, in particular in the form of a CCD or CMOS. The image data generated by the image sensors can, for example, consist of luminance data (gray values, brightness) or also contain chrominance data (color). The environment sensor is designed to monitor the environment of the vehicle and, if necessary, to recognize objects on a roadway. For example, sensor data are generated by the environment sensor that relate to a person approaching the vehicle or to another person approaching the vehicle.
Der Umfeldsensor kann am Fahrzeug oder außerhalb des Fahrzeugs, beispielsweise als Teil einer zentralen Überwachungseinrichtung, angeordnet sein. Der Umfeld sensor kann über eine Verdrahtung oder alternativ drahtlos mit der Steuervorrichtung kommunizieren, um Umfelddaten an Letztere zu übertragen. The environment sensor can be arranged on the vehicle or outside the vehicle, for example as part of a central monitoring device. The environment sensor can communicate with the control device via wiring or, alternatively, wirelessly, in order to transmit environment data to the latter.
Der Prozessor bestimmt mehrere Umfeldbildpunkte auf einer Standfläche des Fahr zeugs, welche der Prozessor aus den vom Umfeldsensor erzeugten Umfelddaten extrahiert. Die Umfeldbildpunkte sind Bildpunkte, die auf der Standfläche liegen. Bei spielsweise umfassen die Umfeldbildpunkte Radarpunkte oder Lidarpunkte. Es han delt sich bei den Umfeldbildpunkten insbesondere um gedachte graphische Punkte, die auf der Standfläche im vom Umfeldsensor erzeugten Umfeldbild gelegt sind. The processor determines several image points of the surroundings on a standing surface of the vehicle, which the processor extracts from the surroundings data generated by the surroundings sensor. The surrounding pixels are pixels that lie on the stand area. For example, the surrounding image points include radar points or lidar points. The surrounding image points are in particular imaginary graphic points that are placed on the standing surface in the surrounding image generated by the surrounding sensor.
Der Prozessor ist außerdem dazu in der Lage, eine gedachte Hilfslinie für die mehre ren Umfeldbildpunkte mittels einer linearen Regression bzw. Approximation festzule gen. Beispielsweise handelt es sich bei der Hilfslinie um die graphische Darstellung einer mathematischen Funktion, die sich durch Fitting der mehreren Umfeldbildpunk te in einem Koordinatensystem näherungsweise ergibt. Alternativ oder zusätzlich kann der Prozessor anstatt einer gedachten Hilfslinie eine gedachte Hilfsfläche oder Hilfsebene, in der die mehreren Umfeldbildpunkte näherungsweise liegen, zum glei chen Zweck festlegen. The processor is also able to fix an imaginary auxiliary line for the several surrounding image points by means of a linear regression or approximation approximately results in a coordinate system. Alternatively or additionally, instead of an imaginary auxiliary line, the processor can use an imaginary auxiliary surface or Define the auxiliary plane in which the several surrounding image points are approximately for the same purpose.
Die Hilfslinie bzw. Hilfsfläche oder -ebene stellt im Fall von Vibrationen, die zur Ver schiebung bzw. Verdrehung der Sensorpositionierung relativ zur Standfläche des Fahrzeugs führen, die durch Vibrationen des Fahrzeugs zustande kommt, die vom Sensor "gesehene" Standfläche dar. Diese stimmt jedoch aufgrund der Verschiebung bzw. Verdrehung der Sensorposition nicht mit der tatsächlichen Standfläche überein, d.h. die Umfeldbildpunkte liegen nicht auf der tatsächlichen Standfläche, sondern auf einer Linie bzw. Fläche, die mit der tatsächlichen Standfläche einen Winkel ein schließt. The auxiliary line or auxiliary surface or plane represents the standing surface "seen" by the sensor in the case of vibrations that lead to the displacement or rotation of the sensor positioning relative to the standing surface of the vehicle, which is caused by vibrations of the vehicle due to the displacement or rotation of the sensor position does not match the actual footprint, ie the surrounding image points do not lie on the actual stand area, but rather on a line or area that forms an angle with the actual stand area.
Der Prozessor ist des Weiteren dazu ausgebildet, diesen Winkel zwischen der Hilfsli nie bzw. der Hilfsfläche/-ebene und einer vordefinierten Standfläche zu ermitteln, die die tatsächliche Standfläche ist. The processor is also designed to determine this angle between the auxiliary line or the auxiliary surface / plane and a predefined standing surface, which is the actual standing surface.
Die vorliegende Erfindung ist somit in der Lage, den Unterschied zwischen der vom Umfeldsensor "gesehenen" und der tatsächlichen Standfläche herauszufinden und bei der Objekterkennung zu berücksichtigen. Auf diese Weise ist die sensorbasierte Umfelderfassung trotz Vibrationen des Fahrzeugs besonders genau. The present invention is thus able to find out the difference between the area "seen" by the environment sensor and the actual standing area and to take it into account when detecting the object. In this way, the sensor-based detection of the surroundings is particularly accurate despite the vehicle's vibrations.
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen an gegeben. Advantageous refinements and developments are given in the subclaims.
Gemäß einer Ausführungsform befinden sich die Umfeldbildpunkte in einem vordefi nierten Bereich in der Nähe des Fahrzeugs, beispielsweise innerhalb einer vordefi nierten Entfernung vom Fahrzeug. According to one embodiment, the surrounding image points are located in a predefined area in the vicinity of the vehicle, for example within a predefined distance from the vehicle.
In diesem Bereich ist die Erfassung durch den Umfeldsensor besonders präzise, so- dass die Umfeldbildpunkte mit hoher Genauigkeit bestimmbar sind. Zusätzlich oder alternativ kann die Anzahl der Umfeldbildpunkte und/oder die Einbaulage des Um feldsensors vordefiniert sein. Gemäß einer weiteren Ausführungsform umfasst das erfindungsgemäße Steuerver fahren zusätzlich Vergleichen des ermittelten Winkels mit einem vordefinierten Schwellenwert. In this area, the detection by the environment sensor is particularly precise, so that the environment image points can be determined with high accuracy. Additionally or alternatively, the number of surrounding image points and / or the installation position of the surrounding field sensor can be predefined. According to a further embodiment, the control method according to the invention additionally comprises comparing the determined angle with a predefined threshold value.
Der Schwellenwert legt vorzugsweise die Grenze zwischen einer wegen Nickbewe gung verursachten Verlagerung der Sensorposition und einer Verlagerung, die auf das Befahren einer Steigung auf der Standfläche zurückzuführen ist. Wenn der Win kel besonders klein ist, ist die Wahrscheinlichkeit hoch, dass dieser auf Nickbewe gungen zurückgeht. Bei größeren Winkelwerten handelt es sich mit höherer Wahr scheinlichkeit um eine Steigung der Standfläche im Allgemeinen. Der Prozessor kann zusätzlich den ermittelten Winkel als einen durch eine Nickbewegung verursachten Winkel klassifizieren, sofern der ermittelte Winkel den vordefinierten Schwellenwert nicht überschreitet. The threshold value preferably defines the boundary between a displacement of the sensor position caused by pitching movement and a displacement which can be traced back to driving up an incline on the standing surface. If the angle is particularly small, the probability is high that it is due to pitching movements. In the case of larger angle values, there is a higher probability of a slope of the standing surface in general. The processor can additionally classify the determined angle as an angle caused by a nodding movement, provided that the determined angle does not exceed the predefined threshold value.
Gemäß einer weiteren Ausführungsform kann der Prozessor ferner die Umfeldbild punkte um den ermittelten Winkel korrigieren, wenn der ermittelte Winkel den vorde finierten Schwellenwert nicht überschreitet. According to a further embodiment, the processor can also correct the image points of the surroundings by the determined angle if the determined angle does not exceed the predefined threshold value.
Insbesondere kann der Prozessor die Umfeldbildpunkte um den ermittelten Winkel verlagern bzw. verschieben, um diese auf die tatsächliche Standfläche des Fahr zeugs zu bringen. Dies erfolgt beispielsweise durch eine Kalibrierung der Bildkoordi naten der jeweiligen Umfeldbildpunkte. Die auf diese Weise korrigierten Umfeldbild punkte können für die Umfelderfassung genutzt werden, sodass sich der aufgrund Vibrationen entstehende Erfassungsfehler nicht in der weiteren Objekterkennung fortpflanzt. Das kalibrierte Koordinatensystem kann insbesondere in einem Spei chermedium des Umfeldsensors, der Steuervorrichtung und/oder des Fahrzeugs, alternativ in einem externen Speichermedium wie Server oder Cloud-System abge speichert werden, sodass dieses nach Bedarf abrufbar ist. In particular, the processor can shift or shift the surrounding image points by the determined angle in order to bring them to the actual footprint of the vehicle. This is done, for example, by calibrating the image coordinates of the respective surrounding image points. The image points of the surroundings corrected in this way can be used for the detection of the surroundings, so that the detection error resulting from vibrations is not propagated in the further object detection. The calibrated coordinate system can in particular be stored in a storage medium of the environment sensor, the control device and / or the vehicle, alternatively in an external storage medium such as a server or cloud system, so that this can be called up as required.
Gemäß einer weiteren Ausführungsform kann der Prozessor den ermittelten Winkel als einen durch eine reale Steigung der Standfläche verursachten Winkel sofern der ermittelte Winkel den vordefinierten Schwellenwert überschreitet. Vorzugsweise wird in diesem Fall der Winkel nicht in der weiteren Objekterkennung berücksichtigt. Beispielsweise wird der Wert des Winkels auf Null geändert. According to a further embodiment, the processor can use the determined angle as an angle caused by a real slope of the standing surface, provided that the determined angle exceeds the predefined threshold value. In this case, the angle is preferably not taken into account in the further object recognition. For example, the value of the angle is changed to zero.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit de nen die Verfahrensschritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft. The computer program product according to the invention is designed to be loaded into a memory of a computer and comprises software code sections with which the method steps of the method according to the invention are carried out when the computer program product is running on the computer.
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Bei spiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbe griff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hard ware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung. A program is part of the software of a data processing system, for example an evaluation device or a computer. Software is a collective term for programs and associated data. The complement to software is hardware. Hardware describes the mechanical and electronic alignment of a data processing system. A computer is an evaluation device.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfah ren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogramm produkt den oben beschriebenen erfinderischen technischen Effekt hervor. Computer program products generally comprise a sequence of instructions which, when the program is loaded, cause the hardware to carry out a specific method that leads to a specific result. When the program in question is used on a computer, the computer program product causes the inventive technical effect described above.
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Auswertevorrich tung zum Erfassen des Umfelds des Fahrzeugs ausgeführt. The computer program product according to the invention is platform independent. That means it can run on any computing platform. The computer program product is preferably executed on an evaluation device according to the invention for detecting the surroundings of the vehicle.
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrie ben, zum Beispiel in Python. The software code sections are written in any programming language, for example in Python.
Ausführungsformen werden nun beispielhaft und unter Bezugnahme auf die beige fügten Zeichnungen beschrieben. Es zeigen: Embodiments will now be described by way of example and with reference to the accompanying drawings. Show it:
Fig. 1 eine schematische Darstellung einer Steuervorrichtung gemäß einer 1 shows a schematic representation of a control device according to a
Ausführungsform; Fig. 2 eine schematische Darstellung eines Fahrzeugs, an dem ein mit derEmbodiment; Fig. 2 is a schematic representation of a vehicle on which a with the
Steuervorrichtung aus Fig. 1 zusammenwirkender Umfeldsensor zur Er fassung einer Standfläche des Fahrzeugs angeordnet ist; und Control device from Figure 1 cooperating environment sensor for detecting a standing area of the vehicle He is arranged; and
Fig. 3 eine schematische Darstellung des Fahrzeugs, wobei eine Korrektur mehrerer Umfeldbildpunkte mittels linearer Regression gezeigt ist. 3 shows a schematic illustration of the vehicle, with a correction of several surrounding image points by means of linear regression being shown.
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnli che Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet. In the figures, the same reference symbols relate to the same or functionally similar reference parts. The relevant reference parts are identified in the individual figures.
Fig. 1 zeigt eine schematische Darstellung einer Steuervorrichtung 10 gemäß einer Ausführungsform. Die Steuervorrichtung 10 umfasst eine Eingabeschnittstelle 12, einen Prozessor 14 und eine Ausgabeschnittstelle 16 auf. 1 shows a schematic illustration of a control device 10 according to an embodiment. The control device 10 comprises an input interface 12, a processor 14 and an output interface 16.
Die Eingabeschnittstelle 12 ist mit einem Umfeldsensor 20, etwa einem Radarsensor, verbunden und ist dadurch in der Lage, Daten aus der Umfelderfassung des Umfeld sensors 20 für ein Fahrzeug 50 (siehe Fig. 2-3) zu empfangen. The input interface 12 is connected to an environment sensor 20, for example a radar sensor, and is thereby able to receive data from the environment sensor 20 for a vehicle 50 (see FIGS. 2-3).
Der Prozessor 14 ist dazu ausgebildet, die empfangenen Daten dahingehend zu ver arbeiten, um eine Nickbewegung des Fahrzeugs 50 zu berechnen. Dazu legt der Prozessor 14 eine gedachte Hilfslinie 30, 32 an, die mittels linearer Regression meh rerer Umfeldbildpunkte 22, 24, 26, 28 zustande kommt. Dies ist in Fig. 2 näher ge zeigt. Im dort gezeigten Beispiel ist der Umfeldsensor 20 (etwa ein Radarsensor) di rekt am Fahrzeug 20, welches ein Traktor ist, angeordnet. Der Umfeldsensor 20 er fasst innerhalb eines Feldwinkels 56 die Umgebung des Fahrzeugs 20 und somit auch eine Standfläche, auf der sich das Fahrzeug 20 befindet. In Fig. 2 ist als durch gezogene Linie eine vordefinierte Standfläche 52 gezeigt, die die tatsächliche Stand fläche ist. Zugleich sind mehrere erste Umfeldbildpunkte 22 (etwa Radarpunkte) in der zeichnerischen Darstellung oberhalb der vordefinierten Standfläche 52 und meh rere zweite Umfeldbildpunkte 26 (etwa Radarpunkte) in der zeichnerischen Darstel lung unterhalb der vordefinierten Standfläche 52 zu sehen. Die Umfeldbildpunkte 22, 26 sind dabei so gewählt, dass sie innerhalb einer vordefinierten Entfernung 54 vom Umfeldsensor 20 liegen. Über die ersten bzw. zweiten wurde jeweils eine gedachte Hilfslinie 30, 32 gelegt, die mit der vordefinierten Standfläche 52 jeweils einen Winkel 34, 36 einschließt. The processor 14 is designed to process the received data in order to calculate a pitching movement of the vehicle 50. For this purpose, the processor 14 creates an imaginary auxiliary line 30, 32, which comes about by means of linear regression of several surrounding image points 22, 24, 26, 28. This is shown in more detail in Fig. 2 GE shows. In the example shown there, the environment sensor 20 (for example a radar sensor) is arranged directly on the vehicle 20, which is a tractor. The environment sensor 20 detects the environment of the vehicle 20 within a field angle 56 and thus also a standing area on which the vehicle 20 is located. In Fig. 2, a predefined standing area 52 is shown as a solid line, which is the actual standing area. At the same time, several first surrounding image points 22 (such as radar points) can be seen in the graphic representation above the predefined stand area 52 and several second surrounding image points 26 (such as radar points) in the graphic presentation below the predefined stand area 52. The surrounding image points 22, 26 are selected such that they lie within a predefined distance 54 from the environment sensor 20. An imaginary auxiliary line 30, 32 was placed over each of the first and second ones, each enclosing an angle 34, 36 with the predefined standing surface 52.
Die ersten Umfeldbildpunkte 22 spiegeln die vom Umfeldsensor 20 "gesehene" Standfläche für den Fall wieder, in dem das Fahrzeug 50 eine Nickbewegung vertikal nach oben oder zumindest mit einer vertikal nach oben zeigenden Bewegungskom ponente erfährt. Die zweiten Umfeldbildpunkte 26 spiegeln die vom Umfeldsensor 20 "gesehene" Standfläche für den Fall wieder, in dem das Fahrzeug 50 eine Nickbe wegung vertikal nach unten oder zumindest mit einer vertikal nach unten zeigenden Bewegungskomponente erfährt. The first environment image points 22 reflect the footprint "seen" by the environment sensor 20 for the case in which the vehicle 50 experiences a pitching movement vertically upwards or at least with a movement component pointing vertically upwards. The second environment image points reflect the footprint “seen” by the environment sensor 20 for the case in which the vehicle 50 experiences a vertically downward pitching motion or at least with a vertically downwardly pointing movement component.
Die Standfläche 52 umfasst eine Steigung 58, die mit dem zum Fahrzeug 20 nähe ren, ebenen Abschnitt einen Winkel 60 einschließt. Auch bei der Erfassung der Stei gung 58 können mehrere erste Umfeldbildpunkte 24 bzw. mehrere zweite Umfeld bildpunkte 28 bestimmt werden. The standing surface 52 comprises an incline 58 which forms an angle 60 with the flat section close to the vehicle 20. A plurality of first surrounding image points 24 or several second surrounding image points 28 can also be determined when the slope 58 is recorded.
Der Prozessor 14 ist ferner dazu ausgebildet, die Umfeldbildpunkte 22, 24, 26, 28 um den ermittelten Winkel 34, 36 zu korrigieren um somit den Erfassungsfehler, der auf die jeweilige Nickbewegung zurückzuführen ist, zu beheben. The processor 14 is also designed to correct the surrounding image points 22, 24, 26, 28 by the determined angle 34, 36 in order to correct the detection error that can be attributed to the respective pitching movement.
Dies ist in Fig. 3 beispielhaft gezeigt. Die ersten bzw. zweiten Umfeldbildpunkte 22, 24, 26, 28 werden, beispielsweise mit Hilfe einer Koordinatentransformation, derart verschoben bzw. verlagert, dass sie nunmehr auf der vordefinierten Standfläche 52 liegen. Somit erscheinen die ersten bzw. zweiten Umfeldbildpunkte 22, 24, 26, 28 so, als würden sie auf der tatsächlichen Standfläche liegen. Das Gleiche gilt auch für den Abschnitt mit der Steigung 58. This is shown by way of example in FIG. 3. The first and second surrounding image points 22, 24, 26, 28 are shifted or displaced, for example with the aid of a coordinate transformation, in such a way that they now lie on the predefined standing surface 52. The first and second surrounding image points 22, 24, 26, 28 thus appear as if they were located on the actual standing area. The same applies to the section with the slope 58.
Der Prozessor 14 kann außerdem die ermittelten Winkel 34, 36 mit einem vordefi nierten Schwellenwert vergleichen. Für den Fall, dass der ermittelte Winkel 34, 36 den vordefinierten Schwellenwert nicht überschreitet, wird der Winkel 34, 36 als durch eine Nickbewegung verursacht klassifiziert. Andernfalls wird der Winkel 34, 36 als durch eine Steigung verursacht klassifiziert. The processor 14 can also compare the determined angles 34, 36 with a predefined threshold value. In the event that the determined angle 34, 36 does not exceed the predefined threshold value, the angle 34, 36 is used as classified caused by a pitching motion. Otherwise, the angle 34, 36 is classified as being caused by a slope.
Die Ausgabeschnittstelle 16 ist dazu ausgebildet, ein Steuersignal, welches basie rend auf der berechneten Nickbewegung erzeugt wird, an den Umfeldsensor 20 (wie in Fig. 1 als gestrichelte Linie beispielhaft gezeigt), das Fahrzeug 50 oder eine ande re Entität (etwa einen Server oder ein Cloud-System, mit dem das Fahrzeug 50 und/oder der Umfeldsensor 20 kommunizieren kann) auszugeben. The output interface 16 is designed to send a control signal, which is generated based on the calculated pitching movement, to the environment sensor 20 (as shown by way of example as a dashed line in FIG a cloud system with which the vehicle 50 and / or the environment sensor 20 can communicate).
Bezuqszeichen Steuervorrichtung Reference control device
Eingabeschnittstelle Input interface
Prozessor processor
Ausgabeschnittstelle Output interface
Umfeldsensor Environment sensor
, 24 erste Umfeldbildpunkte, 24 first surrounding image points
, 28 zweite Umfeldbildpunkte, 28 second surrounding image points
, 32 Hilfslinie, 32 auxiliary line
, 36 Winkel , 36 angles
Fahrzeug vehicle
vordefinierte Standfläche predefined stand space
vordefinierte Entfernung predefined distance
Feldwinkel Field angle
Steigung pitch
Steigungswinkel Pitch angle

Claims

Patentansprüche Claims
1 . Steuerverfahren zum Berechnen einer Nickbewegung bei einem Fahrzeugan triebsstrang oder einem Fahrzeug (50), umfassend: 1 . A control method for calculating a pitching motion in a vehicle drive train or a vehicle (50), comprising:
Bestimmen mehrerer Umfeldbildpunkte (22, 24, 26, 28) auf einer von einem Umfeldsensor (20) erfassten Standfläche des Fahrzeugs (50); Determining a plurality of image points (22, 24, 26, 28) on a standing area of the vehicle (50) detected by an environment sensor (20);
Festlegen einer gedachten Hilfslinie (30, 32) für die mehreren Umfeldbildpunk te (22) mittels einer linearen Regression; und Establishing an imaginary auxiliary line (30, 32) for the several surrounding image points (22) by means of a linear regression; and
Ermitteln eines Winkels (34, 36) zwischen der Hilfslinie (30, 32) und einer vor definierten Standfläche (52). Determining an angle (34, 36) between the auxiliary line (30, 32) and a pre-defined standing surface (52).
2. Steuerverfahren nach Anspruch 1 , wobei sich die Umfeldbildpunkte (22, 24,2. Control method according to claim 1, wherein the surrounding image points (22, 24,
26, 28) in einem vordefinierten Bereich in der Nähe des Fahrzeugs (50) befinden. 26, 28) are located in a predefined area in the vicinity of the vehicle (50).
3. Steuerverfahren nach Anspruch 2, wobei sich die Umfeldbildpunkte (22, 24,3. Control method according to claim 2, wherein the surrounding image points (22, 24,
26, 28) innerhalb einer vordefinierten Entfernung (54) vom Umfeldsensor (20) befin den. 26, 28) within a predefined distance (54) from the environment sensor (20).
4. Steuerverfahren nach einem der vorangehenden Ansprüche, weiter umfas send Vergleichen des ermittelten Winkels (26) mit einem vordefinierten Schwellen wert. 4. Control method according to one of the preceding claims, further comprising comparing the determined angle (26) with a predefined threshold value.
5. Steuerverfahren nach Anspruch 4, weiter umfassend Klassifizieren des ermit telten Winkels (34, 36) als einen durch eine Nickbewegung verursachten Winkel so fern der ermittelte Winkel (34, 36) den vordefinierten Schwellenwert nicht überschrei tet. 5. The control method according to claim 4, further comprising classifying the determined angle (34, 36) as an angle caused by a pitching movement as far as the determined angle (34, 36) does not exceed the predefined threshold value.
6. Steuerverfahren nach Anspruch 4, weiter umfassend Korrigieren der Umfeld bildpunkte (22, 24, 26, 28) um den ermittelten Winkel (34, 36) wenn der ermittelte Winkel (34, 36) den vordefinierten Schwellenwert nicht überschreitet. 6. Control method according to claim 4, further comprising correcting the surrounding image points (22, 24, 26, 28) by the determined angle (34, 36) if the determined angle (34, 36) does not exceed the predefined threshold value.
7. Steuerverfahren nach einem der Ansprüche 4 bis 6, weiter umfassend Klassi fizieren des ermittelten Winkels (34, 36) als einen durch eine reale Steigung der Standfläche verursachten Winkel sofern der ermittelte Winkel (34, 36) den vordefi nierten Schwellenwert überschreitet. 7. Control method according to one of claims 4 to 6, further comprising classification of the determined angle (34, 36) as an angle caused by a real slope of the standing surface provided the determined angle (34, 36) exceeds the predefined threshold value.
8. Steuervorrichtung (10) zum Berechnen einer Nickbewegung bei einem Fahr zeugantriebsstrang oder einem Fahrzeug (50), umfassend einen Prozessor (14), der dazu ausgebildet ist: 8. Control device (10) for calculating a pitching movement in a vehicle drive train or a vehicle (50), comprising a processor (14) which is designed to:
mehrere Umfeldbildpunkte (22, 24, 26, 28) auf einer von einem Umfeldsensor (20) erfassten Standfläche des Fahrzeugs (50) zu bestimmen; to determine a plurality of image points (22, 24, 26, 28) on a standing area of the vehicle (50) detected by an environment sensor (20);
eine gedachte Hilfslinie (30, 32) für die mehreren Umfeldbildpunkte (22) mit tels einer linearen Regression festzulegen; und to define an imaginary auxiliary line (30, 32) for the plurality of surrounding image points (22) by means of a linear regression; and
einen Winkel (34, 36) zwischen der Hilfslinie (30, 32) und einer vordefinierten Standfläche (52) zu ermitteln. to determine an angle (34, 36) between the auxiliary line (30, 32) and a predefined standing surface (52).
9. Fahrzeugantriebsstrang oder Fahrzeug (50), insbesondere eine autonome oder teilautonome Landmaschine, umfassend eine Steuervorrichtung (10) nach An spruch 8. 9. Vehicle drive train or vehicle (50), in particular an autonomous or semi-autonomous agricultural machine, comprising a control device (10) according to claim 8.
10. Fahrzeugantriebsstrang oder Fahrzeug (50), weiter umfassend einen Sensor (20) zur Umfelderfassung. 10. Vehicle drive train or vehicle (50), further comprising a sensor (20) for detecting the surroundings.
11. Computer-Programm-Produkt, das in einem Datenträger gespeichert und dazu ausgebildet ist, um das Steuerverfahren nach Anspruch 1 durchzuführen, wenn das Computer-Programm-Produkt durch einen Rechner ausgeführt wird. 11. Computer program product which is stored in a data carrier and is designed to carry out the control method according to claim 1 when the computer program product is executed by a computer.
PCT/EP2020/050341 2019-02-12 2020-01-09 Control device and method, and computer program product for calculating a pitching movement of a vehicle, in particular an autonomous or semi-autonomous vehicle, e.g. an autonomous or semi-autonomous agricultural machine WO2020164813A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019201795.9A DE102019201795A1 (en) 2019-02-12 2019-02-12 Control device and method as well as computer program product for calculating a pitching movement of a vehicle, in particular of an autonomous or partially autonomous vehicle, for example an autonomous or partially autonomous agricultural machine
DE102019201795.9 2019-02-12

Publications (1)

Publication Number Publication Date
WO2020164813A1 true WO2020164813A1 (en) 2020-08-20

Family

ID=69156428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/050341 WO2020164813A1 (en) 2019-02-12 2020-01-09 Control device and method, and computer program product for calculating a pitching movement of a vehicle, in particular an autonomous or semi-autonomous vehicle, e.g. an autonomous or semi-autonomous agricultural machine

Country Status (2)

Country Link
DE (1) DE102019201795A1 (en)
WO (1) WO2020164813A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252864A1 (en) * 2003-06-13 2004-12-16 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US20080024607A1 (en) * 2006-07-26 2008-01-31 Toyota Jidosha Kabushiki Kaisha Image display apparatus and method
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19932094A1 (en) * 1999-07-09 2001-01-25 Daimler Chrysler Ag Multi-sensory, predictive road condition detection
DE102008011699B4 (en) * 2007-03-23 2015-09-24 Volkswagen Ag Method for determining a property for the operation of a motor vehicle and correspondingly designed motor vehicle
DE102010044558A1 (en) * 2010-09-07 2012-03-08 Valeo Schalter Und Sensoren Gmbh Method and device for automatically adjusting an orientation of a light emitted by a headlight of a motor vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252864A1 (en) * 2003-06-13 2004-12-16 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US20080024607A1 (en) * 2006-07-26 2008-01-31 Toyota Jidosha Kabushiki Kaisha Image display apparatus and method
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry

Also Published As

Publication number Publication date
DE102019201795A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
DE102017105305A1 (en) METHOD FOR AUTOMATIC DETERMINATION OF A SENSOR POSITION
DE102018120786A1 (en) Method and device for monitoring an autonomous vehicle
DE102018120845A1 (en) Method and device for monitoring an autonomous vehicle
DE102009014105B4 (en) Detection system for a vehicle
DE102018103803B4 (en) SYSTEM FOR DETECTING IMPROPER SENSOR INSTALLATION WITHIN A VEHICLE TO REDUCE THE HAZARDS RELATED TO OBJECT DETECTION
DE102017113747A1 (en) DYNAMIC ADAPTATION OF RADAR PARAMETERS
DE102018120789A1 (en) Method and device for monitoring an autonomous vehicle
WO2015139864A1 (en) Method and device for operating a vehicle
EP2793045A1 (en) Method for testing an environment detection system of a vehicle
WO2001050154A1 (en) Method and device for mismatch recognition in a vehicle radar system or a vehicle sensor system
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
DE102018201154A1 (en) Method for calibrating sensors and / or sensor arrangements
DE102018222663A1 (en) Method for adaptively determining an integrity area of a parameter estimate
AT521647A1 (en) Method and system for data preparation, for training an artificial neural network and for analyzing sensor data
DE102019201914A1 (en) Trajectory determination for agricultural machinery using raster maps
DE102018128583A1 (en) VEHICLE RADAR CONTROL
DE102016212716A1 (en) CONTROL DEVICE AND METHOD
EP4007891B1 (en) Method and device for locating a vehicle in a surrounding area
WO2024012928A1 (en) Method for training a neural network
WO2020169386A1 (en) Method and computer program product for adapting the resolution of a multisensor system of a road vehicle, and controller for a multisensor system and computer program product
WO2020011516A1 (en) Method for classifying a relevance of an object
DE102017201796A1 (en) Control device for determining a self-motion of a motor vehicle and motor vehicle and method for providing the control device
WO2020164813A1 (en) Control device and method, and computer program product for calculating a pitching movement of a vehicle, in particular an autonomous or semi-autonomous vehicle, e.g. an autonomous or semi-autonomous agricultural machine
DE102019213867A1 (en) Obstacle detection comprising a recurrent neural network
DE102019211327B4 (en) Device, vehicle and method for improved multi-radar sensor calibration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20700357

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20700357

Country of ref document: EP

Kind code of ref document: A1