DE102018127981A1

DE102018127981A1 - Method for determining a height of a raised object, in particular a curb; Control device; Driver assistance system; as well as computer program product

Info

Publication number: DE102018127981A1
Application number: DE102018127981.7A
Authority: DE
Inventors: Mahesh KONDIPARTHI; Jonathan Horgan; Fergal O'Malley; Pantelis ERMILIOS
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-11-08
Filing date: 2018-11-08
Publication date: 2020-05-14

Abstract

Die Erfindung betrifft ein Verfahren zum Klassifizieren eines erhabenen Objekts (2). Um eine umfangreichere Klassifizierung von erhabenen Objekten (2), insbesondere Bordsteinen, in einem Umgebungsbereich (U) eines Kraftfahrzeugs (1) zu ermöglichen, sind folgende Schritte vorgesehen:- Transformieren eines ersten und eines zweiten Ursprungsbildes in ein jeweiliges transformiertes Bild (21, 22), wobei die jeweiligen Ursprungsbilder in ein gemeinsames Bezugssystem transformiert werden und der Umgebungsbereich (U) durch die Ursprungsbilder jeweils aus einer unterschiedlichen Perspektive abgebildet wird,- Bestimmen einer ersten (G) und einer zweiten Grenzkoordinate (G) in dem ersten transformierten Bild (21) sowie Bestimmen einer dritten (G) und einer vierten Grenzkoordinate (G) in dem zweiten transformierten Bild (22), und- Bestimmen einer Höhe (h) des erhabenen Objekts (2) basierend auf einem Abstand (d, d) des erhabenen Objekts (2) von dem Bilderfassungssystem (10) und einer Anbauposition (h, h) des Bilderfassungssystems (10) an dem Kraftfahrzeug (1) sowie basierend auf einem Abstand (L) zwischen der ersten Grenzkoordinate (G) sowie der zweiten Grenzkoordinate (G) und/oder basierend auf einem Abstand (L) zwischen der dritten Grenzkoordinate (G) sowie der vierten Grenzkoordinate (G).The invention relates to a method for classifying a raised object (2). The following steps are provided to enable a more extensive classification of raised objects (2), in particular curbs, in a surrounding area (U) of a motor vehicle (1): - Transforming a first and a second original image into a respective transformed image (21, 22 ), the respective original images being transformed into a common reference system and the surrounding area (U) being represented by the original images from a different perspective, - determining a first (G) and a second boundary coordinate (G) in the first transformed image (21 ) and determining a third (G) and a fourth boundary coordinate (G) in the second transformed image (22), and- determining a height (h) of the raised object (2) based on a distance (d, d) of the raised object (2) from the image acquisition system (10) and a mounting position (h, h) of the image acquisition system (10) on the motor vehicle (1) and based on a distance (L) between the first boundary coordinate (G) and the second boundary coordinate (G) and / or based on a distance (L) between the third boundary coordinate (G) and the fourth boundary coordinate (G).

Description

Die Erfindung betrifft ein Verfahren zum Klassifizieren eines erhabenen Objekts, insbesondere eines Bordsteins, in einem Umgebungsbereich eines Kraftfahrzeugs anhand von Bildern eines Bilderfassungssystems des Kraftfahrzeugs. Außerdem betrifft die Erfindung eine Steuereinrichtung, ein Fahrerassistenzsystem sowie ein Computerprog rammprodu kt.The invention relates to a method for classifying a raised object, in particular a curb, in a surrounding area of a motor vehicle on the basis of images of an image acquisition system of the motor vehicle. In addition, the invention relates to a control device, a driver assistance system and a computer program rammprodu kt.

Fahrerassistenzsysteme können zum Bereitstellen jeweiliger Fahrerassistenzfunktionen auf Bilderfassungssysteme eines Kraftfahrzeugs angewiesen sein. Beispiele für Fahrerassistenzsysteme sind Spurhalteassistenten, Abstandstempomaten, Notbremsassistenten und autonome Fahrtsysteme. Ein zentraler Aspekt beim Erfassen der Umgebung des Kraftfahrzeugs liegt darin, Fahrbahnmarkierungen und erhabene Objekte, insbesondere Bordsteine, in Bildern eines Bilderfassungssystems zu unterscheiden. Dies gilt insbesondere dann, wenn das Bilderfassungssystem zumindest teilweise als Kamerasystem ausgeführt ist.Driver assistance systems can be dependent on image acquisition systems of a motor vehicle in order to provide respective driver assistance functions. Examples of driver assistance systems are lane keeping assistants, distance control, emergency brake assistants and autonomous driving systems. A central aspect in capturing the surroundings of the motor vehicle is to distinguish road markings and raised objects, in particular curbs, in images from an image acquisition system. This applies in particular if the image acquisition system is at least partially designed as a camera system.

In diesem Kontext offenbart die US 2016/0 104 047 A1 das Vergleichen zweier aufeinanderfolgend aufgenommener „top-view Bilder“ eines Kamerasystems, wobei ein optischer Fluss in den beiden aufeinanderfolgend aufgenommenen Bildern bestimmt und zum Erkennen von Bordsteinen genutzt wird. Als „top-view Bilder“ werden in eine Vogelperspektive überführte Bilder einer Umgebung eines Kraftfahrzeugs bezeichnet.In this context, the US 2016/0 104 047 A1 the comparison of two successively recorded “top-view images” of a camera system, an optical flow in the two successively recorded images being determined and used to recognize curbs. “Top-view images” are images of an environment of a motor vehicle that are transferred into a bird's eye view.

Die DE 10 2016 124 747 A1 beschreibt ein Verfahren zum Erkennen eines erhabenen Objekts, insbesondere eines Bordsteins, in einer Umgebung eines Kraftfahrzeugs. Hierbei wird das erhabene Objekt in überlappenden Bereichen unterschiedlicher Kameras eines Kamerasystems unter Ausnutzung von Stereoskopie bestimmt.The DE 10 2016 124 747 A1 describes a method for recognizing a raised object, in particular a curb, in the surroundings of a motor vehicle. Here, the raised object in overlapping areas of different cameras of a camera system is determined using stereoscopy.

Es ist Aufgabe der vorliegenden Erfindung, eine umfangreichere Klassifizierung von erhabenen Objekten, insbesondere Bordsteinen, in einer Umgebung eines Kraftfahrzeugs zu ermöglichen.It is an object of the present invention to enable a more extensive classification of raised objects, in particular curbs, in the surroundings of a motor vehicle.

Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen und zweckmäßige Weiterbildungen sind Gegenstand der Unteransprüche.This object is achieved according to the invention by the subject matter of the independent claims. Advantageous embodiments and expedient further developments are the subject of the subclaims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Klassifizieren eines erhabenen Objekts, insbesondere eines Bordsteins, in einem Umgebungsbereich eines Kraftfahrzeugs. Das Verfahren weist die folgenden Schritte auf:

- Transformieren eines ersten Ursprungsbildes in ein erstes transformiertes Bild und eines zweiten Ursprungsbildes in ein zweites transformiertes Bild, wobei das jeweilige Ursprungsbild des Kraftfahrzeugs in ein gemeinsames Bezugssystem transformiert wird, und wobei der Umgebungsbereich durch das erste Ursprungsbild und das zweite Ursprungsbild jeweils zumindest teilweise aus einer unterschiedlichen Perspektive abgebildet wird,
- Bestimmen einer ersten Grenzkoordinate und einer von der ersten Grenzkoordinate verschiedenen zweiten Grenzkoordinate in dem ersten transformierten Bild sowie Bestimmen einer dritten Grenzkoordinate und einer von der dritten Grenzkoordinate verschiedenen vierten Grenzkoordinate in dem zweiten transformierten Bild, wobei die jeweiligen Grenzkoordinaten durch das erhabene Objekt hervorgerufene Ränder in dem jeweiligen transformierten Bild repräsentieren, und
- Bestimmen einer Höhe des erhabenen Objekts basierend auf einem Abstand des erhabenen Objekts von dem Bilderfassungssystem und einer Anbauposition des Bilderfassungssystems an dem Kraftfahrzeug sowie basierend auf einem Abstand zwischen der ersten sowie der zweiten Grenzkoordinate und/oder basierend auf einem Abstand zwischen der dritten sowie der vierten Grenzkoordinate.

A first aspect of the invention relates to a method for classifying a raised object, in particular a curb, in a surrounding area of a motor vehicle. The process has the following steps:

- Transforming a first original image into a first transformed image and a second original image into a second transformed image, the respective original image of the motor vehicle being transformed into a common reference system, and the surrounding area being at least partially composed of one by the first original image and the second original image different perspective is mapped
- Determining a first boundary coordinate and a second boundary coordinate different from the first boundary coordinate in the first transformed image, and determining a third boundary coordinate and a fourth boundary coordinate different from the third boundary coordinate in the second transformed image, the respective boundary coordinates caused by the raised object in represent the respective transformed image, and
- Determining a height of the raised object based on a distance of the raised object from the image acquisition system and a mounting position of the image acquisition system on the motor vehicle and based on a distance between the first and the second limit coordinates and / or based on a distance between the third and fourth Border coordinate.

Dem Schritt des Transformierens kann ein weiterer Schritt vorausgehen, in welchem das erste Ursprungsbild und/oder das zweite Ursprungsbild aus dem Bilderfassungssystem des Kraftfahrzeugs empfangen werden. Beispielsweise handelt es sich bei dem Bilderfassungssystem um ein Kamerasystem mit einer oder mehreren Kameras. Alternativ oder zusätzlich kann das Bilderfassungssystem andere bildgebende Sensoren, beispielsweise einen Radarsensor, einen Ultraschallsensor oder einen Lidar-Sensor, aufweisen. Bei dem ersten Ursprungsbild und dem zweiten Ursprungsbild kann es sich um ein jeweiliges Kamerabild handeln.The step of transforming can be preceded by a further step in which the first original image and / or the second original image are received from the image acquisition system of the motor vehicle. For example, the image acquisition system is a camera system with one or more cameras. Alternatively or additionally, the image acquisition system can have other imaging sensors, for example a radar sensor, an ultrasound sensor or a lidar sensor. The first original image and the second original image can be a respective camera image.

Das erste Ursprungsbild und das zweite Ursprungsbild bilden den Umgebungsbereich des Kraftfahrzeugs jeweils zumindest teilweise ab. Das erste Ursprungsbild und das zweite Ursprungsbild stellen den Umgebungsbereich jeweils aus einer unterschiedlichen Perspektive dar. Dabei wird durch erste Ursprungsbild und das zweite Ursprungsbild gemeinsam eine stereoskopische Darstellung des Ursprungsbereichs bereitgestellt. Ist das Bilderfassungssystem als Kamerasystem ausgeführt, so können das erste Ursprungsbild und das zweite Ursprungsbild mit unterschiedlichen Kameraperspektive aufgenommen werden. Diese unterschiedliche Kameraperspektive kann durch eine Bewegung derselben Kamera erzeugt werden (Bewegungsstereoskopie, auch als „motion stereo“ bezeichnet). Vorteilhafterweise werden das erste Ursprungsbild und das zweite Ursprungsbild aus unterschiedlichen Kameras des Kamerasystems empfangen beziehungsweise durch unterschiedliche Kameras des Kamerasystems aufgenommen. Dabei können die unterschiedlichen Kameras in unterschiedlicher Position an dem Kraftfahrzeug angeordnet sein. Beispielsweise sind die unterschiedlichen Kameras in unterschiedlicher Höhe an dem Kraftfahrzeug angeordnet. Dies kann auch als unterschiedliche Position in Bezug auf eine Fahrzeughochrichtung des Kraftfahrzeugs bezeichnet werden. Alternativ oder zusätzlich können die unterschiedlichen Kameras in unterschiedlicher Position bezogen auf eine Fahrzeugquerrichtung des Kraftfahrzeugs an dem Kraftfahrzeug angeordnet sein. Beispielsweise wird das erste Ursprungsbild durch eine erste Kamera und das zweite Ursprungsbild durch eine zweite Kamera des Bilderfassungssystems aufgenommen. Der Umgebungsbereich kann durch das erste Ursprungsbild und das zweite Ursprungsbild binokular abgebildet werden.The first original image and the second original image each at least partially depict the surrounding area of the motor vehicle. The first original image and the second original image each represent the surrounding area from a different perspective. The first original image and the second original image together provide a stereoscopic representation of the original area. If the image acquisition system is designed as a camera system, the first original image and the second original image can be recorded with different camera perspectives. This different camera perspective can be caused by a movement generated by the same camera (motion stereoscopy, also known as "motion stereo"). The first original image and the second original image are advantageously received from different cameras of the camera system or recorded by different cameras of the camera system. The different cameras can be arranged in different positions on the motor vehicle. For example, the different cameras are arranged at different heights on the motor vehicle. This can also be referred to as a different position with respect to a vertical direction of the motor vehicle. Alternatively or additionally, the different cameras can be arranged on the motor vehicle in different positions with respect to a vehicle transverse direction of the motor vehicle. For example, the first original image is recorded by a first camera and the second original image by a second camera of the image acquisition system. The surrounding area can be imaged binocularly by the first original image and the second original image.

Im Rahmen dieser Anmeldung ist die Fahrzeughochrichtung insbesondere senkrecht zu einer Fläche ausgerichtet, auf der das Kraftfahrzeug steht. Die Höhe des erhabenen Objekts ist insbesondere parallel zur Fahrzeughochrichtung des Kraftfahrzeugs ausgerichtet. Die Fahrzeugquerrichtung ist insbesondere senkrecht sowohl zur Fahrzeughochrichtung als auch zu einer Normalfahrtrichtung des Kraftfahrzeugs. Als Normalfahrtrichtung wird die Richtung bezeichnet, in welche sich das Kraftfahrzeug bei nicht eingeschlagenen Lenkrad bei Vorwärtsfahrt bewegt. Die Normalfahrtrichtung wird im Rahmen dieser Anmeldung auch als Fahrzeuglängsrichtung bezeichnet. Die Fahrzeuglängsrichtung ist insbesondere senkrecht sowohl zur Fahrzeugquerrichtung als auch zur Fahrzeughochachse ausgerichtet.In the context of this application, the vertical direction of the vehicle is in particular oriented perpendicular to a surface on which the motor vehicle is standing. The height of the raised object is in particular aligned parallel to the vertical direction of the motor vehicle. The vehicle transverse direction is in particular perpendicular to both the vertical direction of the vehicle and to a normal direction of travel of the motor vehicle. The normal direction of travel is the direction in which the motor vehicle moves when the steering wheel is not turned when driving forward. The normal driving direction is also referred to as the vehicle longitudinal direction in the context of this application. The longitudinal direction of the vehicle is in particular perpendicular to both the transverse direction of the vehicle and the vertical axis of the vehicle.

Das Transformieren des ersten Ursprungsbildes in das erste transformierte Bild beziehungsweise des zweiten Ursprungsbildes in das zweite transformierte Bild kann entsprechend einer jeweiligen vorbestimmten Transformationsvorschrift erfolgen. Die jeweilige vorbestimmte Transformationsvorschrift kann dabei derart vorgesehen sein, dass durch Anwendung der jeweiligen vorbestimmten Translationsvorschrift das jeweilige Ursprungsbild in eine Vogelperspektive (auch mit dem englischen Fachbegriff „top-view“ bezeichnet) überführt wird. Mit anderen Worten können das erste Ursprungsbild und das zweite Ursprungsbild bei dem Transformieren in die Vogelperspektive überführt werden. Das erste transformierte Bild und das zweite transformierte Bild können den Umgebungsbereich dementsprechend aus der Vogelperspektive darstellen. Die Vogelperspektive kann das gemeinsame Bezugssystem sein.The transformation of the first original image into the first transformed image or of the second original image into the second transformed image can take place in accordance with a respective predetermined transformation rule. The respective predetermined transformation rule can be provided such that the respective original image is converted into a bird's eye view (also referred to with the English technical term “top view”) by using the respective predetermined translation rule. In other words, the first original image and the second original image can be transformed into a bird's eye view during the transformation. The first transformed image and the second transformed image can accordingly represent the surrounding area from a bird's eye view. The bird's eye view can be the common frame of reference.

Bei dem Bestimmen der Grenzkoordinaten können diese durch das Auswerten von Gradienten in dem jeweiligen transformierten Bild bestimmt. Beispielsweise werden in dem ersten transformierten Bild Gradienten ausgewertet und anhand dieser Gradienten die erste und zweite Grenzkoordinate bestimmt. Analog können in dem zweiten transformierten Bild Gradienten ausgewertet und anhand dieser Gradienten die dritte und die vierte Grenzkoordinate bestimmt werden. Insbesondere werden die Gradienten in dem jeweiligen Bild parallel zur Fahrzeugquerrichtung ausgewertet. Mit anderen Worten können die Gradienten in dem jeweiligen Bild entsprechend der Fahrzeugquerrichtung gebildet werden. In diesem Fall geben die Gradienten eine jeweilige Veränderung von Pixelwerten entlang der Fahrzeugquerrichtung an. Dies ist insbesondere dann vorteilhaft, wenn das erhabene Objekt, insbesondere der Bordstein, zumindest im Wesentlichen senkrecht zur Fahrzeugquerrichtung, insbesondere parallel zur Fahrzeuglängsrichtung, verläuft. Die jeweilige Grenzkoordinate kann bezogen auf die Fahrzeugquerrichtung angeben sein. Insbesondere kann eine jeweilige der Grenzkoordinaten den Abstand des jeweiligen Randes in dem Bild von dem Kraftfahrzeug in Fahrzeugquerrichtung angeben. Somit kann die Grenzkoordinate auf die Fahrzeugquerrichtung bezogen sein.When determining the boundary coordinates, these can be determined by evaluating gradients in the respective transformed image. For example, gradients are evaluated in the first transformed image and the first and second limit coordinates are determined on the basis of these gradients. Analogously, gradients can be evaluated in the second transformed image and the third and fourth limit coordinates can be determined on the basis of these gradients. In particular, the gradients in the respective image are evaluated parallel to the vehicle transverse direction. In other words, the gradients in the respective image can be formed in accordance with the vehicle transverse direction. In this case, the gradients indicate a respective change in pixel values along the vehicle transverse direction. This is particularly advantageous if the raised object, in particular the curb, is at least substantially perpendicular to the vehicle transverse direction, in particular parallel to the vehicle longitudinal direction. The respective limit coordinate can be specified in relation to the vehicle transverse direction. In particular, a respective one of the boundary coordinates can indicate the distance of the respective edge in the image from the motor vehicle in the vehicle transverse direction. The limit coordinate can thus be related to the vehicle transverse direction.

In einem Zwischenschritt kann anhand der Grenzkoordinaten geprüft oder bestimmt werden, ob es sich bei dem erhabenen Objekt tatsächlich um ein erhabenes Objekt handelt. Dadurch kann ausgeschlossen werden, dass ein flaches Objekt fälschlicherweise als das erhabene Objekt angenommen wird. Dieses Prüfen oder Bestimmen, ob es sich um ein erhabenes Objekt handelt, erfolgt insbesondere anhand der ersten, zweiten, dritten und vierten Grenzkoordinate. Insbesondere wird das erhabene Objekt als solches bestimmt, wenn sich der Abstand zwischen der ersten Grenzkoordinate und der zweiten Grenzkoordinate von dem Abstand zwischen der dritten Grenzkoordinate und der vierten Grenzkoordinate unterscheidet.In an intermediate step, the boundary coordinates can be used to check or determine whether the raised object is actually a raised object. This can rule out that a flat object is incorrectly assumed to be the raised object. This checking or determining whether it is a raised object takes place in particular on the basis of the first, second, third and fourth boundary coordinates. In particular, the raised object is determined as such if the distance between the first boundary coordinate and the second boundary coordinate differs from the distance between the third boundary coordinate and the fourth boundary coordinate.

Anschließend kann unter Ausnutzung geometrischer Zusammenhänge das Bestimmen der Höhe des erhabenen Objekts erfolgen. Hierzu sind zumindest drei Größen erforderlich: Einerseits der Abstand des erhabenen Objekts von dem Bilderfassungssystem, andererseits die Anbaupositionen des Bilderfassungssystems an dem Kraftfahrzeug und zumindest eine der beiden folgenden Größen: Abstand zwischen der ersten Grenzkoordinate und der zweiten Grenzkoordinate oder Abstand zwischen der dritten Grenzkoordinate und der vierten Grenzkoordinate. In manchen Ausführungsformen werden alle vier der vorstehend genannten Größen zum Bestimmen der Höhe des erhabenen Objekts herangezogen.The height of the raised object can then be determined using geometric relationships. At least three sizes are required for this: on the one hand the distance of the raised object from the image acquisition system, on the other hand the mounting positions of the image acquisition system on the motor vehicle and at least one of the following two sizes: distance between the first border coordinate and the second border coordinate or distance between the third border coordinate and the fourth border coordinate. In some embodiments, all four of the aforementioned sizes are used to determine the height of the raised object.

Der Abstand des erhabenen Objekts von dem Bilderfassungssystem ist insbesondere durch die erste, die zweite, die dritte und/oder die vierte Grenzkoordinate repräsentiert. Der Abstand des erhabenen Objekts kann aufgrund perspektivischer Verzerrung in dem jeweiligen transformierten Bild unterschiedlich dargestellt werden. Dementsprechend kann sich der Abstand des erhabenen Objekts in dem ersten und dem zweiten transformierten Bild voneinander unterscheiden. Vorteilhafterweise gibt der Abstand des erhabenen Objekts von dem Bilderfassungssystem den jeweiligen Abstand des erhabenen Objekts in Fahrzeugquerrichtung von der jeweiligen Kamera an, mit der das jeweilige Ursprungsbild aufgenommen wurde. Insbesondere wird aus der ersten und der zweiten Grenzkoordinate diejenige Grenzkoordinate als Abstand des erhabenen Objekts von dem Bilderfassungssystem in dem ersten transformierten Bild ausgewählt, welche eine Position näher zum Kraftfahrzeug repräsentiert. Insbesondere wird aus der dritten und der vierten Grenzkoordinate diejenige Grenzkoordinate als Abstand des erhabenen Objekts von dem Bilderfassungssystem in dem zweiten transformierten Bild ausgewählt, welche eine Position näher zum Kraftfahrzeug präsentiert. Beispielsweise gibt ein erster Abstandswert den Abstand des erhabenen Objekts von der ersten Kamera in Fahrzeugquerrichtung und ein zweiter Abstandswert den Abstand des erhabenen Objekts von der zweiten Kamera in Fahrzeugquerrichtung an. The distance of the raised object from the image acquisition system is represented in particular by the first, the second, the third and / or the fourth boundary coordinate. The distance of the raised object can be represented differently in the respective transformed image due to perspective distortion. Accordingly, the distance of the raised object in the first and the second transformed image can differ from one another. The distance of the raised object from the image acquisition system advantageously indicates the respective distance of the raised object in the vehicle transverse direction from the respective camera with which the respective original image was recorded. In particular, from the first and the second boundary coordinates, that boundary coordinate is selected as the distance of the raised object from the image acquisition system in the first transformed image, which represents a position closer to the motor vehicle. In particular, from the third and fourth boundary coordinates, that boundary coordinate is selected as the distance of the raised object from the image acquisition system in the second transformed image, which presents a position closer to the motor vehicle. For example, a first distance value indicates the distance of the raised object from the first camera in the vehicle transverse direction and a second distance value indicates the distance of the raised object from the second camera in the vehicle transverse direction.

Die Anbauposition des Bilderfassungssystems gibt insbesondere eine Höhe an, in welcher das Bilderfassungssystem an dem Kraftfahrzeug angeordnet ist. Insbesondere betrifft die Anbauposition eine jeweilige Höhe, in der eine jeweilige Kamera des Bilderfassungssystems an dem Kraftfahrzeug angeordnet ist. Beispielsweise gibt ein erster Höhenwert die Höhe an, in der die erste Kamera an dem Kraftfahrzeug angeordnet ist, und ein zweiter Höhenwert die Höhe an, in dem die zweite Kamera an dem Kraftfahrzeug angeordnet ist.The mounting position of the image acquisition system specifies in particular a height at which the image acquisition system is arranged on the motor vehicle. In particular, the mounting position relates to a respective height at which a respective camera of the image acquisition system is arranged on the motor vehicle. For example, a first height value indicates the height at which the first camera is arranged on the motor vehicle and a second height value specifies the height at which the second camera is arranged on the motor vehicle.

Durch den Abstand zwischen der ersten und der zweiten Grenzkoordinate sowie dem Abstand zwischen der dritten und der vierten Grenzkoordinate können jeweils Abmessungen des erhabenen Objekts repräsentiert werden. Durch die perspektivische Verzerrung aufgrund der unterschiedlichen Perspektive können die Abmessungen des erhabenen Objekts, insbesondere bezüglich der Fahrzeughochrichtung, in dem ersten und dem zweiten transformierten Bild voneinander abweichen. Anhand dieser perspektivischen Verzerrung wird vorliegend die Höhe des erhabenen Objekts, insbesondere des Bordsteins, bestimmt.Dimensions of the raised object can be represented by the distance between the first and the second boundary coordinate and the distance between the third and the fourth boundary coordinate. Due to the perspective distortion due to the different perspective, the dimensions of the raised object, in particular with respect to the vehicle vertical direction, can differ from one another in the first and the second transformed image. Based on this perspective distortion, the height of the raised object, in particular the curb, is determined in the present case.

Durch die erste Grenzkoordinate und die dritte Grenzkoordinate kann eine Unterkante des erhabenen Objekts als Rand des erhabenen Objekts in dem jeweiligen transformierten Bild repräsentiert sein. Durch die zweite Grenzkoordinate und die vierte Grenzkoordinate kann eine Oberkante des erhabenen Objekts als Rand des erhabenen Objekts repräsentiert sein. Durch den Abstand zwischen der ersten und der zweiten Grenzkoordinate kann eine Flanke des erhabenen Objekts in dem ersten transformierten Bild repräsentiert sein. Durch den Abstand zwischen der dritten und der vierten Grenzkoordinate kann eine Flanke des erhabenen Objekts in dem zweiten transformierten Bild repräsentiert sein. Die jeweilige Flanke kann sich hierbei parallel zu einer Hochrichtung des erhabenen Objekts und/oder parallel zur Fahrzeughochrichtung erstrecken. Aufgrund der perspektivischen Verzerrung kann die Flanke in den beiden transformierten Bildern unterschiedlich hoch dargestellt werden. Dies wird zum Berechnen der Höhe des erhabenen Objekts genutzt.The first boundary coordinate and the third boundary coordinate can represent a lower edge of the raised object as the edge of the raised object in the respective transformed image. The second boundary coordinate and the fourth boundary coordinate can represent an upper edge of the raised object as the edge of the raised object. A flank of the raised object can be represented in the first transformed image by the distance between the first and the second boundary coordinate. A flank of the raised object can be represented in the second transformed image by the distance between the third and the fourth boundary coordinate. The respective flank can extend parallel to a vertical direction of the raised object and / or parallel to the vertical direction of the vehicle. Due to the perspective distortion, the flank can be displayed at different heights in the two transformed images. This is used to calculate the height of the raised object.

Gemäß einer Weiterbildung ist vorgesehen, dass die erste und die zweite Grenzkoordinate in dem ersten transformierten Bild derart bestimmt werden, dass sie in einer Reihe bezüglich der Fahrzeugquerrichtung angeordnet sind, und die dritte und die vierte Grenzkoordinate in dem zweiten transformierten Bild derart bestimmt werden, dass sie einer Reihe bezüglich der Fahrzeugquerrichtung angeordnet sind. Mit anderen Worten können durch die erste und die zweite Grenzkoordinate beziehungsweise deren Abstand Abmessungen des erhabenen Objekts in dem ersten transformierten Bild bezüglich der Fahrzeugquerrichtung angegeben werden. Durch die dritte und die vierte Grenzkoordinate beziehungsweise deren Abstand können Abmessungen des erhabenen Objekts in dem zweiten transformierten Bild bezüglich der Fahrzeugquerrichtung angegeben werden. Dies ist insbesondere dann vorteilhaft, wenn sich das erhabene Objekt entlang der Fahrzeuglängsrichtung erstreckt, wie es beispielsweise im Falle eines Bordsteins der Fall ist.According to a further development, it is provided that the first and second boundary coordinates in the first transformed image are determined such that they are arranged in a row with respect to the vehicle transverse direction, and the third and fourth boundary coordinates in the second transformed image are determined such that they are arranged in a row with respect to the vehicle transverse direction. In other words, the dimensions of the raised object can be specified in the first transformed image with respect to the vehicle transverse direction by the first and the second boundary coordinate or their distance. The third and fourth boundary coordinates or their spacing allow dimensions of the raised object to be specified in the second transformed image with respect to the vehicle transverse direction. This is particularly advantageous if the raised object extends along the longitudinal direction of the vehicle, as is the case, for example, in the case of a curb.

Gemäß einer Weiterbildung ist vorgesehen, dass bei dem Bestimmen der Höhe des erhabenen Objekts mittels einer Verschiebungsvariable berücksichtigt wird, dass die erste oder die zweite sowie die dritte oder die vierte Grenzkoordinate aufgrund eines Schattenwurfs an dem erhabenen Objekt verschoben bestimmt werden können. Aufgrund des Schattenwurfs kann ein durch das erhabene Objekt hervorgerufener Rand in dem jeweiligen Bild nicht einer tatsächlichen Position des jeweiligen Randes entsprechen sondern verschoben sein. In diesem Fall kann der durch das erhabene Objekt hervorgerufene Rand ein Rand des Schattenwurfs sein. Mit anderen Worten kann der Rand des Schattenwurfs fälschlicherweise als der Rand, insbesondere Unterkante, des erhabenen Objekts bestimmt werden. Dies wird mittels der Verschiebungsvariablen berücksichtigt, sodass in jedem Fall die Höhe des erhabenen Objekts korrekt bestimmt wird. According to a further development, it is provided that when determining the height of the raised object by means of a displacement variable, it is taken into account that the first or the second as well as the third or the fourth limit coordinate can be determined shifted due to a shadow cast on the raised object. Due to the shadow cast, an edge caused by the raised object in the respective image may not correspond to an actual position of the respective edge but may be shifted. In this case, the edge caused by the raised object can be an edge of the shadow cast. In other words, the edge of the shadow cast can incorrectly be determined as the edge, in particular the lower edge, of the raised object. This is taken into account by means of the displacement variable, so that the height of the raised object is correctly determined in any case.

Gemäß einer Weiterbildung ist vorgesehen, dass eine erste Schattenkoordinate in dem ersten transformierten Bild sowie eine zweite Schattenkoordinate in dem zweiten transformierten Bild bestimmt wird, wobei durch die jeweilige Schattenkoordinate der Schattenwurf an dem erhabenen Objekt in dem jeweiligen Bild repräsentiert wird. In diesem Fall ist insbesondere vorgesehen, dass die jeweilige Schattenkoordinate zusätzlich zu der ersten und der zweiten beziehungsweise der dritten und der vierten Grenzkoordinate bestimmt wird. Die jeweilige Schattenkoordinate repräsentiert insbesondere den jeweiligen Rand des Schattenwurfs an dem erhabenen Objekt in dem jeweiligen transformierten Bild. Insbesondere kann die Höhe des erhabenen Objekts in diesem Fall basierend auf der ersten und/oder der zweiten Schattenkoordinate bestimmt werden. Auf diese Weise kann das erhabene Objekt auch im Falle eines Schattenwurfs und schwieriger Lichtverhältnisse optimal erkannt werden.According to a further development, it is provided that a first shadow coordinate in the first transformed image and a second shadow coordinate in the second transformed image is determined, the shadow shadow on the raised object being represented in the respective image by the respective shadow coordinate. In this case, it is provided in particular that the respective shadow coordinate is determined in addition to the first and the second or the third and the fourth limit coordinate. The respective shadow coordinate in particular represents the respective edge of the shadow cast on the raised object in the respective transformed image. In particular, the height of the raised object can be determined in this case based on the first and / or the second shadow coordinate. In this way, the raised object can be optimally recognized even in the case of shadows and difficult lighting conditions.

Gemäß einer Weiterbildung ist vorgesehen, dass für das Bestimmen der Höhe des erhabenen Objekts dieselbe Berechnungsvorschrift verwendet wird, unabhängig davon ob ein Schattenwurf durch das erhabene Objekt erfolgt oder nicht. Insbesondere kann durch Verwendung derselben Berechnungsvorschrift das Vorliegen des Schattenwurfs automatisch berücksichtigt werden. Eine Fallunterscheidung ist somit nicht nötig. Durch Verwendung derselben Berechnungsvorschrift ist es möglich, die Höhe des erhabenen Objekts jederzeit korrekt zu bestimmen, auch wenn die jeweiligen Grenzkoordinaten Ränder des erhabenen Objekts selbst repräsentieren, die jeweiligen Grenzkoordinaten teilweise Ränder des Schattenwurfs repräsentieren oder die jeweiligen Schattenkoordinaten zusätzlich zu den jeweiligen Grenzkoordinaten bestimmt werden.According to a further development, the same calculation rule is used for determining the height of the raised object, regardless of whether or not a shadow is cast by the raised object. In particular, the presence of the shadow can be automatically taken into account by using the same calculation rule. A case distinction is therefore not necessary. Using the same calculation rule, it is possible to correctly determine the height of the raised object at any time, even if the respective border coordinates represent edges of the raised object itself, the respective border coordinates partially represent edges of the shadow cast or the respective shadow coordinates are determined in addition to the respective border coordinates.

Gemäß einer Weiterbildung ist vorgesehen, dass bei dem Bestimmen der Höhe des erhabenen Objekts eine Neigung des erhabenen Objekts berücksichtigt wird. Auf diese Weise kann berücksichtigt werden, dass das erhabene Objekt bezüglich der Fahrzeughochrichtung, Fahrzeugquerrichtung und/oder Fahrzeuglängsrichtung geneigt sein kann. Dadurch kann die Höhe des erhabenen Objekts besonders genau bestimmt werden.According to a development, it is provided that an inclination of the raised object is taken into account when determining the height of the raised object. In this way it can be taken into account that the raised object can be inclined with respect to the vehicle vertical direction, vehicle transverse direction and / or vehicle longitudinal direction. This enables the height of the raised object to be determined particularly precisely.

Gemäß einer Weiterbildung ist vorgesehen, dass eine Neigung des erhabenen Objekts bezüglich der Fahrzeughochrichtung oder der Fahrzeugquerrichtung als Rotationsachse berücksichtigt wird, indem das erhabene Objekt parallel zu einer Fahrzeuglängsrichtung in mehrere Segmente eingeteilt wird, für welche das Bestimmen der Grenzkoordinaten und das Bestimmen der Höhe des erhabenen Objekts für jedes der Segmente jeweils unabhängig voneinander durchgeführt wird. Als Neigung des erhabenen Objekts bezüglich der Fahrzeughochrichtung oder der Fahrzeugquerrichtung gilt eine Inklination des erhabenen Objekts bezüglich der Fahrzeughochrichtung beziehungsweise der Fahrzeugquerrichtung. Beispielsweise kann eine solche Neigung durch eine Änderung der Höhe des erhabenen Objekts entlang der Fahrzeuglängsrichtung gegeben sein. Alternativ oder zusätzlich kann eine Erstreckungsrichtung des erhabenen Objekts gebogen sein oder nicht parallel zur Fahrtrichtung des Kraftfahrzeugs verlaufen. Das Einteilen in die mehreren Segmente erfolgt insbesondere während einer Fahrt des Kraftfahrzeugs. Dieses Einteilen in die Segmente erfolgt insbesondere parallel zu der Fahrzeuglängsrichtung. Mit anderen Worten wird das erhabene Objekt gemäß der Fahrzeuglängsrichtung in die Segmente eingeteilt. Auf diese Weise kann das erhabene Objekt unabhängig von dessen Position oder Lage besonders gut erkannt werden.According to a development, it is provided that an inclination of the raised object with respect to the vehicle vertical direction or the vehicle transverse direction is taken into account as the axis of rotation by dividing the raised object parallel to a vehicle longitudinal direction into several segments, for which the determination of the boundary coordinates and the determination of the height of the elevated one Object for each of the segments is carried out independently of each other. An inclination of the raised object with respect to the vertical direction of the vehicle or the transverse direction of the vehicle is considered to be the inclination of the raised object with respect to the vehicle vertical direction or the vehicle transverse direction. For example, such an inclination can be given by a change in the height of the raised object along the longitudinal direction of the vehicle. Alternatively or additionally, a direction of extension of the raised object can be curved or not parallel to the direction of travel of the motor vehicle. The division into the multiple segments takes place in particular while the motor vehicle is traveling. This division into the segments takes place in particular parallel to the longitudinal direction of the vehicle. In other words, the raised object is divided into the segments according to the longitudinal direction of the vehicle. In this way, the raised object can be recognized particularly well regardless of its position or location.

Gemäß einer Weiterbildung ist vorgesehen, dass eine Neigung des erhabenen Objekts bezüglich der Fahrzeuglängsrichtung als Rotationsachse berücksichtigt wird, indem eine Variable für die Neigung angewendet wird. Beispielsweise ist das erhabene Objekt in Richtung des Kraftfahrzeugs oder entgegengesetzt inkliniert beziehungsweise gekippt. Mit anderen Worten kann das erhabene Objekt in seiner Hochrichtung von der Fahrzeughochrichtung abweichen und nicht zur Fahrzeughochrichtung parallel sein. Dies wird durch die Variable für die Neigung berücksichtigt.According to a development, it is provided that an inclination of the raised object with respect to the longitudinal direction of the vehicle is taken into account as the axis of rotation by using a variable for the inclination. For example, the raised object is inclined or tilted in the direction of the motor vehicle or in the opposite direction. In other words, the raised object can deviate in its vertical direction from the vehicle vertical direction and cannot be parallel to the vehicle vertical direction. This is taken into account by the inclination variable.

Vorteilhafterweise kann diese Variable identisch mit der Verschiebungsvariablen zum Berücksichtigen des Schattenwurfs sein. Allgemein kann vorgesehen sein, dass eine gemeinsame Variable verwendet wird, mittels welcher sowohl der Schattenwurf als auch die Neigung des erhabenen Objekts bezüglich der Fahrzeuglängsrichtung berücksichtigt wird. Der Schattenwurf sowie die Neigung des erhabenen Objekts bezüglich der Fahrzeuglängsrichtung können mittels derselben Berechnungsvorschrift berücksichtigt werden. Auf diese Weise ist sichergestellt, dass die Höhe des erhabenen Objekts besonders universell bestimmt werden kann, insbesondere ohne dass zunächst die genaue Struktur des erhabenen Objekts bestimmt werden muss. Mit anderen Worten kann ausschließlich anhand der geometrischen Zusammenhänge das erhabene Objekt universell rekonstruiert werden.This variable can advantageously be identical to the displacement variable for taking into account the shadow cast. In general, it can be provided that a common variable is used, by means of which both the shadow cast and the inclination of the raised object with respect to the longitudinal direction of the vehicle are taken into account. The shadow cast and the inclination of the raised object with respect to the longitudinal direction of the vehicle can be taken into account using the same calculation rule. This ensures that the height of the raised object can be determined particularly universally, in particular without first having to determine the exact structure of the raised object. In other words, the raised object can be reconstructed universally only on the basis of the geometric relationships.

Gemäß einer Weiterbildung ist vorgesehen, dass anhand des ersten oder des zweiten transformierten Bildes eine weitere Grenzkoordinate bestimmt und anhand der weiteren Grenzkoordinate eine Breite des erhabenen Objekts parallel zu der Fahrzeugquerrichtung bestimmt wird. Die weitere Grenzkoordinate kann in dem ersten transformierten Bild und/oder dem zweiten transformierten Bild bestimmt werden. Die weitere Grenzkoordinate kann eine weitere Oberkante des erhabenen Objekts repräsentieren, welche insbesondere von der durch die zweite beziehungsweise die vierte Grenzkoordinate repräsentierten Oberkante beabstandet ist. Daher kann aus der Lage der weiteren Grenzkoordinate beziehungsweise aus dem Abstand zwischen der zweiten Grenzkoordinate und der weiteren Grenzkoordinate beziehungsweise der vierten Grenzkoordinate und der weiteren Grenzkoordinate die Breite des erhabenen Objekts bestimmt werden.According to a further development, it is provided that a further boundary coordinate is determined on the basis of the first or the second transformed image, and a width of the raised object is determined on the basis of the further boundary coordinate parallel to the vehicle transverse direction. The further boundary coordinate can be determined in the first transformed image and / or the second transformed image. The further limit coordinate can be one represent further top edge of the raised object, which is in particular spaced from the top edge represented by the second or the fourth boundary coordinate. The width of the raised object can therefore be determined from the position of the further boundary coordinate or from the distance between the second boundary coordinate and the further boundary coordinate or the fourth boundary coordinate and the further boundary coordinate.

Gemäß einer Weiterbildung sind folgende zusätzliche Schritte vorgesehen:

- Bilden von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien in dem ersten transformierten Bild und dem zweiten transformierten Bild,
- Summieren der Gradienten entlang mehrerer paralleler Summationslinien zu einer jeweiligen Gradientensumme für das erste transformierte Bild und das zweite transformierte Bild, wobei die Summationslinien und die Gradientenlinien senkrecht aufeinander stehen und Maxima der Gradientensumme Grenzen des erhabenen Objekts repräsentieren,
- Ermitteln eines ersten Paares der Maxima der Gradientensumme in dem ersten transformierten Bild und eines zweiten Paares der Maxima der Gradientensumme in dem zweiten transformierten Bild, wobei die Paare nach einem vorbestimmten Kriterium miteinander korrespondieren,
- wobei bei dem Bestimmen der ersten Grenzkoordinate und der zweiten Grenzkoordinate diese derart bestimmt werden, dass diese ein jeweilige Lage der Maxima des ersten Paares repräsentieren und bei dem Bestimmen der dritten Grenzkoordinate und der vierten Grenzkoordinate diese derart bestimmt werden, dass diese ein jeweilige Lage der des zweiten Paares repräsentieren.

According to a further development, the following additional steps are provided:

Forming gradients over pixel values of pixels along respective gradient lines in the first transformed image and the second transformed image,
Summing the gradients along a plurality of parallel summation lines to form a respective gradient sum for the first transformed image and the second transformed image, the summation lines and the gradient lines being perpendicular to one another and maxima of the gradient sum representing limits of the raised object,
Determining a first pair of the maxima of the gradient sum in the first transformed image and a second pair of the maxima of the gradient sum in the second transformed image, the pairs corresponding to one another according to a predetermined criterion,
- When determining the first limit coordinate and the second limit coordinate, they are determined such that they represent a respective position of the maxima of the first pair and when determining the third limit coordinate and the fourth limit coordinate, they are determined such that they represent a respective position of the of the second pair.

Mit anderen Worten können die erste, die zweite, die dritte und die vierte Grenzkoordinate mittels eines Verfahrens bestimmt werden, wie es aus der DE 10 2016 124 747 A1 bekannt ist. Die Gradientenlinien sind vorteilhafterweise parallel zur Fahrzeugquerrichtung ausgerichtet. Die Summationslinien sind vorteilhafterweise parallel zur Fahrzeuglängsrichtung ausgerichtet. Anhand des ersten Paares an Maxima und des zweiten Paares an Maxima kann, wie in der DE 10 2016 124 747 A1 offenbart, bestimmt werden, ob das erhabene Objekt tatsächlich ein erhabenes Objekt oder flach ist. Zur genauen Durchführung des Verfahrens wird an dieser Stelle auf die DE 10 2016 124 747 A1 verwiesen, wobei das darin offenbarte Verfahren ausdrücklich Teil des hier offenbarten Verfahrens sein soll.In other words, the first, the second, the third and the fourth limit coordinate can be determined by means of a method as is known from the DE 10 2016 124 747 A1 is known. The gradient lines are advantageously aligned parallel to the vehicle transverse direction. The summation lines are advantageously aligned parallel to the longitudinal direction of the vehicle. Using the first pair of maxima and the second pair of maxima, as in the DE 10 2016 124 747 A1 whether the raised object is actually a raised object or flat. For the exact implementation of the procedure, reference is made to the DE 10 2016 124 747 A1 referenced, the method disclosed therein is expressly intended to be part of the method disclosed here.

Beispielsweise ist vorgesehen, dass das näher am Kraftfahrzeug befindliche Maximum des ersten Paares an Maxima als die erste Grenzkoordinate bestimmt wird. Beispielsweise ist vorgesehen, dass das weiter vom Kraftfahrzeug entfernt befindliche Maximum des ersten Paares an Maxima als die zweite Grenzkoordinate bestimmt wird. Beispielsweise ist vorgesehen, dass das näher am Kraftfahrzeug befindliche Maximum des zweiten Paares an Maxima als die dritte Grenzkoordinate bestimmt wird. Beispielsweise ist vorgesehen, dass das weiter vom Kraftfahrzeug entfernt befindliche Maximum des zweiten Paares an Maxima als die vierte Grenzkoordinate bestimmt wird.For example, it is provided that the maximum of the first pair of maxima located closer to the motor vehicle is determined as the first limit coordinate. For example, it is provided that the maximum of the first pair of maxima, which is further away from the motor vehicle, is determined as the second limit coordinate. For example, it is provided that the maximum of the second pair at maxima located closer to the motor vehicle is determined as the third limit coordinate. For example, it is provided that the maximum of the second pair of maxima, which is further away from the motor vehicle, is determined as the fourth limit coordinate.

Ein zweiter Aspekt der Erfindung betrifft eine Steuereinrichtung zum Klassifizieren eines erhabenen Objekts anhand von Bildern eines Bilderfassungssystems eines Kraftfahrzeugs, wobei die Steuereinrichtung dazu eingerichtet ist, ein hier beschriebenes Verfahren durchzuführen. Insbesondere kann die Steuereinrichtung jeweilige Mittel zum Durchführen der jeweiligen Verfahrensschritte aufweisen. Beispielsweise weist die Steuereinrichtung eine Transformationseinheit zum Transformieren der Ursprungsbilder und/oder eine Recheneinheit zum Bestimmen der Grenzkoordinate sowie zum Bestimmen der Höhe des erhabenen Objekts auf.A second aspect of the invention relates to a control device for classifying a raised object on the basis of images of an image acquisition system of a motor vehicle, the control device being set up to carry out a method described here. In particular, the control device can have respective means for carrying out the respective method steps. For example, the control device has a transformation unit for transforming the original images and / or a computing unit for determining the boundary coordinate and for determining the height of the raised object.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einem Bilderfassungssystem zum Bereitstellen eines ersten und eines zweiten Ursprungsbildes eines Umgebungsbereichs des Kraftfahrzeugs und der genannten Steuereinrichtung. Das Bilderfassungssystem kann eine oder mehrere Kameras umfassen. Insbesondere weist das Bilderfassungssystem eine erste Kamera zum Erfassen des ersten Ursprungsbildes und eine zweite Kamera zum Erfassen des zweiten Ursprungsbildes auf. Die erste Kamera und die zweite Kamera sind als Teil des Fahrerassistenzsystems dazu bestimmt, in unterschiedlicher Position an dem Kraftfahrzeug angeordnet zu sein. Insbesondere sind die erste Kamera und die zweite Kamera dazu eingerichtet, den Umgebungsbereich aus einer unterschiedlichen Perspektive zu erfassen.Another aspect of the invention relates to a driver assistance system for a motor vehicle with an image acquisition system for providing a first and a second original image of a surrounding area of the motor vehicle and said control device. The imaging system can include one or more cameras. In particular, the image acquisition system has a first camera for acquiring the first original image and a second camera for acquiring the second original image. As part of the driver assistance system, the first camera and the second camera are intended to be arranged in different positions on the motor vehicle. In particular, the first camera and the second camera are set up to capture the surrounding area from a different perspective.

Zu Erfindung gehört außerdem ein Kraftfahrzeug mit dem genannten Fahrerassistenzsystem. Die erste Kamera und die zweite Kamera sind in unterschiedlicher Position an dem Kraftfahrzeug angeordnet. Insbesondere sind die erste Kamera und die zweite Kamera in unterschiedlicher Höhe bezüglich einer Fahrzeughochrichtung des Kraftfahrzeugs an dem Kraftfahrzeug angeordnet. Alternativ oder zusätzlich können die erste Kamera und die zweite Kamera in unterschiedlicher Position bezüglich einer Fahrzeugquerrichtung des Kraftfahrzeugs an dem Kraftfahrzeug angeordnet sein. Dementsprechend sind die erste Kamera und die zweite Kamera dazu eingerichtet, den Umgebungsbereich aus unterschiedlicher Perspektive zu erfassen.The invention also includes a motor vehicle with the driver assistance system mentioned. The first camera and the second camera are arranged in different positions on the motor vehicle. In particular, the first camera and the second camera are arranged on the motor vehicle at different heights with respect to a vertical direction of the motor vehicle. Alternatively or additionally, the first camera and the second camera can be arranged on the motor vehicle in different positions with respect to a vehicle transverse direction. Accordingly, the first camera and the second camera set up to capture the surrounding area from different perspectives.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuerungseinheit ausgeführt wird. Dementsprechend gehört zur Erfindung auch ein Computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um das erfindungsgemäße Verfahren durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuerungseinheit geladen und auf einem Prozessor der elektronischen Steuerungseinheit ausgeführt werden. Die Programmcodemittel implementieren somit das erfindungsgemäße Verfahren.Another aspect of the invention relates to a computer program product with program code means which are stored in a computer-readable medium in order to carry out the method according to the invention when the computer program product is executed on a processor of an electronic control unit. Accordingly, the invention also includes a computer-readable medium, in particular in the form of a computer-readable floppy disk, CD, DVD, memory card, USB memory unit, or the like, in which program code means are stored in order to carry out the method according to the invention if the program code means are stored in a memory of an electronic control unit loaded and executed on a processor of the electronic control unit. The program code means thus implement the method according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the combination indicated in each case but also in other combinations without departing from the scope of the invention . Embodiments of the invention are thus also to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, but which emerge and can be generated from the explained embodiments by separate combinations of features. Designs and combinations of features are also to be regarded as disclosed, which therefore do not have all the features of an originally formulated independent claim. Furthermore, versions and combinations of features, in particular those explained above, are to be regarded as disclosed, which go beyond or differ from the combinations of features set out in the references of the claims.

Dabei zeigen:

1 ein Kraftfahrzeug in einer schematischen Vogelperspektive;
2 das Kraftfahrzeug in einer schematischen Vorderansicht;
3 ein Kraftfahrzeug mit transformierten Bilder in einer schematischen Übersicht;
4 in einer schematischen Perspektivansicht die Berechnung einer Höhe eines erhabenen Objekts in einem ersten Ausführungsbeispiel;
5 in einer schematischen Perspektivansicht die Berechnung einer Höhe eines erhabenen Objekts in einem zweiten Ausführungsbeispiel;
6 in einer schematischen Perspektivansicht die Berechnung einer Höhe eines erhabenen Objekts in einem dritten Ausführungsbeispiel;
7 in einer schematischen Perspektivansicht die Berechnung einer Höhe eines erhabenen Objekts in einem vierten Ausführungsbeispiel; und
8 in einer schematischen Perspektivansicht die Berechnung einer Breite eines erhabenen Objekts;
9 beispielhaft erhabene Objekte mit unterschiedlicher Neigung bezüglich dem Kraftfahrzeug; und
10 beispielhaft erhabenes Objekt mit Neigung längs zu dem Kraftfahrzeug.

Show:

1 a motor vehicle in a schematic bird's eye view;
2nd the motor vehicle in a schematic front view;
3rd a motor vehicle with transformed images in a schematic overview;
4th in a schematic perspective view, the calculation of a height of a raised object in a first embodiment;
5 in a schematic perspective view, the calculation of a height of a raised object in a second embodiment;
6 in a schematic perspective view, the calculation of a height of a raised object in a third embodiment;
7 in a schematic perspective view, the calculation of a height of a raised object in a fourth embodiment; and
8th in a schematic perspective view, the calculation of a width of a raised object;
9 exemplary raised objects with different inclinations with respect to the motor vehicle; and
10th exemplary raised object with an inclination along the motor vehicle.

1 zeigt ein Kraftfahrzeug 1 mit mehreren Kameras 10 die jeweils einen Umgebungsbereich des Kraftfahrzeugs zumindest teilweise erfassen beziehungsweise abbilden. Jede der Kameras 10 weist einen jeweiligen Erfassungsbereich auf. Die Kameras 10 können beispielsweise jeweils einen Erfassungswinkel von 180° aufweisen. Die jeweiligen Kameras 10 können sich in ihrem Erfassungsbereich überlappen, vorliegend werden Überlappungsbereiche 20 von jeweils zumindest zwei Kameras 10 erfasst. Vorliegend umfasst das Kraftfahrzeug eine Frontkamera 11, eine Heckkamera 12, eine linke Seitenkamera 13, insbesondere an einem linken Außenspiegel des Kraftfahrzeugs 1, sowie eine rechte Seitenkamera 14, insbesondere an einem rechten Außenspiegel des Kraftfahrzeugs 1. Jede der Kameras 10 kann eine erste Kamera oder eine zweite Kamera im Sinne der Erfindung darstellen, wobei vorzugsweise unterschiedliche Kameras 10 die erste Kamera und die zweite Kamera darstellen. Vorzugsweise weisen die Kameras 10, welche die erste Kamera und die zweite Kamera verkörpern, einen Überlappungsbereich 20 auf. 1 shows a motor vehicle 1 with multiple cameras 10th each of which at least partially captures or maps a surrounding area of the motor vehicle. Each of the cameras 10th has a respective detection area. The cameras 10th can, for example, each have a detection angle of 180 °. The respective cameras 10th can overlap in their detection area, in the present case there are overlap areas 20th of at least two cameras each 10th detected. In the present case, the motor vehicle has a front camera 11 , a rear camera 12th , a left side camera 13 , in particular on a left wing mirror of the motor vehicle 1 , as well as a right side camera 14 , in particular on a right wing mirror of the motor vehicle 1 . Each of the cameras 10th can represent a first camera or a second camera in the sense of the invention, preferably different cameras 10th represent the first camera and the second camera. The cameras preferably point 10th , which embody the first camera and the second camera, an overlap area 20th on.

Die Überlappungsbereiche 20 können insbesondere in Randbereichen eines Fischaugenobjektivs der Kameras 10 auftreten und können daher eine geringere Auflösung gegenüber einen Zentrum des Aufnahmebereichs aufweisen. Da jeder der Überlappungsbereiche 20 von zwei Kameras 10 in jeweiligen Ursprungsbildern aus einer unterschiedlichen Perspektive erfasst beziehungsweise abgebildet wird, können mittels des vorliegenden Verfahrens räumliche Informationen über den Umgebungsbereich U aus den Ursprungsbildern der Kameras 10 extrahiert werden.The overlap areas 20th can in particular in edge areas of a fisheye lens of the cameras 10th occur and can therefore have a lower resolution compared to a center of the recording area. Because each of the overlap areas 20th from two cameras 10th If the original images are captured or mapped from a different perspective, the present method can use the present method to provide spatial information about the surrounding area U from the original images of the cameras 10th be extracted.

Die Kameras 10 können Teil eines Fahrerassistenzsystems 9 des Kraftfahrzeugs 1 sein, welches das Kraftfahrzeug 1 und eine Umgebung des Kraftfahrzeugs 1, insbesondere die Umgebungsbereiche U, auf einem Bildschirm des Kraftfahrzeugs 1 aus einer Vogelperspektive darstellt. Dabei kann es sich um ein auch im Deutschen als „surroundview“ bezeichnetes System mit vier Kameras 10 handeln. Die Darstellung auf dem Bildschirm kann beispielsweise im Wesentlichen der 1 entsprechen. Das Kraftfahrzeug 1 befindet sich auf einer Fahrbahn 4, beispielsweise einer Straße oder einem Parkplatz. Auf der Fahrbahn 4 sind flache Objekte 3, beispielsweise Fahrbahnmarkierungen, angeordnet. Die Fahrbahn 4 ist vorliegend zumindest teilweise durch ein erhabenes Objekt 2, beispielsweise einem Bordstein, von einem Sperrbereich 5, beispielsweise einem Gehsteig oder einem Grünstreifen, getrennt. Insbesondere soll durch das Fahrerassistenzsystem 9 das erhabene Objekt 2 erkannt werden und vorzugsweise von dem flachen Objekt 3, insbesondere der Fahrbahnmarkierung, unterschieden werden können. Alternativ oder zusätzlich kann das Fahrerassistenzsystem 9 Informationen beziehungsweise Daten für eine, zumindest teilweise, autonome Fahrt des Kraftfahrtzeugs 1 bereitstellen.The cameras 10th can be part of a driver assistance system 9 of the motor vehicle 1 be which one the car 1 and an environment of the motor vehicle 1 , especially the surrounding areas U , on a screen of the motor vehicle 1 from a bird's eye view. This can be a system with four cameras, also called “surroundview” in German 10th act. The display on the screen can, for example, essentially be the 1 correspond. The car 1 is on a road 4th such as a street or a parking lot. On the road 4th are flat objects 3rd , for example lane markings. The roadway 4th is at least partially due to a raised object 2nd , for example a curb, from a restricted area 5 , for example a sidewalk or a strip of green. In particular, the driver assistance system 9 the sublime object 2nd can be recognized and preferably by the flat object 3rd , in particular the lane marking, can be distinguished. Alternatively or additionally, the driver assistance system 9 Information or data for an, at least partially, autonomous drive of the motor vehicle 1 provide.

Das erhabene Objekt 2, das flache Objekt 3, die Fahrbahn 4 und der Sperrbereich 5 können Bereiche von Interesse für einen Fahrer des Kraftfahrzeugs 1 beziehungsweise für das Fahrerassistenzsystem 9 darstellen. Bereiche von Interesse werden im Englischen häufig als „region of interest“ bezeichnet.The sublime object 2nd , the flat object 3rd , the roadway 4th and the restricted area 5 can be areas of interest to a driver of the motor vehicle 1 or for the driver assistance system 9 represent. Areas of interest are often referred to as "region of interest" in English.

2 zeigt das Kraftfahrzeug 1 auf der Fahrbahn 4 in der Nähe des erhabenen Objekts 2. Das erhabene Objekt 2 wird vorliegend von der linken Seitenkamera 13 und der Frontkamera 11 erfasst. Hilfslinien 18, 19 sollen veranschaulichen, wie das erhabene Objekt 2 durch die unterschiedlichen Perspektiven der Frontkamera 11 und der linken Seitenkamera 13 perspektivisch verzerrt werden kann. Dieses Phänomen wird auch als Parallaxe bezeichnet. Insbesondere wird eine horizontale Ausdehnung b des erhabenen Objekts 2 sowie eine vertikale Ausdehnung a des erhabenen Objekts 2 beziehungsweise einer Seitenfläche 6 des erhabenen Objekts 2 perspektivisch verzerrt. Aus der Perspektive der linken Seitenkamera 13 entspricht die vertikale Ausdehnung a der Ausdehnung a'm, und die horizontale Ausdehnung b der Ausdehnung b'm. Aus der Perspektive der Frontkamera 11 entspricht die vertikale Ausdehnung a der Ausdehnung a'f und die horizontale Ausdehnung b der Ausdehnung b'f. Dabei sind die Ausdehnung b'm und die Ausdehnung b'f ähnlich und insbesondere näherungsweise gleich. Aufgrund perspektivischer Gegebenheiten sind die Ausdehnung a'm und die Ausdehnung a'f deutlich verschieden. Anhand dieser perspektiven Verzerrung kann das erhabene Objekt 2 erkannt werden. 2nd shows the motor vehicle 1 on the road 4th near the sublime object 2nd . The sublime object 2nd is in the present case from the left side camera 13 and the front camera 11 detected. Guides 18th , 19th are intended to illustrate how the sublime object 2nd through the different perspectives of the front camera 11 and the left side camera 13 can be distorted in perspective. This phenomenon is also called parallax. In particular, horizontal expansion b of the sublime object 2nd and a vertical extension a of the raised object 2nd or a side surface 6 of the sublime object 2nd distorted in perspective. From the perspective of the left side camera 13 the vertical dimension a corresponds to the dimension at the , and the horizontal extent b of expansion b'm . From the perspective of the front camera 11 the vertical dimension a corresponds to the dimension a'f and the horizontal extent b of expansion b'f . Here are the dimensions b'm and the expansion b'f similar and in particular approximately the same. The expansion is due to perspective conditions at the and the expansion a'f clearly different. Based on this perspective distortion, the sublime object 2nd be recognized.

Aus den Kameras 10 werden jeweilige Ursprungsbilder des Umgebungsbereichs U erfasst. Diese Ursprungsbilder bilden den Umgebungsbereich U beziehungsweise die Überlappungsbereiche 20 aus unterschiedlichen Perspektiven ab beziehungsweise stellen den Umgebungsbereich U beziehungsweise die Überlappungsbereiche 20 aus verschiedenen Perspektiven dar. Vorliegend werden die Ursprungsbilder aus den Kameras 10 in eine Vogelperspektive als gemeinsames Bezugssystem transformiert. Im Allgemeinen ist jedoch eine Transformation in ein beliebiges gemeinsames Bezugssystem beziehungsweise in eine beliebige Perspektive möglich. Beispielsweise können die Ursprungsbilder aller Kameras 10 statt in die Vogelperspektive in die Perspektive der linken Seitenkamera 13 transformiert werden. Durch die Transformation werden transformierte Ursprungsbilder 7 erhalten. Die Schritte des vorliegenden Verfahrens können durch eine Steuerungseinheit 16 des Kraftfahrzeugs 1 durchgeführt werden.From the cameras 10th become respective source images of the surrounding area U detected. These original images form the surrounding area U or the overlap areas 20th from different perspectives or represent the surrounding area U or the overlap areas 20th from different perspectives. The original images from the cameras are present 10th transformed into a bird's eye view as a common frame of reference. In general, however, a transformation into any common reference system or into any perspective is possible. For example, the source images of all cameras 10th instead of the bird's eye view of the perspective of the left side camera 13 be transformed. Through the transformation, transformed original images become 7 receive. The steps of the present method can be carried out by a control unit 16 of the motor vehicle 1 be performed.

Die 3 zeigt transformierte Bilder 21, 22 beispielhafter Überlappungsbereiche 20, ähnlich wie in 1 dargestellt. Dabei zeigen das transformierte Bild 21 einen der Überlappungsbereiche 20 aus der Perspektive der linken Seitenkamera 13 und das transformierte Bild 22 denselben Überlappungsbereich 20 aus der Perspektive der Frontkamera 11. Es ist jeweils gut zu erkennen, dass die jeweiligen transformierten Bilder 21, 22, welche denselben Überlappungsbereich 20 aus unterschiedlichen Perspektiven unterschiedlicher Kameras 10 abbilden, insbesondere abgesehen von perspektivischen Verzerrungen, ähnlich aussehen.The 3rd shows transformed images 21st , 22 exemplary overlap areas 20th , similar to in 1 shown. Thereby show the transformed picture 21st one of the overlap areas 20th from the perspective of the left side camera 13 and the transformed image 22 the same overlap area 20th from the perspective of the front camera 11 . It is easy to see that the respective transformed images 21st , 22 which have the same overlap area 20th from different perspectives of different cameras 10th map, in particular apart from perspective distortions, look similar.

In einem Beispiel ist die linke Seitenkamera 13 die erste Kamera und die Frontkamera 11 die zweite Kamera. In diesem Beispiel bilden sowohl das erste Ursprungsbild als auch das zweite Ursprungsbild denselben Überlappungsbereich 20 ab. Das erste Ursprungsbild wird in das transformierte erste Bild transformiert, was in diesem Beispiel dem transformierten Bild 21 entspricht. Das zweite Ursprungsbild wird in das transformierte zweite Bild transformiert, was in diesem Beispiel dem transformierten Bild 22 entspricht. In dem ersten transformierten Bild 21 und dem zweiten transformierten Bild 22 wird entlang von Gradientenlinien 30 ein Gradient über Pixelwerte von Pixeln entlang der jeweiligen Gradientenlinien 30 gebildet. Die Anzahl der Gradientenlinien 30 entspricht insbesondere einer Spaltenanzahl des jeweiligen transformierten Bildes 21, 22. Beispielsweise weisen die transformierten Bilder 21, 22 eine Auflösung von 1024 x 1024 auf, was in einer Spaltenanzahl von 1024 resultiert. Die Pixelwerte, über die der Gradient gebildet wird, ist insbesondere eine Helligkeit beziehungsweise eine Luminanz, ein Farbwert oder ein Texturwert. Vorliegend wird der Gradient über die Helligkeit beziehungsweise die Luminanz gebildet und gibt demnach eine Helligkeitsveränderung entlang einer jeweiligen Gradientenlinie 30 an.In one example is the left side camera 13 the first camera and the front camera 11 the second camera. In this example, both the first original image and the second original image form the same overlap area 20th from. The first original image is transformed into the transformed first image, which in this example is the transformed image 21st corresponds. The second original image is transformed into the transformed second image, which in this example is the transformed image 22 corresponds. In the first transformed picture 21st and the second transformed image 22 is along gradient lines 30th a gradient over pixel values of pixels along the respective gradient lines 30th educated. The number of gradient lines 30th corresponds in particular to a number of columns of the respective transformed image 21st , 22 . For example, the transformed images 21st , 22 a resolution of 1024 x 1024 on what in a column number of 1024 results. The pixel values over which the gradient is formed are in particular a brightness or a luminance, a color value or a texture value. In the present case, the gradient is formed via the brightness or the luminance and accordingly gives one Brightness change along a respective gradient line 30th at.

In einem nächsten Schritt werden die Gradienten entlang von Summationslinien 31 aufsummiert. Die Summationslinien 31 stehen dabei senkrecht auf den Gradientenlinien 30. Die Anzahl der Summationslinien 31 kann insbesondere einer Zeilenanzahl des transformierten Bildes 21, 22 angepasst sein und beträgt vorliegend 1024. Somit liegen 1024 Gradientenlinien 30 und 1024 Summationslinien 31 vor. Jede der Summationslinien 31 schneidet jede der Gradientenlinien 30 genau einmal. In den Schnittpunkten einer jeweiligen Summationslinie 31 mit jeder der Gradientenlinien 30 liegen Gradientenwerte vor. Diese Gradientenwerte werden entlang jeder der Summationslinien 31 aufsummiert. Somit entspricht die Anzahl der Summanden entlang einer der Summationslinien 31 genau der Anzahl der Gradientenlinien 30. Die Summe aller Gradientenwerte entlang einer der Summationslinien 31 entspricht einem Gradientensummenwert der jeweiligen Summationslinien 31. Eine Gradientensumme 32 entspricht vorliegend dem vertikalen Verlauf der Gradientensummenwerte. Die Gradientensumme 32 kann als Histogramm, insbesondere über die Gradientenwerte, aufgefasst werden.In a next step, the gradients are along summation lines 31 added up. The summation lines 31 are perpendicular to the gradient lines 30th . The number of summation lines 31 can in particular be a number of lines of the transformed image 21st , 22 be adjusted and is present 1024 . Thus lie 1024 Gradient lines 30th and 1024 Summation lines 31 in front. Each of the summation lines 31 intersects each of the gradient lines 30th exactly once. At the intersection of a respective summation line 31 with each of the gradient lines 30th there are gradient values. These gradient values are along each of the summation lines 31 added up. The number of summands along one of the summation lines thus corresponds 31 exactly the number of gradient lines 30th . The sum of all gradient values along one of the summation lines 31 corresponds to a gradient total value of the respective summation lines 31 . A gradient sum 32 here corresponds to the vertical course of the gradient total values. The gradient sum 32 can be understood as a histogram, in particular via the gradient values.

Beim Summieren der einzelnen Gradientenwerte entlang der Summationslinien 31 können beispielsweise die einzelnen Gradientenwerte summiert werden oder ein Betrag der einzelnen Gradientenwerte summiert werden oder ein Quadrat der einzelnen Gradientenwerte summiert werden. Wird das Quadrat der einzelnen Gradientenwerte summiert, so werden die Gradientenwerte zunächst quadriert. Anschließend kann der Gradientensummenwert beispielsweise durch die Wurzel der quadrierten und summierten Gradientenwerte gebildet werden. Die Gradientenlinien 30 und die Summationslinien 31 sind in 3 nur auszugsweise dargestellt, da der Übersicht halber jeweils nur drei Linien dargestellt sind.When summing the individual gradient values along the summation lines 31 For example, the individual gradient values can be summed, or an amount of the individual gradient values can be summed, or a square of the individual gradient values can be summed. If the square of the individual gradient values is summed, the gradient values are first squared. The gradient total value can then be formed, for example, by the root of the squared and summed gradient values. The gradient lines 30th and the summation lines 31 are in 3rd only shown in part, because only three lines are shown for the sake of clarity.

Die Gradientensumme 32 kann mehrere Maxima 8 aufweisen. Die Maxima 8 können dabei die Grenzen des erhabenen Objekts 2 repräsentieren. Vorliegend repräsentiert in dem transformierten ersten Bild 21 und dem transformierten zweiten Bild 22 je ein Maximum 75, 85 eine Grenze zwischen der Fahrbahn 4 und der Seitenfläche 6 des erhabenen Objekts 2. Je ein Maximum 76, 86 repräsentiert eine Grenze zwischen der Seitenfläche 6 und der Oberseite des erhabenen Objekts 2. Je ein Maximum 77, 87 repräsentiert eine Grenze zwischen der Oberseite des erhabenen Objekts 2 und dem Sperrbereich 5. Das Maximum 75 in dem transformierten ersten Bild 21 und das Maximum 85 in dem transformierten zweiten Bild 22 korrespondieren, das Maximum 76 in dem transformierten ersten Bild 21 und das Maximum 86 in dem transformierten zweiten Bild 22 korrespondieren und das Maximum 77 in dem transformierten ersten Bild 21 und das Maximum 87 in dem transformierten zweiten Bild 22 korrespondieren, da diese genannten Maxima 75, 85, 76, 86, 77, 87 jeweils dieselbe Grenze des erhabenen Objekts 2 repräsentieren.The gradient sum 32 can have multiple maxima 8th exhibit. The maxima 8th can limit the raised object 2nd represent. Present represented in the transformed first image 21st and the transformed second image 22 a maximum each 75 , 85 a boundary between the lane 4th and the side surface 6 of the sublime object 2nd . A maximum each 76 , 86 represents a boundary between the side surface 6 and the top of the raised object 2nd . A maximum each 77 , 87 represents a boundary between the top of the raised object 2nd and the restricted area 5 . The maximum 75 in the transformed first image 21st and the maximum 85 in the transformed second image 22 correspond, the maximum 76 in the transformed first image 21st and the maximum 86 in the transformed second image 22 correspond and the maximum 77 in the transformed first image 21st and the maximum 87 in the transformed second image 22 correspond because these maxima mentioned 75 , 85 , 76 , 86 , 77 , 87 always the same boundary of the raised object 2nd represent.

Bezugnehmend auf 2 entspricht ein Abstand D1 zwischen dem Maximum 75 und dem Maximum 76 in Bild 21 der Ausdehnung a'm und ein Abstand D2 zwischen dem Maximum 85 und dem Maximum 86 in Bild 22 der Ausdehnung a'f.Referring to 2nd corresponds to a distance D1 between the maximum 75 and the maximum 76 in picture 21st of expansion at the and a distance D2 between the maximum 85 and the maximum 86 in picture 22 of expansion a'f .

Die korrespondierenden Maxima 75, 85, 76, 86, 77, 87 in dem transformierten ersten Bild 21 und dem transformierten zweiten Bild 22 können mittels eines vordefinierten Kriteriums ausgewählt werden. Beispielsweise werden die Maxima 75, 85, 76, 86, 77, 87 anhand ihres Maximalwertes als korrespondierend ausgewählt. Alternativ oder zusätzlich können die Maxima 75, 85, 76, 86, 77, 87 beispielsweise von oben nach unten durchgezählt werden und jedem der Maxima 75, 85, 76, 86, 77, 87 eine Nummer zugewiesen werden. Beispielsweise korrespondiert in diesem Fall jeweils das oberste Maximum 75 in dem transformierten ersten Bild 21 mit dem obersten Maximum 85 in dem transformierten zweiten Bild 22 und das zweite Maximum 76 in dem transformierten ersten Bild 21 mit dem zweiten Maximum 86 in dem transformierten zweiten Bild 22. Aus den Maxima 75, 85, 76, 86, 77, 87 können jeweils korrespondierende Paare 78, 79 ermittelt werden. Beispielsweise werden alle möglichen Paare unter den Maxima 75, 85, 76, 86, 77, 87 ermittelt. Es korrespondieren insbesondere genau die Paare 78, 79, welche aus in dem transformierten ersten Bild 21 und dem transformierten zweiten Bild 22 korrespondierenden Maxima 75, 85, 76, 86, 77, 87 bestehen.The corresponding maxima 75 , 85 , 76 , 86 , 77 , 87 in the transformed first image 21st and the transformed second image 22 can be selected using a predefined criterion. For example, the maxima 75 , 85 , 76 , 86 , 77 , 87 selected as corresponding based on its maximum value. Alternatively or additionally, the maxima 75 , 85 , 76 , 86 , 77 , 87 for example be counted from top to bottom and each of the maxima 75 , 85 , 76 , 86 , 77 , 87 a number can be assigned. In this case, for example, the top maximum corresponds in each case 75 in the transformed first image 21st with the top maximum 85 in the transformed second image 22 and the second maximum 76 in the transformed first image 21st with the second maximum 86 in the transformed second image 22 . From the maxima 75 , 85 , 76 , 86 , 77 , 87 can match pairs 78 , 79 be determined. For example, all possible pairs are below the maxima 75 , 85 , 76 , 86 , 77 , 87 determined. In particular, the pairs correspond exactly 78 , 79 which from in the transformed first image 21st and the transformed second image 22 corresponding maxima 75 , 85 , 76 , 86 , 77 , 87 consist.

Alternativ oder zusätzlich werden nach dem vordefinierten Kriterium nicht die einzelnen Maxima 75, 76, 77 als korrespondierend ausgewählt, sondern die beiden höchsten Maxima 75, 76 in dem transformierten ersten Bild 21 und die beiden höchsten Maxima 85, 86 in dem transformierten zweiten Bild 22 als korrespondierend ausgewählt. Die beiden höchsten Maxima 75, 76 in dem transformierten ersten Bild 21 können als das erste Paar 78 ermittelt werden. Die beiden höchsten Maxima 85, 86 in dem transformierten zweiten Bild 22 können als das korrespondierende zweite Paar 79 ermittelt werden.Alternatively or additionally, the individual maxima are not based on the predefined criterion 75 , 76 , 77 chosen as corresponding, but the two highest maxima 75 , 76 in the transformed first image 21st and the two highest maxima 85 , 86 in the transformed second image 22 selected as corresponding. The two highest maxima 75 , 76 in the transformed first image 21st can as the first couple 78 be determined. The two highest maxima 85 , 86 in the transformed second image 22 can as the corresponding second pair 79 be determined.

Das erhabene Objekt 2 wird nur dann erkannt, wenn ein Abstand D1 zwischen den Maxima 75, 76 des ersten Paares 78 in dem transformierten ersten Bild 21 von einem Abstand D2 zwischen den Maxima 85, 86 des zweiten Paares 79 in dem transformierten zweiten Bild 22 abweicht. Der Abstand D1 entspricht insbesondere der Ausdehnung a'm in 2 und der Abstand D2 entspricht insbesondere der Ausdehnung a'f in 2. Demnach kann das erhabene Objekt 2 durch Auswerten der Maxima 8 der Gradientensumme 32, wobei die Maxima 8 die Grenzen des erhabenen Objekts 2 repräsentieren, erkannt werden.The sublime object 2nd is only recognized if there is a distance D1 between the maxima 75 , 76 of the first couple 78 in the transformed first image 21st from a distance D2 between the maxima 85 , 86 of the second couple 79 in the transformed second image 22 deviates. The distance D1 corresponds in particular to the expansion at the in 2nd and the distance D2 corresponds in particular to the expansion a'f in 2nd . Accordingly, the sublime object 2nd by evaluating the maxima 8th the gradient sum 32 , the maxima 8th the boundaries of the sublime object 2nd represent, be recognized.

Im Folgenden wird nun auf 4 Bezug genommen. Vorliegend wird nun aus der Lage des ersten Maximums 75 des ersten transformierten Bildes 21 die erste Grenzkoordinate G_x bestimmt. Aus der Lage des ersten Maximums 85 des zweiten transformierten Bildes 22 wird die dritte Grenzkoordinate G_x bestimmt. In den vorliegenden Ausführungsbeispielen entsprechen sich die erste Grenzkoordinate und die dritte Grenzkoordinate G_x . Aus der Lage des zweiten Maximums 76 des ersten transformierten Bildes 21 wird die zweite Grenzkoordinate G₁ bestimmt. Aus der Lage des zweiten Maximums 86 des zweiten transformierten Bildes 22 wird die vierte Grenzkoordinate G₂ bestimmt.The following is now going on 4th Referred. The position of the first maximum is now present 75 of the first transformed image 21st the first border coordinate G _x certainly. From the location of the first maximum 85 of the second transformed image 22 becomes the third border coordinate G _x certainly. In the present exemplary embodiments, the first boundary coordinate and the third boundary coordinate correspond G _x . From the location of the second maximum 76 of the first transformed image 21st becomes the second border coordinate G ₁ certainly. From the location of the second maximum 86 of the second transformed image 22 becomes the fourth border coordinate G ₂ certainly.

Die Höhe h_k repräsentiert die Höhe des erhabenen Objekts 2, welche es zu bestimmen gilt. Die Höhe h₁ gibt die Höhe der ersten Kamera 13 bezüglich einer Fahrzeughochrichtung z an. Die Höhe h₂ gibt die Höhe der zweiten Kamera 11 bezüglich der Fahrzeughochrichtung z an. Die Höhe h₁ und die Höhe h₂ sind insbesondere Systemgrößen, welche durch die Anordnung der ersten Kamera 10 beziehungsweise der zweiten Kamera 11 an dem Kraftfahrzeug 1 vorgegeben sind.The height h _k represents the height of the raised object 2nd which needs to be determined. The height h ₁ gives the height of the first camera 13 with respect to a vehicle vertical direction z. The height h ₂ returns the height of the second camera 11 with respect to the vehicle vertical direction z. The height h ₁ and the height h ₂ are system sizes in particular, which are determined by the arrangement of the first camera 10th or the second camera 11 on the motor vehicle 1 are specified.

Der Abstand L_S1 repräsentiert den Abstand zwischen der ersten Grenzkoordinate G_x und der zweiten Grenzkoordinate G₁ . Der Abstand L_S2 repräsentiert den Abstand zwischen der dritten Grenzkoordinate Gx und der vierten Grenzkoordinate G₂ . Zusätzlich ist in 4 die Fahrzeugquerrichtung y eingezeichnet. Der Abstand d_o1 repräsentiert den Abstand zwischen der ersten Grenzkoordinate G_x und der ersten Kamera 13 bezüglich der Fahrzeugquerrichtung y. Der Abstand d_o2 repräsentiert den Abstand zwischen der dritten Grenzkoordinate G_x und der zweiten Kamera 11 bezüglich der Fahrzeugquerrichtung y. Der Abstand d₁ repräsentiert den Abstand zwischen der zweiten Grenzkoordinate G₁ und der ersten Kamera 13 bezüglich der Fahrzeugquerrichtung y. Der Abstand d₂ repräsentiert den Abstand zwischen der vierten Grenzkoordinate G₂ und der zweiten Kamera 11 bezüglich der Fahrzeugquerrichtung y. Die in diesem Absatz genannten Größen (G_x , G₁ , G₂ , d_o1 , d_o2 ) können den jeweiligen transformierten Bildern 21, 22 entnommen werden.The distance L _S1 represents the distance between the first boundary coordinate G _x and the second boundary coordinate G ₁ . The distance L _S2 represents the distance between the third limit coordinate Gx and the fourth border coordinate G ₂ . In addition, in 4th the vehicle transverse direction y drawn. The distance d _o1 represents the distance between the first boundary coordinate G _x and the first camera 13 with respect to the vehicle transverse direction y . The distance d _o2 represents the distance between the third limit coordinate G _x and the second camera 11 with respect to the vehicle transverse direction y . The distance d ₁ represents the distance between the second boundary coordinate G ₁ and the first camera 13 with respect to the vehicle transverse direction y . The distance d ₂ represents the distance between the fourth boundary coordinate G ₂ and the second camera 11 with respect to the vehicle transverse direction y . The sizes mentioned in this paragraph ( G _x , G ₁ , G ₂ , d _o1 , d _o2 ) can the respective transformed images 21st , 22 be removed.

In 4 ist der Verlauf 33 der Gradientensumme 32 des ersten transformierten Bildes 21 sowie der Verlauf 34 der Gradientensumme 32 des zweiten transformierten Bildes 22 dargestellt. Zudem sind die Maxima 75, 76, 85, 86 eingezeichnet, aus welchen die jeweiligen Grenzkoordinaten G_x , G₁ , G₂ bestimmt werden.In 4th is the course 33 the gradient sum 32 of the first transformed image 21st as well as the course 34 the gradient sum 32 of the second transformed image 22 shown. In addition, the maxima 75 , 76 , 85 , 86 from which the respective border coordinates are drawn G _x , G ₁ , G ₂ be determined.

Zusätzlich sind in 4 zwei Winkel zwischen der jeweiligen Grenzkoordinate G₁ , G₂ sowie der jeweiligen Kamera eingezeichnet: θ_c1 und θ_c2 . Die Höhe h_k des erhabenen Objekts 2 ergibt sich aus den folgenden Formeln: $h_{k} = L_{S 1} \cdot tan θ_{c 1} = L_{S 1} \cdot \frac{h_{1}}{d_{1}} = \frac{d_{1} - d_{o 1}}{d_{1}} \cdot h_{1}$

h_{k} = L_{S 2} \cdot tan θ_{c 2} = L_{S 2} \cdot \frac{h_{2}}{d_{2}} = \frac{d_{2} - d_{o 2}}{d_{2}} \cdot h_{2}

In addition, in 4th two angles between the respective limit coordinates G ₁ , G ₂ and the respective camera: θ _c1 and θ _c2 . The height h _k of the sublime object 2nd results from the following formulas:

H_{k} = L_{S 1} \cdot tan θ_{c} 1 = L_{S 1} \cdot \frac{H_{1}}{d_{1}} = \frac{d_{1} - d_{O 1}}{d_{1}} \cdot H_{1}

H_{k} = L_{S 2nd} \cdot tan θ_{c 2nd} = L_{S 2nd} \cdot \frac{H_{2nd}}{d_{2nd}} = \frac{d_{2nd} - d_{O 2nd}}{d_{2nd}} \cdot H_{2nd}

5 zeigt die Verhältnisse im Falle eines Schattenwurfs an dem erhabenen Objekt 2. Hierzu ist schematisch die Sonne 35 sowie ein Winkel θ_S einer Sonneneinstrahlung eingezeichnet. Aufgrund des Schattenwurfs ist es möglich, dass die Unterkante des erhabenen Objekts (in 5 repräsentiert durch den Punkt von G_x ) nicht erkannt wird beziehungsweise fälschlicherweise eine Schattenkoordinate G₀ , der einen Rand des Schattenwurfs repräsentiert, als Unterkante des erhabenen Objekts erkannt wird. Dabei ist insbesondere nicht ohne weiteres erkennbar, ob der Schattenkoordinate G₀ oder die ersten beziehungsweise dritte Grenzkoordinate G_x , welche die Unterkante des erhabenen Objekts 2 repräsentiert, erkannt wird. Insbesondere ist es im Falle starker Sonneneinstrahlung möglich, dass die ersten beziehungsweise dritte Grenzkoordinate G_x nicht mehr erfasst werden kann. Dies kann durch eine Verschiebungsvariable L berücksichtigt werden. Die Verschiebungsvariable errechnet sich automatisch zu Null, wenn korrekterweise die Unterkante des erhabenen Objekts mittels der ersten beziehungsweise dritte Grenzkoordinate G_x bestimmt wurde. Es ergibt sich folgendes Gleichungssystem mit drei Formeln: $tan θ_{c 1} = \frac{h_{k}}{L_{S 1} - L}$

tan θ_{c 2} = \frac{h_{k}}{L_{S 2} - L}

tan θ_{s} = \frac{h_{k}}{L}

5 shows the situation in the case of a shadow cast on the raised object 2nd . The sun is schematic here 35 as well as an angle θ _S drawn in by solar radiation. Due to the shadow cast, it is possible that the lower edge of the raised object (in 5 represented by the point of G _x ) is not recognized or incorrectly a shadow coordinate G ₀ , which represents an edge of the shadow cast, is recognized as the lower edge of the raised object. In particular, it is not readily apparent whether the shadow coordinate G ₀ or the first or third limit coordinate G _x which is the bottom edge of the raised object 2nd represents, is recognized. In particular, in the case of strong solar radiation, it is possible that the first or third limit coordinate G _x can no longer be recorded. This can be done using a shift variable L be taken into account. The displacement variable is automatically calculated to be zero if the lower edge of the raised object is correct using the first or third limit coordinate G _x was determined. The following system of equations results with three formulas:

tan θ_{c} 1 = \frac{H_{k}}{L_{S 1} - L}

tan θ_{c 2nd} = \frac{H_{k}}{L_{S 2nd} - L}

tan θ_{s} = \frac{H_{k}}{L}

Die Abstände L_S1 und L_S2 können aus den transformierten Bildern 21, 22 bestimmt werden. Die zweite Grenzkoordinate G₁ und die vierte Grenzkoordinate G₂ können wie oben beschrieben bestimmt werden. Durch Umstellen des Gleichungssystems ergibt sich für die Höhe h_k des erhabenen Objekts: $h_{k} = (L_{S 1} - L) \cdot tan θ_{c 1}$

h_{k} = (L_{S 2} - L) \cdot tan θ_{c 2}

The distances L _S1 and L _S2 can from the transformed images 21st , 22 be determined. The second border coordinate G ₁ and the fourth border coordinate G ₂ can be determined as described above. By changing the system of equations we get for the height h _k of the raised object:

H_{k} = (L_{S 1} - L) \cdot tan θ_{c} 1

H_{k} = (L_{S 2nd} - L) \cdot tan θ_{c 2nd}

Die Verschiebungsvariable L stellt hierbei eine weitere Unbekannte dar. Mit anderen Worten enthält das oben genannte Gleichungssystem zwei Gleichungen mit zwei Unbekannten. Dies ist mathematisch analytisch lösbar. Aus beiden Gleichungen ergibt sich folgende Lösung für Schattenlänge L und die Höhe h_k des erhabenen Objekts 2 ohne Vorwissen über den Schattenwurf $L = \frac{L_{s 1} \cdot tan θ_{c 1} - L_{s 2} \cdot tan θ_{c 2}}{tan θ_{c 1} - tan θ_{c 2}}$

h_{k} = (L_{S 1} - L) \cdot tan θ_{c 1}

The shift variable L represents another unknown. In other words, the above system of equations contains two equations with two unknowns. This can be solved mathematically and analytically. The following solution for shadow length results from both equations L and the height h _k of the sublime object 2nd without prior knowledge of the shadow cast

L = \frac{L_{s 1} \cdot tan θ_{c 1} - L_{s 2nd} \cdot tan θ_{c 2nd}}{tan θ_{c 1} - tan θ_{c 2nd}}

H_{k} = (L_{S 1} - L) \cdot tan θ_{c} 1

Die 6 und die 7 zeigen jeweils ein Beispiel, in welchem das erhabene Objekt 2, also der Bordstein, bezüglich der Fahrzeuglängsrichtung x geneigt beziehungsweise inkliniert ist. Die Flanke des erhabenen Objekts 2 ist verglichen mit 5 bezüglich der Fahrzeuglängsrichtung x als Rotationsachse um einen Winkel von 90°- θ_k rotatorisch verschoben. Dies wird wiederum durch eine Verschiebungsvariable L_k berücksichtigt. Hierbei ist zu beachten, dass die Verschiebungsvariable L und die Verschiebungsvariable L_k einander mathematisch entsprechen. Die unterschiedlichen Bezeichnungen sind nur der besseren Übersicht halber und aufgrund der unterschiedlichen Ursachen, nämlich entweder der Neigung des erhabenen Objekts 2 oder dem Schattenwurf, gewählt. Selbstverständlich können sich mittels einer Verschiebungsvariablen auch beide Ursachen gleichzeitig berücksichtigen. Dementsprechend ergeben sich dieselben Formeln wie im Falle des Schattenwurfs: $tan θ_{c 1} = \frac{h_{k}}{L_{S 1} - L_{k}} = \frac{h_{1}}{d_{1}}$

tan θ_{c 2} = \frac{h_{k}}{L_{S 2} - L_{k}} = \frac{h_{2}}{d_{2}}

The 6 and the 7 each show an example in which the sublime object 2nd , that is the curb, is inclined or inclined with respect to the vehicle longitudinal direction x. The flank of the raised object 2nd is compared to 5 with respect to the vehicle longitudinal direction x as an axis of rotation rotated by an angle of 90 ° - θ _k . This is again a shift variable L _k considered. It should be noted here that the displacement variable L and the shift variable L _k correspond mathematically to each other. The different names are only for the sake of clarity and due to the different causes, namely either the inclination of the raised object 2nd or the shadow cast. Of course, both causes can be taken into account at the same time by means of a displacement variable. Accordingly, the same formulas result as in the case of shadows:

tan θ_{c} 1 = \frac{H_{k}}{L_{S 1} - L_{k}} = \frac{H_{1}}{d_{1}}

tan θ_{c 2nd} = \frac{H_{k}}{L_{S 2nd} - L_{k}} = \frac{H_{2nd}}{d_{2nd}}

Im Falle von 6 ist die Verschiebungsvariable L_k negativ, die Formeln lauten mit negativen Wert für die Verschiebungsvariable L_k : $tan θ_{c 1} = \frac{h_{k}}{L_{S 1} - (- L_{k})} = \frac{h_{1}}{d_{1}}$

tan θ_{c 2} = \frac{h_{k}}{L_{S 2} - (- L_{k})} = \frac{h_{2}}{d_{2}}

In case of 6 is the shift variable L _k negative, the formulas are with a negative value for the displacement variable L _k :

tan θ_{c} 1 = \frac{H_{k}}{L_{S 1} - (- L_{k})} = \frac{H_{1}}{d_{1}}

tan θ_{c 2nd} = \frac{H_{k}}{L_{S 2nd} - (- L_{k})} = \frac{H_{2nd}}{d_{2nd}}

Dementsprechend ergibt sich auch sich auch in den Beispielen der 6 und der 7 für die Höhe h_k des erhabenen Objekts 2: $h_{k} = (L_{S 1} - L_{k}) \frac{h_{1}}{d_{1}}$

Accordingly, the examples of 6 and the 7 for the height h _k of the sublime object 2nd :

H_{k} = (L_{S 1} - L_{k}) \frac{H_{1}}{d_{1}}

Wobei $L_{k} = \frac{L_{S 2} \frac{h_{2}}{d_{2}} - L_{S 1} \frac{h_{1}}{d_{1}}}{\frac{h_{2}}{d_{2}} - \frac{h_{1}}{d_{1}}}$

In which

L_{k} = \frac{L_{S 2nd} \frac{H_{2nd}}{d_{2nd}} - L_{S 1} \frac{H_{1}}{d_{1}}}{\frac{H_{2nd}}{d_{2nd}} - \frac{H_{1}}{d_{1}}}

Zusätzlich ergeben sich für eine Länge der Flanke h_s des erhabenen Objekts 2, vorliegend des Bordsteins, folgende Zusammenhänge: $t a n θ_{k} = \frac{h_{k}}{d_{k}}$

h_{s} = \sqrt{h_{k}^{2} + L_{k}^{2}}

θ_{k} = a t a n (\frac{h_{k}}{L_{k}})

In addition, there is a length of the flank h _s of the sublime object 2nd , in the present case of the curb, the following relationships:

t a n θ_{k} = \frac{H_{k}}{d_{k}}

H_{s} = \sqrt{H_{k}^{2nd} + L_{k}^{2nd}}

θ_{k} = a t a n (\frac{H_{k}}{L_{k}})

Mittels der genannten Formeln lässt sich das erhabene Objekt 2, insbesondere der Bordstein, besonders universell und vollständig allein anhand der beiden transformierten Bilder 21, 22 rekonstruieren.The sublime object can be created using the formulas mentioned 2nd , in particular the curb, particularly universally and completely using the two transformed images alone 21st , 22 reconstruct.

Die Maße für die Abstände zwischen den Grenzkoordinaten in 4, 5, 6 und 7, also die Maße L_s1 und L_s2 können den Maßen D1 beziehungsweise D2 gemäß 3 entsprechen. Insbesondere entspricht der Abstand L_s1 dem Maß D1 und der Abstand L_s2 dem Maß D2.The dimensions for the distances between the boundary coordinates in 4th , 5 , 6 and 7 , the dimensions L _s1 and L _s2 can measure D1 respectively D2 according to 3rd correspond. In particular, the distance corresponds L _s1 the measure D1 and the distance L _s2 the measure D2 .

Zusätzlich kann die Breite w des erhabenen Objekts 2 bestimmt werden. Hierdurch kann die Rekonstruktion des erhabenen Objekts 2 anhand der transformierten Bilder 21, 22 weiter verbessert werden. Insbesondere erfolgt das Bestimmen der Breite w nach dem Bestimmen der Höhe h₁ des erhabenen Objekts 2. Das Bestimmen der Breite w erfolgt insbesondere anhand eines der beiden transformierten Bilder 21, 22. Dies ist in 8 beispielhaft für die erste Kamera 13 dargestellt. Zusätzlich ist in 8 ein Winkel θ_{w_C1} dargestellt. Es ergeben sich folgende Relationen: $tan θ_{w_c} = \frac{h_{1}}{d_{w}} = \frac{h_{1} - h_{k}}{d_{1} + w}$

w = d_{w} (\frac{h_{1} - h_{k}}{h_{1}}) - d_{1}

In addition, the width w of the sublime object 2nd be determined. This allows the reconstruction of the raised object 2nd based on the transformed images 21st , 22 be further improved. In particular, the width is determined w after determining the height h ₁ of the sublime object 2nd . Determining the width w takes place in particular on the basis of one of the two transformed images 21st , 22 . This is in 8th exemplary for the first camera 13 shown. In addition, in 8th an angle θ _{w_C1} shown. The following relations result:

tan θ_{w_c} = \frac{H_{1}}{d_{w}} = \frac{H_{1} - H_{k}}{d}

w = d_{w} (\frac{H_{1} - H_{k}}{H_{1}}) - d_{1}

Der Abstand d_w gibt den Abstand zwischen der jeweiligen ausgewählten Kamera 10, vorliegend der ersten Kamera 13, und einer weiteren Grenzkoordinate G_w bezüglich der Fahrzeugquerrichtung y an. Bezogen auf 3 kann das dritte Maximum 77, 78 des ersten transformierten Bildes 21 beziehungsweise des zweiten transformierten Bildes 22 zum Bestimmen der weiteren Grenzkoordinate G_w herangezogen werden. Mit anderen Worten wird die Grenzkoordinate G_w vorliegend entsprechend der Position des dritten Maximums 77 des ersten transformierten Bildes 21 bestimmt, da die Breite w des erhabenen Objekts 2 vorliegend anhand des ersten transformierten Bildes 21 beziehungsweise der ersten Kamera 13 bestimmt wird.The distance d _w gives the distance between the selected camera 10th , in the present case the first camera 13 , and another border coordinate G _w with respect to the vehicle transverse direction y at. Related to 3rd can be the third maximum 77 , 78 of the first transformed image 21st or the second transformed image 22 to determine the further limit coordinate G _w be used. In other words, the border coordinate G _w here according to the position of the third maximum 77 of the first transformed image 21st determined because of the width w of the sublime object 2nd in the present case using the first transformed image 21st or the first camera 13 is determined.

Abschließend zeigen die 9 und die 10 ein mögliches Verfahren mit erhabenen Objekten 2, insbesondere Bordsteinen, die bezüglich der Fahrzeughochrichtung z (9) oder der Fahrzeugquerrichtung y (10) als Rotationsachse geneigt beziehungsweise inkliniert sind. In diesem Fall wird entlang von Segmentierungslinien 36 das erhabene Objekt 2 beziehungsweise das jeweilige transformierte Bild 21, 22 in mehrere Segmente 37 eingeteilt. Die Segmentierungslinien 36 verlaufen insbesondere parallel zur Fahrzeugquerrichtung y. In diesem Fall können die oben genannten Schritte zum Auswerten der transformierten Bilder 21, 22 für jedes der Segmente 37 separat beziehungsweise unabhängig voneinander durchgeführt werden. Vorteilhafterweise wird für jedes der Segmente 37 der jeweilige Gradient entlang jeweiliger Summationslinien 31 summiert. Die Summationslinien 31 erstrecken sich dabei jeweils nur über ein einzelnes Segment. Insbesondere wird für jedes der Segmente 37 einzeln der Gradient entlang jeweiliger Gradientenlinien 30 ausgewertet. Anschließend wird die Höhe h₁ und/oder die Breite w des erhabenen Objekts 2, beispielsweise wie anhand der 4 bis 8 beschrieben, für jedes der Segmente 37 einzeln bestimmt. Insbesondere werden hierzu für jedes der Segmente 37 jeweilige erste, zweite, dritte und vierte Grenzkoordinaten bestimmt. Die Grenzkoordinaten können anhand jeweiliger Maxima der Gradientensumme 32, welche sich entlang der jeweiligen Summationslinien 31 ergibt, bestimmt werden. Auf diese Weise können erhabene Objekte, insbesondere Bordsteine, noch universeller und umfangreicher rekonstruiert werden.In conclusion, the 9 and the 10th a possible procedure with raised objects 2nd , in particular curbs, which are z ( 9 ) or the vehicle's transverse direction y ( 10th ) are inclined or inclined as the axis of rotation. In this case, along segmentation lines 36 the sublime object 2nd or the respective transformed image 21st , 22 in several segments 37 assigned. The segmentation lines 36 run in particular parallel to the vehicle transverse direction y . In this case, the above steps can be used to evaluate the transformed images 21st , 22 for each of the segments 37 be carried out separately or independently of one another. It is advantageous for each of the segments 37 the respective gradient along respective summation lines 31 summed up. The summation lines 31 each extend over a single segment. In particular, for each of the segments 37 individually the gradient along respective gradient lines 30th evaluated. Then the height h ₁ and / or the width w of the sublime object 2nd , for example as with the 4th to 8th described for each of the segments 37 determined individually. In particular, this will be done for each of the segments 37 respective first, second, third and fourth limit coordinates are determined. The limit coordinates can be based on the respective maxima of the gradient sum 32 , which are along the respective summation lines 31 results, be determined. In this way, raised objects, in particular curbs, can be reconstructed even more universally and extensively.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2016/0104047 A1 [0003]US 2016/0104047 A1 [0003]
DE 102016124747 A1 [0004, 0029]DE 102016124747 A1 [0004, 0029]

Claims

Verfahren zum Klassifizieren eines erhabenen Objekts (2), insbesondere eines Bordsteins, in einem Umgebungsbereich (U) eines Kraftfahrzeugs (1), mit den Schritten: - Transformieren eines ersten Ursprungsbildes in ein erstes transformiertes Bild (21) und eines zweiten Ursprungsbildes in ein zweites transformiertes Bild (22), wobei die jeweiligen Ursprungsbilder in ein gemeinsames Bezugssystem transformiert werden, und wobei der Umgebungsbereich (U) durch das erste Ursprungsbild und das zweite Ursprungsbild jeweils zumindest teilweise aus einer unterschiedlichen Perspektive abgebildet wird, - Bestimmen einer ersten Grenzkoordinate (G_x) und einer von der ersten Grenzkoordinate (G_x) verschiedenen zweiten Grenzkoordinate (G₁) in dem ersten transformierten Bild (21) sowie Bestimmen einer dritten Grenzkoordinate (G_x) und einer von der dritten Grenzkoordinate (G_x) verschiedenen vierten Grenzkoordinate (G₂) in dem zweiten transformierten Bild (22), wobei die jeweiligen Grenzkoordinaten (G_x, G₁, G₂) durch das erhabene Objekt (2) hervorgerufene Ränder in dem jeweiligen transformierten Bild (21, 22) repräsentieren, und - Bestimmen einer Höhe (h₁) des erhabenen Objekts (2) basierend auf einem Abstand (d₁, d₂) des erhabenen Objekts (2) von dem Bilderfassungssystem (10) und einer Anbauposition (h₁, h₂) des Bilderfassungssystems (10) an dem Kraftfahrzeug (1) sowie basierend auf einem Abstand (L_s1) zwischen der ersten Grenzkoordinate (G_x) sowie der zweiten Grenzkoordinate (G₂) und/oder basierend auf einem Abstand (L_s2) zwischen der dritten Grenzkoordinate (G_x) sowie der vierten Grenzkoordinate (G₂).Method for classifying a raised object (2), in particular a curb, in a surrounding area (U) of a motor vehicle (1), with the steps: - transforming a first original image into a first transformed image (21) and a second original image into a second one transformed image (22), the respective original images being transformed into a common reference system, and wherein the surrounding area (U) is at least partially depicted from a different perspective by the first original image and the second original image, - determining a first boundary coordinate (G _x ) and a second border coordinate (G ₁ ) different from the first border coordinate (G _x ) in the first transformed image (21) and determining a third border coordinate (G _x ) and a fourth border coordinate (G.) different from the third border coordinate (G _x ) ₂ ) in the second transformed image (22), the respective border coordinate th (G _x , G ₁ , G ₂ ) represent edges caused by the raised object (2) in the respective transformed image (21, 22), and - determining a height (h ₁ ) of the raised object (2) based on a Distance (d ₁ , d ₂ ) of the raised object (2) from the image acquisition system (10) and a mounting position (h ₁ , h ₂ ) of the image acquisition system (10) on the motor vehicle (1) and based on a distance (L _s1 ) between the first limit coordinate (G _x ) and the second limit coordinate (G ₂ ) and / or based on a distance (L _s2 ) between the third limit coordinate (G _x ) and the fourth limit coordinate (G ₂ ).

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - die erste Grenzkoordinate (G_x) und die zweite Grenzkoordinate (G₁) in dem ersten transformierten Bild (21) derart bestimmt werden, dass sie in einer Reihe bezüglich einer Fahrzeugquerrichtung (y) angeordnet sind, und/oder - die dritte Grenzkoordinate (G_x) und die vierte Grenzkoordinate (G₂) in dem zweiten transformierten Bild (22) derart bestimmt werden, dass sie in einer Reihe bezüglich der Fahrzeugquerrichtung (y) angeordnet sind.Procedure according to Claim 1 , characterized in that - the first boundary coordinate (G _x ) and the second boundary coordinate (G ₁ ) in the first transformed image (21) are determined such that they are arranged in a row with respect to a vehicle transverse direction (y), and / or - The third limit coordinate (G _x ) and the fourth limit coordinate (G ₂ ) in the second transformed image (22) are determined such that they are arranged in a row with respect to the vehicle transverse direction (y).

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Bestimmen der Höhe (h₁) des erhabenen Objekts (2) mittels einer Verschiebungsvariablen berücksichtigt wird, dass die erste Grenzkoordinate (G_x) oder zweite Grenzkoordinate (G₁) sowie die dritte Grenzkoordinate (G_x) oder vierte Grenzkoordinate (G₂) aufgrund eines Schattenwurfs an dem erhabenen Objekt (2) verschoben bestimmt werden können.Method according to one of the preceding claims, characterized in that when determining the height (h ₁ ) of the raised object (2) by means of a displacement variable, it is taken into account that the first limit coordinate (G _x ) or second limit coordinate (G ₁ ) and the third Border coordinate (G _x ) or fourth border coordinate (G ₂ ) can be determined shifted due to a shadow cast on the raised object (2).

Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine erste Schattenkoordinate (G₂) in dem ersten transformierten Bild (21) sowie eine zweite Schattenkoordinate (G₂) in dem zweiten transformierten Bild (22) bestimmt wird, wobei durch die jeweilige Schattenkoordinate (G₂) der Schattenwurf an dem erhabenen Objekt (2) in dem jeweiligen transformierten Bild (21, 22) repräsentiert wird.Procedure according to Claim 3 , characterized in that a first shadow coordinate (G ₂ ) in the first transformed image (21) and a second shadow coordinate (G ₂ ) in the second transformed image (22) is determined, the shadow cast by the respective shadow coordinate (G ₂ ) is represented on the raised object (2) in the respective transformed image (21, 22).

Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass für das Bestimmen der Höhe (h₁) des erhabenen Objekts (2) dieselbe Berechnungsvorschrift verwendet wird, unabhängig davon ob ein Schattenwurf durch das erhabene Objekt (2) erfolgt oder nicht.Procedure according to Claim 3 or 4th , characterized in that the same calculation rule is used for determining the height (h ₁ ) of the raised object (2), regardless of whether a shadow is cast by the raised object (2) or not.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Bestimmen der Höhe (h₁) des erhabenen Objekts (2) eine Neigung des erhabenen Objekts (2) berücksichtigt wird.Method according to one of the preceding claims, characterized in that when determining the height (h ₁ ) of the raised object (2), an inclination of the raised object (2) is taken into account.

Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass eine Neigung des erhabenen Objekts (2) bezüglich einer Fahrzeughochrichtung (z) oder Fahrzeugquerrichtung (y) als Rotationsachse berücksichtigt wird, indem das erhabene Objekt (2) parallel zu einer Fahrzeuglängsrichtung (x) in mehrere Segmente (37) eingeteilt wird, für welche das Bestimmen der Grenzkoordinaten (G_x, G₁, G₂) und das Bestimmen der Höhe (h₁) des erhabenen Objekts (2) für jedes der Segmente (37) jeweils unabhängig voneinander durchgeführt wird.Procedure according to Claim 6 , characterized in that an inclination of the raised object (2) with respect to a vehicle vertical direction (z) or vehicle transverse direction (y) is taken into account as the axis of rotation by dividing the raised object (2) into a plurality of segments (37) parallel to a vehicle longitudinal direction (x) for which the determination of the boundary coordinates (G _x , G ₁ , G ₂ ) and the determination of the height (h ₁ ) of the raised object (2) for each of the segments (37) is carried out independently of one another.

Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass eine Neigung des erhabenen Objekts (2) bezüglich der Fahrzeuglängsrichtung (x) als Rotationsachse berücksichtigt wird, indem eine Variable für die Neigung angewendet wird.Procedure according to Claim 6 or 7 , characterized in that an inclination of the raised object (2) with respect to the longitudinal direction of the vehicle (x) is taken into account as the axis of rotation by applying a variable for the inclination.

Verfahren nach Anspruch 3 und 8, dadurch gekennzeichnet, dass eine gemeinsame Variable (L, L_k) verwendet wird, mittels welcher sowohl der Schattenwurf als auch die Neigung des erhabenen Objekts (2) bezüglich der Fahrzeuglängsrichtung (x) berücksichtigt wird.Procedure according to Claim 3 and 8th , characterized in that a common variable (L, L _k ) is used, by means of which both the shadow cast and the inclination of the raised object (2) with respect to the vehicle longitudinal direction (x) are taken into account.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand des ersten oder des zweiten transformierten Bildes eine weitere Grenzkoordinate (G_w) bestimmt und anhand der weiteren Grenzkoordinate (G_w) eine Breite (w) des erhabenen Objekts (2) parallel zu der Fahrzeugquerrichtung (y) bestimmt wird.Method according to one of the preceding claims, characterized in that a further boundary coordinate (G _w ) is determined on the basis of the first or the second transformed image and a width (w) of the raised object (2) parallel to that is determined on the basis of the further boundary coordinate (G _w ) Vehicle transverse direction (y) is determined.

Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die folgenden zusätzlichen Schritte: - Bilden von Gradienten über Pixelwerte von Pixeln entlang jeweiliger Gradientenlinien (30) in dem ersten transformierten Bild (21) und dem zweiten transformierten Bild (22), - Summieren der Gradienten entlang mehrerer paralleler Summationslinien (31) zu einer jeweiligen Gradientensumme (32) für das erste transformierte Bild (21) und das zweite transformierte Bild (22), wobei die Summationslinien (31) und die Gradientenlinien (30) senkrecht aufeinander stehen und Maxima (8) der Gradientensumme (32) Grenzen des erhabenen Objekts (2) repräsentieren, - Ermitteln eines ersten Paares (78) der Maxima (75, 76) der Gradientensumme (32) in dem ersten transformierten Bild (21) und eines zweiten Paares (79) der Maxima (85, 86) der Gradientensumme (32) in dem zweiten transformierten Bild (22), wobei die Paare (78, 79) nach einem vorbestimmten Kriterium miteinander korrespondieren, - wobei bei dem Bestimmen der ersten Grenzkoordinate (G_x) und der zweiten Grenzkoordinate (G₁) diese derart bestimmt werden, dass diese eine jeweilige Lage der Maxima (75, 76) des ersten Paares (78) repräsentieren und bei dem Bestimmen der dritten Grenzkoordinate (G_x) und der vierten Grenzkoordinate (G₂) diese derart bestimmt werden, dass diese eine jeweilige Lage der Maxima (75, 76) des zweiten Paares (79) repräsentieren.Method according to one of the preceding claims, characterized by the following additional steps: - Forming gradients over pixel values of pixels along respective gradient lines (30) in the first transformed image (21) and the second transformed image (22), - summing the gradients along a plurality of parallel summation lines (31) to a respective gradient sum (32) for the first transformed image (21) and the second transformed image (22), wherein the summation lines (31) and the gradient lines (30) are perpendicular to one another and represent maxima (8) of the gradient sum (32) limits of the raised object (2), - determining a first pair (78) of the maxima (75, 76) of the Gradient sum (32) in the first transformed image (21) and a second pair (79) of the maxima (85, 86) of the gradient sum (32) in the second transformed image (22), the pairs (78, 79) according to one predetermined criterion correspond to one another, - when determining the first limit coordinate (G _x ) and the second limit coordinate (G ₁ ) these are determined such that they represent a respective position of the maxima (75, 76) of the first pair (78) Ren and when determining the third limit coordinate (G _x ) and the fourth limit coordinate (G ₂ ) these are determined such that they represent a respective position of the maxima (75, 76) of the second pair (79).

Steuereinrichtung (16) zum Klassifizieren eines erhabenen Objekts (2) anhand von Bildern eines Bilderfassungssystems (10) eines Kraftfahrzeugs (1), die dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchführen.Control device (16) for classifying a raised object (2) on the basis of images of an image acquisition system (10) of a motor vehicle (1), which is designed to implement a method according to one of the Claims 1 to 11 carry out.

Fahrerassistenzsystem (9) für ein Kraftfahrzeug (1), mit - einem Bilderfassungssystem (10) zum Bereitstellen eines ersten und eines zweiten Ursprungsbildes eines Umgebungsbereichs des Kraftfahrzeugs (1), und - einer Steuereinrichtung (16) nach Anspruch 12.Driver assistance system (9) for a motor vehicle (1), with - an image acquisition system (10) for providing a first and a second original image of a surrounding area of the motor vehicle (1), and - a control device (16) Claim 12 .

Computerprogrammprodukt mit Programmcodemitteln, welche in einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinrichtung (16) abgearbeitet wird.Computer program product with program code means which are stored in a computer-readable medium in order to implement the method according to one of the Claims 1 to 11 to be carried out when the computer program product is processed on a processor of an electronic control device (16).