DE102015205377A1

DE102015205377A1 - View of an environment of a vehicle

Info

Publication number: DE102015205377A1
Application number: DE102015205377.6A
Authority: DE
Inventors: Philipp Hüger; Thomas Weidner
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2015-03-25
Filing date: 2015-03-25
Publication date: 2016-09-29

Abstract

Zum Darstellen einer Ansicht (8) eine Umgebung eines Fahrzeugs (10) wird eine Vielzahl von Bildern der Umgebung des Fahrzeugs (10) mit mindestens einer am Fahrzeug (10) angebrachten Kamera (11–14) erfasst. Die Vielzahl von Bildern wird zumindest teilweise nahtlos zu der Ansicht (8) zusammengefügt und auf Anzeigemitteln (1) des Fahrzeugs (10) dargestellt.For displaying a view (8) of an environment of a vehicle (10), a plurality of images of the surroundings of the vehicle (10) are detected with at least one camera (11-14) mounted on the vehicle (10). The plurality of images are at least partially assembled seamlessly to the view (8) and displayed on display means (1) of the vehicle (10).

Description

Die vorliegende Erfindung betrifft die Darstellung einer Ansicht einer Umgebung eines Fahrzeugs und das Parken des Fahrzeugs mit Hilfe dieser Ansicht. The present invention relates to the representation of a view of an environment of a vehicle and the parking of the vehicle using this view.

Die DE 103 39 075 A1 beschreibt ein Kraftfahrzeug mit einer Anzeigeeinrichtung zur Darstellung sowohl einer Istlage und einer Istposition des Fahrzeugs als auch einer Solllage und Sollposition des Fahrzeugs. Dabei wird das Fahrzeug von dessen Istlage und Istposition in dessen Solllage und Sollposition unter Berücksichtigung der Fahrzeugumgebung überführt. Dabei kann es sich bei dem Kraftfahrzeug auch um ein Gespann aus einer Zugmaschine und einem Anhänger handeln. The DE 103 39 075 A1 describes a motor vehicle with a display device for displaying both an actual position and an actual position of the vehicle as well as a desired position and target position of the vehicle. In this case, the vehicle is transferred from its actual position and actual position in its desired position and desired position, taking into account the vehicle environment. In this case, the motor vehicle may also be a combination of a tractor and a trailer.

Die DE 10 2009 039 111 A1 offenbart ein automatisiertes oder den Fahrer unterstützendes Rückwärtsfahren eines aus mindestens zwei gelenkig miteinander verbundenen Fahrzeugteilen. Dabei wird der anzufahrende Zielpunkt über ein Informationssystemdisplay, einen Touchscreen oder einen Cursor angewählt. Dabei wird die tatsächlich vorhandene räumliche Situation vor Ort einschließlich Hindernissen vor Beginn und während des Rückwärtsfahrvorgangs messtechnisch erfasst und in eine zyklisch wiederholte Fahrkurvenberechnung einbezogen. Die Rückwärtsfahrt kann entweder vollautomatisch oder nur durch den Fahrer unterstützende Lenkinformationen ausgeführt werden. The DE 10 2009 039 111 A1 discloses an automated or assisting the driver reversing a vehicle from at least two articulated vehicle parts. The destination to be approached is selected via an information system display, a touchscreen or a cursor. The actually existing spatial situation on site including obstacles before the start and during the reversing process is measured and included in a cyclically repeated driving curve calculation. Reverse driving can be done either fully automatically or only by the driver assist steering information.

Nach dem Stand der Technik ist es bekannt, für ein Gespann, welches beispielsweise aus einem Fahrzeug und einem angekoppelten Anhänger besteht, zum Parken den Sollknickwinkel vorzugeben. Um durch die Vorgabe dieses Sollknickwinkels das Gespann beispielsweise in einer engen Straße einzuparken, ist eine gewisse Erfahrung seitens des Fahrers notwendig. According to the prior art, it is known for a team, which consists for example of a vehicle and a coupled trailer, to specify the predetermined bending angle for parking. To park by specifying this Sollknickwinkels the team, for example, in a narrow street, a certain experience on the part of the driver is necessary.

Ausgehend von diesem bekannten Problem stellt sich die vorliegende Erfindung allgemein die Aufgabe, das Parken eines Fahrzeuggespanns, aber auch eines Fahrzeugs ohne Anhänger, zu erleichtern. Based on this known problem, the present invention generally has the object to facilitate the parking of a vehicle combination, but also a vehicle without a trailer.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Darstellen einer Ansicht einer Umgebung eines Fahrzeugs nach Anspruch 1 und durch ein Verfahren zum Parken eines Fahrzeugs nach Anspruch 5 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung. According to the invention, this object is achieved by a method for displaying a view of an environment of a vehicle according to claim 1 and by a method for parking a vehicle according to claim 5. The dependent claims define preferred and advantageous embodiments of the present invention.

Im Rahmen der vorliegenden Erfindung wird ein Verfahren zum Darstellen einer Ansicht oder einer Gesamtsicht einer Umgebung eines Fahrzeugs bereitgestellt. Dabei umfasst das erfindungsgemäße Verfahren folgende Schritte:

• Erfassen von mehreren Bildern der Umgebung des Fahrzeugs mit einer oder mit mehreren Kameras, welche am Fahrzeug befestigt sind.
• Zumindest teilweises nahtloses Zusammenfügen der mehreren Bilder zu der Ansicht. Dabei werden zumindest zwei der Bilder, welche aus verschiedenen Positionen und/oder aus verschiedenen Richtungen aufgenommen wurden, mittels Stitching zusammengefügt. Unter Stitching wird dabei das Erstellen der Ansicht anhand verschiedener kleinerer Einzelaufnahmen bzw. den von der Umgebung des Fahrzeugs erfassten Bilder verstanden. Dazu werden die Bilder bzw. Einzelaufnahmen, welche jeweils nur einen Ausschnitt der gesamten Ansicht darstellen, zu der Gesamtsicht bzw. Ansicht zusammengesetzt. Stitching verläuft meist in zwei Schritten. Zunächst werden die von der Umgebung des Fahrzeugs erfassten Bilder in dasselbe Koordinatensystem umgesetzt und anschließend werden die einzelnen Bilder zu der Ansicht zusammengesetzt. Die anhand der kontinuierlich erfassten Bilder ermittelten Informationen erlauben eine lückenlose dreidimensionale Rekonstruktion der Umgebung des Fahrzeugs, wodurch die Ansicht aus einem beliebigen Blickwinkel konstruiert werden kann, so dass die Ansicht beispielsweise eine Draufsicht (aus der Vogelperspektive auf das Fahrzeug) sein kann. Die Ansicht kann auch eine 360°-Sicht darstellen.
• Darstellen der Ansicht auf Anzeigemitteln (z.B. der Headunit oder dem Kombiinstrument) des Fahrzeugs.

In the context of the present invention, a method is provided for displaying a view or an overall view of an environment of a vehicle. The method according to the invention comprises the following steps:

• Capture multiple images of the surroundings of the vehicle with one or more cameras attached to the vehicle.
• At least partially seamless merging of the multiple images to the view. In this case, at least two of the images, which were taken from different positions and / or from different directions, stitched together. Stitching is understood to mean the creation of the view on the basis of various smaller individual images or the images captured by the surroundings of the vehicle. For this purpose, the images or individual images, which each represent only a section of the entire view, are combined to form the overall view. Stitching usually goes in two steps. First, the images captured by the surroundings of the vehicle are converted to the same coordinate system, and then the individual images are assembled into the view. The information obtained from the continuously acquired images allows a complete three-dimensional reconstruction of the environment of the vehicle, allowing the view to be constructed from any angle, such that the view may be, for example, a bird's-eye view of the vehicle. The view can also be a 360 ° view.
• Display the view on display means (eg the head unit or the instrument cluster) of the vehicle.

Anhand der erfindungsgemäß dargestellten Ansicht ist der Fahrer vorteilhafterweise in der Lage, den bevorstehenden Parkvorgang seines Fahrzeugs nahezu optimal zu planen. Darüber hinaus lässt sich der Parkvorgang anhand der Ansicht auch sehr gut verfolgen, so dass der Fahrer frühzeitig bestimmte Korrekturen an seinem Parkvorgang vornehmen kann, um erfolgreich die gewünschte Parkposition oder Zielposition zu erreichen. Based on the view presented in the invention, the driver is advantageously able to plan the upcoming parking process of his vehicle almost optimally. In addition, the parking operation can be tracked very well from the view, so that the driver can make certain corrections to his parking operation early on in order to successfully reach the desired parking position or target position.

Das erfindungsgemäße Verfahren kann beispielsweise automatisch aktiviert werden und aktiviert bleiben, solange die Geschwindigkeit des Fahrzeugs unter einem vorbestimmten Geschwindigkeits-Schwellenwert liegt. Durch dieses automatische Aktivieren des Verfahrens muss der Fahrer vorteilhafterweise kein Bedienelement betätigen, um die Ansicht zu erzeugen und darzustellen. For example, the method according to the invention may be automatically activated and remain activated as long as the speed of the vehicle is below a predetermined speed threshold. By this automatic activation of the method, the driver advantageously has to operate no control element to generate and display the view.

Damit die Ansicht möglichst immer aktuell ist, werden die Bilder der Umgebung bevorzugt kontinuierlich erfasst. To ensure that the view is always up-to-date, the images of the environment are preferably recorded continuously.

Bei einer bevorzugten erfindungsgemäßen Ausführungsform werden die Bilder der Umgebung des Fahrzeugs mit mehreren Kameras, beispielsweise einer Front-Kamera, einer Heck-Kamera und zwei Seitenkameras, erfasst. Dabei werden Bilder, welche von verschiedenen Kameras erfasst werden, mittels Stitching zusammengefügt und bilden zumindest einen Teil der Ansicht. In a preferred embodiment of the invention, the images become the environment of the vehicle with multiple cameras, such as a front camera, a rear camera and two side cameras detected. Here, images captured by different cameras are stitched together to form at least part of the view.

Gemäß dieser Ausführungsform ist der dem Fahrer mittels der Ansicht dargestellte Ausschnitt der Umgebung vorteilhafterweise größer als der Ausschnitt der Umgebung, welcher durch nur eines der erfassten Bilder darstellbar wäre. According to this embodiment, the section of the surroundings shown to the driver by means of the view is advantageously larger than the section of the surroundings which could be represented by only one of the captured images.

Wie bereits vorab erwähnt, werden die Bilder bevorzugt zu mehreren Zeitpunkten erfasst. Dabei wird bei der Aufnahme des jeweiligen Bildes jeweils auch die aktuelle Position des Fahrzeugs (z.B. ermittelt mittels Odometrie) erfasst, aus welcher dann die zur Aufnahme des jeweiligen Bildes aktuelle Position und Blickrichtung der jeweiligen Kamera ermittelt werden kann. Beim Zusammenfügen der erfassten Bilder zu der auf den Anzeigemitteln dargestellten Ansicht kann dann die aktuelle Position des Fahrzeugs und damit die aktuelle Position und Blickrichtung der aufnehmenden Kamera berücksichtigt werden. As already mentioned above, the images are preferably acquired at several points in time. In each case, the current position of the vehicle (for example, determined by means of odometry) is also detected when the respective image is taken, from which position the current position and viewing direction of the respective camera can then be determined. When joining the captured images to the view displayed on the display means then the current position of the vehicle and thus the current position and viewing direction of the receiving camera can be considered.

Gemäß einer weiteren bevorzugten erfindungsgemäßen Ausführungsform wird die aktuelle Position des Fahrzeugs wiederholt oder kontinuierlich erfasst. Anhand der zu mehreren Zeitpunkten erfassten Position des Fahrzeugs kann dann die von dem Fahrzeug gefahrene Route oder Trajektorie bestimmt und zusammen mit der Ansicht über die Anzeigemittel dargestellt werden. According to a further preferred embodiment of the invention, the current position of the vehicle is detected repeatedly or continuously. Based on the position of the vehicle detected at several times, the route or trajectory traveled by the vehicle can then be determined and displayed together with the view via the display means.

Anhand dieser weiteren Ausführungsform wird die bisher gefahrene Trajektorie in der Ansicht eingeblendet, wodurch der Fahrer weitere Informationen über den geplanten Parkvorgang gewinnt oder seine Zielposition besser vorgeben kann. On the basis of this further embodiment, the hitherto driven trajectory is displayed in the view, whereby the driver gains more information about the planned parking process or can specify his target position better.

Insbesondere kann die mittels der Anzeigemittel dargestellte Ansicht gezoomt, verschoben und/oder gedreht werden. Mit anderen Worten kann der Fahrer die die Umgebung des Fahrzeugs darstellende Ansicht so verändern, dass er anhand der Ansicht möglichst optimal beim Parken seines Fahrzeugs unterstützt wird. In particular, the view represented by the display means can be zoomed, moved and / or rotated. In other words, the driver can change the view representing the surroundings of the vehicle in such a way that, based on the view, he is assisted optimally when parking his vehicle.

Im Rahmen der vorliegenden Erfindung wird auch ein Verfahren zum Parken eines Fahrzeugs bereitgestellt. Dabei umfasst dieses erfindungsgemäße Verfahren folgende Schritte:

• Darstellen einer Ansicht einer Umgebung des Fahrzeugs gemäß dem vorab beschriebenen erfindungsgemäßen Verfahren zum Darstellen einer Ansicht einer Umgebung eines Fahrzeugs.
• Bestimmen einer Zielposition mit Hilfe oder in der dargestellten Ansicht anhand einer Eingabe des Fahrers. Dabei bestimmt die Zielposition die Position des Fahrzeugs, welche das Fahrzeug am Ende des Parkvorgangs einnehmen soll.
• Automatisches Bestimmen einer Route bzw. Trajektorie des Fahrzeugs von der aktuellen Position des Fahrzeugs zu der Zielposition.
• Fahren des Fahrzeugs entlang der Route mit automatischer Quersteuerung. Dabei wird unter einer automatischen Quersteuerung verstanden, dass die Lenkbewegungen automatisch vom Fahrzeug vorgenommen werden, so dass sich der Fahrer höchstens um die Längssteuerung, d.h. um das Beschleunigen und das Bremsen des Fahrzeugs, kümmern muss.

In the context of the present invention, a method for parking a vehicle is also provided. In this case, this method according to the invention comprises the following steps:

Representing a view of an environment of the vehicle according to the above-described inventive method for displaying a view of an environment of a vehicle.
• Determining a target position using or in the displayed view based on input from the driver. The target position determines the position of the vehicle which the vehicle is to occupy at the end of the parking procedure.
• Automatically determining a route or trajectory of the vehicle from the current position of the vehicle to the target position.
• Driving the vehicle along the route with automatic lateral control. Here, an automatic transverse control means that the steering movements are automatically performed by the vehicle, so that the driver at most has to take care of the longitudinal control, ie the acceleration and braking of the vehicle.

Unter Parken oder einem Parkvorgang wird dabei im Rahmen der vorliegenden Erfindung sowohl ein Einparken in einen Parkplatz als auch ein Ausparken aus einem Parkplatz verstanden. Während beim Einparken die Zielposition eine Position des Fahrzeugs innerhalb des gewählten Parkplatzes definiert, definiert die Zielposition beim Ausparken eine Position außerhalb des Parkplatzes. Under parking or a parking operation is understood in the present invention, both a parking in a parking lot as well as a parking out of a parking lot. While parking, the target position defines a position of the vehicle within the selected parking space, the target position defines a position outside the parking lot when parking out.

Zum einen ist der Fahrer anhand der Ansicht vorteilhafterweise in der Lage, die gewünschte Zielposition sehr einfach und sehr genau zu definieren. Zum anderen hat das Fahrzeug anhand der Vielzahl von Bildern der Umgebung des Fahrzeugs ausreichend viel Information, um die Route von der aktuellen Position des Fahrzeugs zu der Zielposition zu bestimmen. On the one hand, the driver is advantageously able, on the basis of the view, to define the desired target position very simply and very precisely. On the other hand, based on the large number of images of the surroundings of the vehicle, the vehicle has sufficient information to determine the route from the current position of the vehicle to the destination position.

Insbesondere können anhand der Ansicht oder anhand der in den erfassten Bildern steckenden Information Kollisionsobjekte bestimmt werden. Dabei wird unter einem Kollisionsobjekt ein Objekt verstanden, welches zu einer Beschädigung des Fahrzeugs führen würde, wenn das Fahrzeug mit diesem Kollisionsobjekt zusammenstoßen würde. Die Route des Fahrzeugs von der aktuellen Position zu der Zielposition wird nun bevorzugt (automatisch) derart bestimmt, dass das Fahrzeug auf seiner Fahrt entlang der berechneten Route nicht mit einem der vorab bestimmten Kollisionsobjekte zusammenstößt. In particular, collision objects can be determined based on the view or on the information contained in the captured images. Here, a collision object is understood to be an object which would lead to damage to the vehicle if the vehicle collided with this collision object. The route of the vehicle from the current position to the destination position is now preferably (automatically) determined such that the vehicle does not collide with one of the predetermined collision objects as it travels along the calculated route.

Alternativ oder zusätzlich existiert erfindungsgemäß auch die Möglichkeit, dass die Route in der Ansicht mittels der Anzeigemittel dargestellt wird und dass ein Benutzer (in der Regel der Fahrer) diese Route durch entsprechende Eingaben verändern kann. Alternatively or additionally, according to the invention there is also the possibility that the route is displayed in the view by means of the display means and that a user (usually the driver) can change this route by means of corresponding inputs.

Die manuelle Veränderung der Route ermöglicht dem Fahrer vorteilhafterweise, die Route nach seinen Wünschen anzupassen. The manual change of the route advantageously allows the driver to adapt the route to his liking.

Neben der direkten Bestimmung der Zielposition ist es erfindungsgemäß auch möglich, die Zielposition abhängig von in der Ansicht dargestellten Objekten zu bestimmen. Dabei existieren folgende Möglichkeiten:

• Es wird in der Ansicht (nur) ein Objekt und in Bezug auf dieses Objekt eine Richtung bestimmt. Ausgehend von diesem bestimmten Objekt wird die Zielposition in der vorab bestimmten Richtung direkt neben dem Objekt festgelegt. Dabei bedeutet neben dem Objekt beispielsweise, dass sich das Fahrzeug, wenn es sich auf der Zielposition befindet, in einem Abstand von 10 cm bis 2 m neben dem Objekt befindet.
• Es werden in der Ansicht zwei Objekte bestimmt. Die Zielposition wird zwischen den Objekten bestimmt, so dass beispielsweise eine Gerade, welche die beiden Objekte verbindet, die Zielposition schneidet.

In addition to the direct determination of the target position, it is also possible according to the invention, the target position depending on in the view shown To determine objects. The following options exist:

• In the view (only) an object is determined and in relation to this object a direction. Starting from this particular object, the target position is set in the predetermined direction next to the object. In this case, in addition to the object, for example, means that when the vehicle is on the target position, it is located at a distance of 10 cm to 2 m next to the object.
• Two objects are defined in the view. The target position is determined between the objects, so that, for example, a straight line connecting the two objects intersects the target position.

Darüber hinaus ist es möglich, dass das Verfahren die Zielposition automatisch bestimmt, indem beispielsweise in der Ansicht eine als Parkplatz identifizierte Position als Zielposition bestimmt wird. Moreover, it is possible that the method automatically determines the target position, for example, by determining a position identified as a parking space in the view as the target position.

Die Bestimmung der Zielposition anhand eines oder anhand von zwei in der Ansicht dargestellten Objekten erleichtert vorteilhafterweise das Festlegen bzw. Bestimmen der Zielposition für den Fahrer. The determination of the target position on the basis of one or two objects shown in the view advantageously facilitates the definition or determination of the target position for the driver.

Es sei darauf hingewiesen, dass erfindungsgemäß der Parkvorgang auch vollautomatisch verlaufen kann. In diesem Fall übernimmt das Fahrzeug sowohl die Längssteuerung als auch die Quersteuerung, um das Fahrzeug von der aktuellen Position zu der Zielposition entlang der vorab bestimmten Route zu fahren. It should be noted that according to the invention, the parking operation can also be fully automatic. In this case, the vehicle takes both the longitudinal control and the lateral control to drive the vehicle from the current position to the target position along the predetermined route.

Gemäß einer bevorzugten erfindungsgemäßen Ausführungsform ist ein Anhänger an das Fahrzeug angekoppelt. Bei dieser Ausführungsform wird die Route von der aktuellen Position des Fahrzeugs bzw. des Gespanns, welches aus dem Fahrzeug und dem angekoppelten Anhänger besteht, zu der Zielposition in Abhängigkeit von dem angekoppelten Anhänger derart bestimmt, dass die bestimmte Route anschließend auch von dem Fahrzeug mit angekoppeltem Anhänger gefahren werden kann. According to a preferred embodiment of the invention, a trailer is coupled to the vehicle. In this embodiment, the route from the current position of the vehicle or the team consisting of the vehicle and the coupled trailer to the destination position in dependence on the coupled trailer is determined such that the determined route is subsequently also coupled to the vehicle Trailer can be driven.

Dabei sind bei der Bestimmung der Route andere Funktionalitäten (z.B. Mehrachsbetrieb), andere Abmessungen (z.B. die Gesamtlänge des Gespanns), andere Sicherheitsanforderungen (z.B. die maximale Länge der Route ist kürzer) als bei der Bestimmung einer Route für ein Fahrzeug ohne Anhänger zu berücksichtigen. In the determination of the route, other functionalities (e.g., multi-axis operation), other dimensions (e.g., the total length of the combination), other safety requirements (e.g., the maximum length of the route is shorter) than when determining a route for a vehicle without a trailer are to be considered.

Im Rahmen der vorliegenden Erfindung wird auch eine Vorrichtung zum Darstellen einer Ansicht einer Umgebung eines Fahrzeugs bereitgestellt. Dabei umfasst die Vorrichtung eine Steuerung, eine oder mehrere Kameras und Anzeigemittel. Die Kamera(s) ist/sind ausgestaltet, um mehrere Bilder der Umgebung des Fahrzeugs zu erfassen. Mit Hilfe der Steuerung werden diese Bilder zumindest teilweise nahtlos zu der Ansicht zusammengefügt, welche anschließend auf den Anzeigemitteln dargestellt wird. In the context of the present invention, an apparatus for displaying a view of an environment of a vehicle is also provided. In this case, the device comprises a controller, one or more cameras and display means. The camera (s) is / are configured to capture multiple images of the surroundings of the vehicle. With the help of the controller, these images are at least partially assembled seamlessly to the view, which is then displayed on the display means.

Die Vorteile der erfindungsgemäßen Vorrichtung entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens zum Darstellen einer Ansicht einer Umgebung eines Fahrzeugs, welche vorab im Detail ausgeführt sind, so dass hier auf eine Wiederholung verzichtet wird. The advantages of the device according to the invention essentially correspond to the advantages of the method according to the invention for displaying a view of an environment of a vehicle, which are executed in advance in detail, so that a repetition is dispensed with here.

Die erfindungsgemäße Vorrichtung ist insbesondere auch in der Lage, die vorab beschriebenen Ausführungsformen und Varianten des erfindungsgemäßen Verfahrens zum Darstellen einer Ansicht einer Umgebung eines Fahrzeugs auszuführen. In particular, the device according to the invention is also able to carry out the previously described embodiments and variants of the method according to the invention for displaying a view of an environment of a vehicle.

Im Rahmen der vorliegenden Erfindung wird auch eine weitere Vorrichtung zum Parken eines Fahrzeugs bereitgestellt. Die weitere Vorrichtung umfasst eine Steuerung, eine oder mehrere Kameras und Anzeigemittel. Die Kamera(s) ist/sind ausgestaltet, um mehrere Bilder der Umgebung des Fahrzeugs zu erfassen. Mit Hilfe der Steuerung werden diese Bilder zumindest teilweise nahtlos zu der Ansicht zusammengefügt, welche anschließend auf den Anzeigemitteln dargestellt wird. Die weitere Vorrichtung ist in der Lage, eine Eingabe eines Benutzers zu erfassen und abhängig davon eine Zielposition in der dargestellten Ansicht zu bestimmen. Darüber hinaus ist die weitere Vorrichtung mit Hilfe ihrer Steuerung in der Lage, eine Route des Fahrzeugs von einer aktuellen Position des Fahrzeugs zu der Zielposition zu bestimmen und das Fahrzeug entlang dieser Route mit einer automatischen Quersteuerung zu fahren. In the context of the present invention, a further device for parking a vehicle is also provided. The further device comprises a controller, one or more cameras and display means. The camera (s) is / are configured to capture multiple images of the surroundings of the vehicle. With the help of the controller, these images are at least partially assembled seamlessly to the view, which is then displayed on the display means. The further apparatus is capable of detecting an input of a user and, depending thereon, of determining a target position in the displayed view. In addition, the further device with the aid of its control is able to determine a route of the vehicle from a current position of the vehicle to the destination position and to drive the vehicle along this route with an automatic lateral control.

Die Vorteile der erfindungsgemäßen weiteren Vorrichtung entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens zum Parken eines Fahrzeugs, welche vorab im Detail ausgeführt sind, so dass hier auf eine Wiederholung verzichtet wird. The advantages of the further device according to the invention essentially correspond to the advantages of the method according to the invention for parking a vehicle, which are executed in advance in detail, so that a repetition is dispensed with here.

Die erfindungsgemäße weitere Vorrichtung ist insbesondere auch in der Lage, die vorab beschriebenen Ausführungsformen und Varianten des erfindungsgemäßen Verfahrens zum Parken eines Fahrzeugs auszuführen. The further device according to the invention is in particular also able to carry out the previously described embodiments and variants of the method according to the invention for parking a vehicle.

Schließlich wird im Rahmen der vorliegenden Erfindung ein Fahrzeug bereitgestellt, welches eine erfindungsgemäße Vorrichtung oder eine weitere erfindungsgemäße Vorrichtung umfasst. Finally, in the context of the present invention, a vehicle is provided which comprises a device according to the invention or a further device according to the invention.

Die vorliegende Erfindung weist folgende Vorteile auf:

• Die Vorgabe eines Sollknickwinkels ist zum Parken des Fahrzeugs nicht erforderlich.
• Auch wenn der rückwärtige Bereich des Fahrzeugs z.B. durch einen angekoppelten Anhänger verdeckt ist, wird dieser Bereich in der Ansicht gezeigt und ist somit für den Fahrer einsichtbar.
• Der über die Ansicht dargestellte Blickwinkel ist größer als der Blickwinkel jeder einzelnen Kamera.

The present invention has the following advantages:

• The specification of a predetermined bending angle is not required for parking the vehicle.
• Even if the rear area of the vehicle is covered by a coupled trailer, for example, this area is shown in the view and can thus be seen by the driver.
• The angle of view represented by the view is larger than the angle of each camera.

Die vorliegende Erfindung ist insbesondere für Kraftfahrzeuge geeignet. Selbstverständlich ist die vorliegende Erfindung nicht auf diesen bevorzugten Anwendungsbereich eingeschränkt, da die vorliegende Erfindung zumindest prinzipiell auch für Flugzeuge, Schiffe sowie gleisgebundene oder spurgeführte Fahrzeuge einsetzbar ist. The present invention is particularly suitable for motor vehicles. Of course, the present invention is not limited to this preferred application, since the present invention, at least in principle for aircraft, ships and track-bound or track-guided vehicles is used.

Im Folgenden wird die vorliegende Erfindung anhand bevorzugter erfindungsgemäßer Ausführungsformen im Detail beschrieben. In the following, the present invention will be described in detail based on preferred embodiments according to the invention.

In 1 ist ein erfindungsgemäßes Fahrzeug mit vier Kameras dargestellt. In 1 an inventive vehicle is shown with four cameras.

In 2 ist schematisch eine beispielhafte erfindungsgemäße Ansicht zum Parken eines Fahrzeugs dargestellt. In 2 schematically an exemplary view according to the invention for parking a vehicle is shown.

In 3 ist schematisch ein erfindungsgemäßes Fahrzeug mit einer erfindungsgemäßen Vorrichtung dargestellt. In 3 is schematically illustrated an inventive vehicle with a device according to the invention.

In 1 ist ein erfindungsgemäßes Fahrzeug 10 dargestellt, welches eine Front-Kamera 11, eine Heck-Kamera 14 (z.B. unter einem Schwenkemblem des Fahrzeugs 10) und jeweils eine Kamera 12 bzw. 13 in jedem Seitenspiegel des Fahrzeugs umfasst. Wenn die Geschwindigkeit des Fahrzeugs 10 beispielsweise eine vorbestimmte Geschwindigkeitsschwelle (z.B. 10 km/h) unterschreitet, erfassen die vier Kameras 11–14 kontinuierlich Bilder der Umgebung des Fahrzeugs 10. Anhand dieser Bilder wird eine Draufsicht und/oder eine dreidimensionale Ansicht berechnet, welche auf einer Headunit 1 des Fahrzeugs 10 dargestellt wird. Zusätzlich wird anhand der kontinuierlich ermittelten Eigenposition des Fahrzeugs die bisher von dem Fahrzeug gefahrene Trajektorie berechnet und zusammen mit der Ansicht in der Headunit 1 eingeblendet. Anhand dieser Ansicht kann der Fahrer des Fahrzeugs 10 eine Zielposition wählen, in welche das Fahrzeug 10 von der aktuellen Position gefahren werden soll. In 1 is a vehicle according to the invention 10 pictured, which is a front camera 11 , a stern camera 14 (eg under a pivoting emblem of the vehicle 10 ) and one camera each 12 respectively. 13 in each side mirror of the vehicle. When the speed of the vehicle 10 For example, falls below a predetermined speed threshold (eg 10 km / h), capture the four cameras 11 - 14 continuously pictures the environment of the vehicle 10 , On the basis of these images, a top view and / or a three-dimensional view is calculated which is on a head unit 1 of the vehicle 10 is pictured. In addition, the trajectory previously traveled by the vehicle is calculated on the basis of the continuously determined intrinsic position of the vehicle and together with the view in the head unit 1 appears. Based on this view, the driver of the vehicle 10 Choose a target position in which the vehicle 10 to be driven from the current position.

In 2 ist ein erfindungsgemäßes Beispiel einer auf der Headunit 1 dargestellten Ansicht schematisch dargestellt. Man erkennt das Fahrzeug 10, an welchem ein Anhänger 2 angekoppelt ist. Mit dem Bezugszeichen 3 ist die Trajektorie dargestellt, welche das Fahrzeug befahren hat. Diese Trajektorie 3 wird beispielsweise anhand der Mitte der Hinterachse des Fahrzeugs 10 bestimmt, wobei die dargestellte Trajektorie 3 einen vorbestimmten Abschnitt (z.B. die letzten 100 m) der zuletzt von dem Fahrzeug 10 befahrenen Strecke umfasst. Darüber hinaus sind die Hindernisse oder Objekte 21–25 dargestellt. Zur Bestimmung einer Zielposition kann der Fahrer beispielsweise die beiden Objekte 21, 22 oder die beiden Objekte 23, 24 auswählen, wobei in diesem Fall die Zielposition 5 bzw. 6 zwischen diesen beiden Objekten bestimmt wird. Es ist allerdings auch möglich, die Zielposition anhand nur eines Objekts 25 zu bestimmen, wobei in diesem Fall zusätzlich eine Richtung vorzugeben ist, in welcher die Zielposition neben dem ausgewählten Objekt 25 bestimmt wird. Natürlich kann die Zielposition auch ohne vorherige Bestimmung eines Objektes 21–25 direkt vorgegeben werden. In 2 is an example of an invention on the head unit 1 shown schematically represented. You recognize the vehicle 10 on which a trailer 2 is coupled. With the reference number 3 is shown the trajectory that drove the vehicle. This trajectory 3 for example, based on the center of the rear axle of the vehicle 10 determined, the illustrated trajectory 3 a predetermined section (eg the last 100 m) of the last of the vehicle 10 includes covered route. In addition, the obstacles or objects 21 - 25 shown. To determine a target position, the driver can, for example, the two objects 21 . 22 or the two objects 23 . 24 In this case, select the target position 5 respectively. 6 between these two objects. However, it is also possible to use the target position with just one object 25 in which case, additionally, a direction is to be specified in which the target position is adjacent to the selected object 25 is determined. Of course, the target position can also be determined without prior determination of an object 21 - 25 be specified directly.

Nach der Auswahl der Zielposition wird eine Trajektorie 4 von der aktuellen Position des Fahrzeugs 10 zu der Zielposition 6 berechnet und zusammen mit der Ansicht 8 in der Headunit 1 dargestellt. Anhand dieser dargestellten Trajektorie 4 kann der Fahrer überprüfen, ob sich Objekte 21–25 oder Hindernisse entlang der Trajektorie 4 befinden. Wenn dies der Fall ist, kann der Fahrer die geplante Trajektorie 4 so anpassen, dass das Fahrzeug 10 mit Anhänger 2 entlang der Trajektorie 4 bewegt werden kann, ohne dass das Fahrzeug 10 oder der Anhänger 2 mit einem Objekt 21–25 kollidiert. Wenn der Fahrer mit der geplanten Trajektorie 4 einverstanden ist, betätigt er ein entsprechendes Bedienelement des Fahrzeugs 10, worauf hin das Fahrzeug 10 halbautomatisch (d.h. mit automatischer Quersteuerung) zur Zielposition 6 gefahren wird, wobei der Fahrer nur für die Längssteuerung (Beschleunigung und Bremsen) zuständig ist. After selecting the target position becomes a trajectory 4 from the current position of the vehicle 10 to the target position 6 calculated and together with the view 8th in the head unit 1 shown. Based on this illustrated trajectory 4 The driver can check for objects 21 - 25 or obstacles along the trajectory 4 are located. If this is the case, the driver can use the planned trajectory 4 so customize that vehicle 10 with trailer 2 along the trajectory 4 can be moved without the vehicle 10 or the trailer 2 with an object 21 - 25 collided. If the driver with the planned trajectory 4 agrees, he actuates a corresponding control element of the vehicle 10 , where the vehicle 10 semi-automatic (ie with automatic lateral control) to the target position 6 is driven, the driver is responsible only for the longitudinal control (acceleration and braking).

In 3 ist schematisch ein erfindungsgemäßes Fahrzeug 10 dargestellt, welches eine erfindungsgemäße Vorrichtung 20 zum Darstellen einer Ansicht einer Umgebung des Fahrzeugs 10 oder eine erfindungsgemäße Vorrichtung 20 zum Parken des Fahrzeugs 10 umfasst. Die Vorrichtung 20 umfasst ihrerseits eine Kamera 11, eine Steuerung 7 und eine Headunit 1. In 3 schematically is a vehicle according to the invention 10 shown, which is a device according to the invention 20 for displaying a view of an environment of the vehicle 10 or a device according to the invention 20 for parking the vehicle 10 includes. The device 20 in turn includes a camera 11 , a controller 7 and a head unit 1 ,

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Kombiinstrument bzw. Headunit Instrument cluster or head unit
2 2: Anhänger pendant
3 3: gefahrene Trajektorie driven trajectory
4 4: Parktrajektorie Parktrajektorie
5, 6 5, 6: Zielposition target position
7 7: Steuerung control
8 8th: Ansicht view
10 10: Fahrzeug vehicle
11–1411-14: Kamera camera
20 20: Vorrichtung contraption
21–2521-25: Objekt object

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10339075 A1 [0002] DE 10339075 A1 [0002]
DE 102009039111 A1 [0003] DE 102009039111 A1 [0003]

Claims

Verfahren zum Darstellen einer Ansicht (8) einer Umgebung eines Fahrzeugs (10), umfassend: Erfassen einer Vielzahl von Bildern der Umgebung des Fahrzeugs (10) mit mindestens einer am Fahrzeug (10) angebrachten Kamera (11–14), zumindest teilweises nahtloses Zusammenfügen der Vielzahl von Bildern zu der Ansicht (8), und Darstellen der Ansicht (8) auf Anzeigemitteln (1) des Fahrzeugs (10). Method for displaying a view ( 8th ) an environment of a vehicle ( 10 ), comprising: capturing a plurality of images of the surroundings of the vehicle ( 10 ) with at least one on the vehicle ( 10 ) attached camera ( 11 - 14 ), at least partially seamlessly merging the plurality of images into the view ( 8th ), and displaying the view ( 8th ) on display means ( 1 ) of the vehicle ( 10 ).

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Kamera mehrere Kameras (11–14) umfasst, und dass das Zusammenfügen ein Zusammenfügen von Bildern von verschiedenen der mehreren Kameras (11–14) zu der Ansicht (8) umfasst. Method according to Claim 1, characterized in that the at least one camera has a plurality of cameras ( 11 - 14 ), and in that said merging comprises merging images from different ones of said plurality of cameras ( 11 - 14 ) to the view ( 8th ).

Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Erfassen der Vielzahl von Bildern zu mehreren Zeitpunkten erfolgt und umfasst: Erfassen einer Position des Fahrzeugs (10) zu jedem Zeitpunkt, zu welchem eines der Bilder erfasst wird, und dass das Zusammenfügen der Bilder zu der Ansicht (8) auf Basis der den jeweiligen Bildern zugeordneten Position des Fahrzeugs (10) erfolgt. A method according to claim 1 or 2, characterized in that the detection of the plurality of images takes place at several times and comprises: detecting a position of the vehicle ( 10 ) at any time at which one of the images is captured, and that the merging of the images into the view ( 8th ) based on the position of the vehicle assigned to the respective images ( 10 ) he follows.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren umfasst: wiederholtes Erfassen einer Position des Fahrzeugs (10), Ermitteln anhand von mehreren der erfassten Positionen des Fahrzeugs (10) eine von dem Fahrzeug (10) gefahrenen Route (3), und Darstellen der gefahrenen Route (3) in der Ansicht (8) auf den Anzeigemitteln (1). Method according to one of the preceding claims, characterized in that the method comprises: repeatedly detecting a position of the vehicle ( 10 ), Based on several of the detected positions of the vehicle ( 10 ) one of the vehicle ( 10 ) driven route ( 3 ), and showing the route ( 3 ) in the view ( 8th ) on the display means ( 1 ).

Verfahren zum Parken eines Fahrzeugs (10), umfassend: Darstellen einer Ansicht (8) einer Umgebung des Fahrzeugs (10) mit einem Verfahren nach einem der Ansprüche 1–4, Bestimmen einer Zielposition (5; 6) in der dargestellten Ansicht (8) anhand einer Eingabe eines Benutzers, Bestimmen einer Route (4) des Fahrzeugs (10) von einer aktuellen Position des Fahrzeugs (10) zu der Zielposition (5; 6), und Fahren des Fahrzeugs (10) entlang der Route (4) mit automatischer Quersteuerung. Method for parking a vehicle ( 10 ), comprising: displaying a view ( 8th ) an environment of the vehicle ( 10 ) with a method according to one of claims 1-4, determining a target position ( 5 ; 6 ) in the displayed view ( 8th ) based on an input of a user, determining a route ( 4 ) of the vehicle ( 10 ) from a current position of the vehicle ( 10 ) to the target position ( 5 ; 6 ), and driving the vehicle ( 10 ) along the route ( 4 ) with automatic lateral control.

Verfahren nach Anspruch 5, dadurch gekennzeichnet, Bestimmen von Kollisionsobjekten (21–25) anhand der Ansicht, und Bestimmen der Route (4) des Fahrzeugs (10) derart, dass das Fahrzeug (10) auf einer Fahrt entlang der Route (4) nicht mit den vorab bestimmten Kollisionsobjekten (21–25) kollidiert. Method according to claim 5, characterized by determining collision objects ( 21 - 25 ) based on the view, and determining the route ( 4 ) of the vehicle ( 10 ) such that the vehicle ( 10 ) on a journey along the route ( 4 ) not with the predetermined collision objects ( 21 - 25 ) collides.

Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das Bestimmen der Route (4) umfasst: Darstellen der Route (4) in der Ansicht (8) auf den Anzeigemitteln (1), und Verändern der Route (4) abhängig von Eingaben eines Benutzers. Method according to claim 5 or 6, characterized in that the determination of the route ( 4 ) comprises: displaying the route ( 4 ) in the view ( 8th ) on the display means ( 1 ), and changing the route ( 4 ) depending on input from a user.

Verfahren nach einem der Ansprüche 5–7, dadurch gekennzeichnet, dass das Bestimmen der Zielposition (5; 6) umfasst: Bestimmen eines Objektes (25) in der Ansicht (8) und Bestimmen einer Richtung bezüglich des bestimmten Objektes (25), und Bestimmen der Zielposition in der bestimmten Richtung neben dem bestimmten Objekt (25), oder Bestimmen von zwei Objekten (21, 22; 23, 24) in der Ansicht (8), und Bestimmen der Zielposition (5; 6) zwischen den beiden Objekten (21, 22; 23, 24). The method of any of claims 5-7, characterized in that the determining of the target position ( 5 ; 6 ) comprises: determining an object ( 25 ) in the view ( 8th ) and determining a direction with respect to the particular object ( 25 ), and determining the target position in the particular direction next to the particular object ( 25 ), or determining two objects ( 21 . 22 ; 23 . 24 ) in the view ( 8th ), and determining the target position ( 5 ; 6 ) between the two objects ( 21 . 22 ; 23 . 24 ).

Verfahren nach einem der Ansprüche 5–8, dadurch gekennzeichnet, dass das Fahren des Fahrzeugs (10) entlang der Route (4) vollautomatisch verläuft. A method according to any of claims 5-8, characterized in that the driving of the vehicle ( 10 ) along the route ( 4 ) runs fully automatically.

Verfahren nach einem der Ansprüche 5–9, dadurch gekennzeichnet, dass ein Anhänger (2) an das Fahrzeug (10) angekoppelt ist, und dass das Bestimmen der Route (4) unter der Berücksichtigung des angekoppelten Anhängers (2) erfolgt, so dass die Route von dem Fahrzeug (10) mit angekoppeltem Anhänger (2) fahrbar ist. A method according to any one of claims 5-9, characterized in that a follower ( 2 ) to the vehicle ( 10 ) and that determining the route ( 4 ) taking into account the attached trailer ( 2 ), so that the route from the vehicle ( 10 ) with coupled trailer ( 2 ) is mobile.