DE102022213913A1

DE102022213913A1 - Method and system for automated operation of a vehicle

Info

Publication number: DE102022213913A1
Application number: DE102022213913.5A
Authority: DE
Inventors: Paul Lenz
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2022-12-19
Filing date: 2022-12-19
Publication date: 2024-06-20

Abstract

Ein Verfahren zum automatisierten Betreiben eines Fahrzeugs (100), mit den Schritten: Erfassen von einer Vielzahl von Bildpaaren in einem Umfeld (2) des Fahrzeugs (100) mit einem Kamerasystem (20), welches eine Vielzahl von Kamerapaaren (22, 22', 22'') aufweist, welche sich durch mindestens einen Kameraparameter unterscheiden, stereophotogrammetrisches Auswerten von mindestens einem der erfassten Bildpaare mit einer stereophotogrammetrischen Auswerteeinheit (10), Erkennen eines Objekts (4), welches sich in dem Umfeld (2) des Fahrzeugs (100) befindet, basierend auf dem stereophotogrammetrisch ausgewerteten Bildpaar, und Ausgeben eines Steuersignals zum Steuern einer Betriebseinrichtung (110) des Fahrzeugs (100) zum automatisierten Betreiben des Fahrzeugs (100), wobei das Steuersignal eine auf dem erkannten Objekt (4) basierende Information aufweist. Zudem ein System (200) zum automatisierten Betreiben eines Fahrzeugs (100) und ein derartiges Fahrzeug (100).

A method for the automated operation of a vehicle (100), comprising the steps of: capturing a plurality of image pairs in an environment (2) of the vehicle (100) with a camera system (20) which has a plurality of camera pairs (22, 22', 22'') which differ in at least one camera parameter, stereophotogrammetric evaluation of at least one of the captured image pairs with a stereophotogrammetric evaluation unit (10), detecting an object (4) which is located in the environment (2) of the vehicle (100) based on the stereophotogrammetrically evaluated image pair, and outputting a control signal for controlling an operating device (110) of the vehicle (100) for the automated operation of the vehicle (100), wherein the control signal comprises information based on the detected object (4). In addition, a system (200) for the automated operation of a vehicle (100) and such a vehicle (100).

Description

Technisches GebietTechnical area

Die vorliegende Erfindung bezieht sich auf ein Verfahren und ein System zum automatisierten Betreiben eines Fahrzeugs. Die vorliegende Erfindung bezieht sich zudem auf ein automatisiert betreibbares Fahrzeug.The present invention relates to a method and a system for the automated operation of a vehicle. The present invention also relates to a vehicle that can be operated automatically.

Stand der TechnikState of the art

Zum automatisierten Betreiben eines Fahrzeugs kann es erforderlich sein, Objekte in einem Fahrzeugumfeld mit einer auf dem Fahrzeug angeordneten Umfelderfassungssensorik zu erfassen und zu erkennen. Für einen automatisierten Betrieb des Fahrzeugs kann es weiter erforderlich sein, das Fahrzeug unter Berücksichtigung des erkannten Objekts zu steuern.For automated operation of a vehicle, it may be necessary to detect and recognize objects in the vehicle's surroundings using environmental detection sensors arranged on the vehicle. For automated operation of the vehicle, it may also be necessary to control the vehicle taking the detected object into account.

Aus EP 2 757 524 B1 ist es bekannt, in einem Betrieb eines Fahrzeugs ein Tiefenbild mit einem optischen Sensorsystem zu erfassen, um ein Hindernis in dem Fahrzeugumfeld zu erkennen. Hierfür ist es bekannt, das Tiefenbild mittels Stereophotogrammetrie zu erzeugen und hierbei softwareseitig Bildverarbeitungsmethoden einzusetzen.Out of EP 2 757 524 B1 It is known to capture a depth image with an optical sensor system during operation of a vehicle in order to detect an obstacle in the vehicle's surroundings. For this purpose, it is known to generate the depth image using stereophotogrammetry and to use image processing methods on the software side.

Darstellung der ErfindungDescription of the invention

Die vorliegende Erfindung betrifft in einem Aspekt ein Verfahren zum automatisierten Betreiben eines Fahrzeugs. Bei dem automatisierten Betreiben des Fahrzeugs kann es sich um ein autonomes Betreiben des Fahrzeugs handeln. Das Fahrzeug kann daher ein autonomes Fahrzeug sein. Das automatisierte Betreiben kann mindestens einen Automatisierungsgrad zum Betreiben des Fahrzeugs aufweisen. Der Automatisierungsgrad kann einen assistierten Betriebsmodus, ein automatisierter Betriebsmodus, ein autonomer Betriebsmodus sein.In one aspect, the present invention relates to a method for the automated operation of a vehicle. The automated operation of the vehicle can be an autonomous operation of the vehicle. The vehicle can therefore be an autonomous vehicle. The automated operation can have at least one level of automation for operating the vehicle. The level of automation can be an assisted operating mode, an automated operating mode, an autonomous operating mode.

Das Verfahren weist als einen Schritt ein Erfassen von einer Vielzahl von Bildpaaren in einem Umfeld des Fahrzeugs mit einem Kamerasystem auf. Bei dem Erfassen kann es sich um ein stereophotogrammetrisches Erfassen handeln. Bei dem Erfassen kann es sich um ein dreidimensionales Erfassen handeln. Im Schritt des Erfassens kann ein Objekt im Umfeld des Fahrzeugs in einem stereophotogrammetrischen Erfassungsbereich erfasst werden, bei welchem es sich um ein dreidimensionales Kamerasichtfeld des Kamerasystem handeln kann. Bei dem Kamerasystem kann es sich um ein stereophotogrammetrisches Kamerasystem handeln. Bei dem Kamerasystem kann es sich auch um ein binokulares Kamerasystem handeln. Bei der Vielzahl von Bildpaaren handelt es sich um mindestens zwei Bildpaare. Die Bildpaare können derart erfasst werden, dass sich Bilder, welche ein jeweiliges Bildpaar bilden, in Bildbereichen überlagern, welche gemeinsam einen Bereich des Umfelds abbilden. Das Kamerasystem kann eingerichtet sein, einen in einem Frontsichtbereich angeordneten stereophotogrammetrischen Erfassungsbereich aufzuweisen.The method has as one step a capture of a plurality of image pairs in an environment of the vehicle with a camera system. The capture can be a stereophotogrammetric capture. The capture can be a three-dimensional capture. In the capture step, an object in the environment of the vehicle can be captured in a stereophotogrammetric capture area, which can be a three-dimensional camera field of view of the camera system. The camera system can be a stereophotogrammetric camera system. The camera system can also be a binocular camera system. The plurality of image pairs are at least two image pairs. The image pairs can be captured in such a way that images which form a respective image pair are superimposed in image areas which together depict an area of the environment. The camera system can be set up to have a stereophotogrammetric capture area arranged in a front viewing area.

Das Kamerasystem weist eine Vielzahl von Kamerapaaren auf, welche sich paarweise durch mindestens einen Kameraparameter unterscheiden. Ein Kamerapaar aus der Vielzahl von Kamerapaaren kann sich daher durch mindestens einen Kameraparameter von einem anderen Kamerapaar aus der Vielzahl von Kamerapaaren unterscheiden. Zwei Kameras eines Kamerapaars aus der Vielzahl von Kamerapaaren können einen gemeinsamen beziehungsweise übereinstimmenden Kameraparameter aufweisen. Bei der Vielzahl von Kamerapaaren handelt es sich um mindestens zwei Kamerapaare. Der Kameraparameter kann ein stereophotogrammetrischer Kameraparameter sein. Der Kameraparameter kann ein extrinsischer Kameraparameter sein, bei welchem es sich um einen äußeren Kameraparameter handeln kann. Der Kameraparameter kann ein intrinsischer Kameraparameter sein, bei welchem es sich um einen inneren Kameraparameter handeln kann. Die Kamerapaare können sich paarweise durch mindestens einen von dem extrinsischen Kameraparameter und dem intrinsischen Kameraparameter unterscheiden.The camera system has a plurality of camera pairs, which differ pairwise by at least one camera parameter. A camera pair from the plurality of camera pairs can therefore differ from another camera pair from the plurality of camera pairs by at least one camera parameter. Two cameras of a camera pair from the plurality of camera pairs can have a common or matching camera parameter. The plurality of camera pairs are at least two camera pairs. The camera parameter can be a stereophotogrammetric camera parameter. The camera parameter can be an extrinsic camera parameter, which can be an external camera parameter. The camera parameter can be an intrinsic camera parameter, which can be an internal camera parameter. The camera pairs can differ pairwise by at least one of the extrinsic camera parameter and the intrinsic camera parameter.

Das Verfahren weist als einen weiteren Schritt ein stereophotogrammetrisches Auswerten von mindestens einem der erfassten Bildpaare mit einer stereophotogrammetrischen Auswerteeinheit auf. Das Kamerasystem kann die stereophotogrammetrische Auswerteeinheit aufweisen. Alternativ dazu kann ein Steuergerät zum Steuern einer Betriebseinrichtung des Fahrzeugs die stereophotogrammetrische Auswerteeinheit aufweisen. In dem Schritt des stereophotogrammetrischen Auswertens kann der Bereich des Umfelds, in welchem sich Bildbereiche eines Bildpaars überlagern, erfasst werden. Somit kann in dem Schritt des stereophotogrammetrischen Auswertens ein Objekt, welches sich in dem Bereich des Umfelds befindet, erfasst werden. Der Bereich des Umfelds und das Objekt können dreidimensional erfasst werden. Zudem kann die relative Lage des Objekts zu dem Fahrzeug bestimmt werden. Bei dem Objekt kann es sich um ein Verkehrsobjekt, beispielsweise ein weiteres Fahrzeug oder eine Straßenmöblierung handeln.The method has, as a further step, a stereophotogrammetric evaluation of at least one of the captured image pairs using a stereophotogrammetric evaluation unit. The camera system can have the stereophotogrammetric evaluation unit. Alternatively, a control device for controlling an operating device of the vehicle can have the stereophotogrammetric evaluation unit. In the step of stereophotogrammetric evaluation, the area of the surroundings in which image areas of an image pair overlap can be recorded. Thus, in the step of stereophotogrammetric evaluation, an object located in the area of the surroundings can be recorded. The area of the surroundings and the object can be recorded three-dimensionally. In addition, the relative position of the object to the vehicle can be determined. The object can be a traffic object, for example another vehicle or street furniture.

Das Verfahren weist als einen weiteren Schritt ein Erkennen eines Objekts, welches sich in dem Umfeld des Fahrzeugs befindet, auf. Der Schritt des Erkennens des Objekts wird basierend auf dem stereophotogrammetrisch ausgewerteten Bildpaar durchgeführt. Das Objekt kann als ein Hindernis in einem Fahrbereich des Fahrzeugs in dem Umfeld erkannt werden.The method comprises a further step of detecting an object that is located in the surroundings of the vehicle. The step of detecting the object is carried out based on the stereophotogrammetrically evaluated image pair. The object can be considered an obstacle in a driving range of the vehicle in the environment.

Das Verfahren weist als einen weiteren Schritt ein Ausgeben eines Steuersignals zum Steuern einer Betriebseinrichtung des Fahrzeugs zum automatisierten Betreiben des Fahrzeugs auf. Das Steuersignal weist eine auf dem erkannten Objekt basierende Information auf. Bei der auf dem erkannten Objekt basierenden Information kann es sich um eine Information handeln, welche das erkannte Objekt als Hindernis beschreibt. Bei der auf dem erkannten Objekt basierenden Information kann es sich um eine relative Lageinformation des Objekts zu dem Fahrzeug handeln. Das Steuersignal kann daher zum Steuern des Fahrzeugs zum automatisierten Vermeiden einer Kollision mit dem Hindernis fungieren.The method has a further step of outputting a control signal for controlling an operating device of the vehicle for the automated operation of the vehicle. The control signal has information based on the detected object. The information based on the detected object can be information that describes the detected object as an obstacle. The information based on the detected object can be relative position information of the object to the vehicle. The control signal can therefore function to control the vehicle to automatically avoid a collision with the obstacle.

Das Verfahren wird hardwareseitig mit einem Kamerasystem durchgeführt, welches ein räumlich erweitertes stereophotogrammetrisches Erfassungsvermögen bereithalten kann. Das Kamerasystem kann einen in Fernbereich erweitertes stereophotogrammetrisches Erfassungsvermögen aufweisen, welches ein räumliches Wahrnehmungsvermögen eines Menschen überschreiten kann. Das Kamerasystem kann daher hardwareseitig ein im Vergleich zu dem menschlichen räumlichen Wahrnehmungsvermögen vergrößertes Erfassungsvermögen aufweisen. Ein stereophotogrammetrisches Erfassen und Erkennen von Objekten in dem Umfeld des Fahrzeugs kann so hardwareseitig verbessert werden. So kann ein von dem Kamerasystem hardwarebasiert aufgespannter Erfassungsbereich, in welchem ein Objekt softwareseitig zuverlässig erkannt werden kann, vergrößert werden. Hierfür ist erkannt worden, dass sich die paarweise unterschiedlichen Kameraparameter des Kamerasystems auf das Erfassungsvermögen im Umfeld des Fahrzeugs auswirken können. Eine derartige hardwareseitige Konfiguration des Kamerasystems kann zudem die Basis für eine erweiterte oder mulifunktionale softwareseitige Erfassung eines Objekts in dem Umfeld des Fahrzeugs sein.The method is carried out on the hardware side with a camera system that can provide a spatially expanded stereophotogrammetric detection capability. The camera system can have a stereophotogrammetric detection capability that is expanded in the long range and can exceed the spatial perception of a human. The camera system can therefore have an increased detection capability on the hardware side compared to the human spatial perception. Stereophotogrammetric detection and recognition of objects in the environment of the vehicle can thus be improved on the hardware side. In this way, a detection area spanned by the camera system on a hardware basis, in which an object can be reliably recognized on the software side, can be enlarged. For this purpose, it has been recognized that the pairwise different camera parameters of the camera system can affect the detection capability in the environment of the vehicle. Such a hardware configuration of the camera system can also be the basis for an expanded or multifunctional software-based detection of an object in the environment of the vehicle.

Gemäß einer Ausführungsform des Verfahrens kann in dem Schritt des Erfassens die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen erfasst werden, welche sich in dem Umfeld räumlich unterscheiden. Die stereophotogrammetrischen Erfassungsbereiche können durch sich überlagernde Erfassungsbereiche der Kamerapaare aufgespannt werden. Somit können die Erfassungsbereiche der beiden Kameras eines Kamerapaars in dem sich überlagernden Bereich der Erfassungsbereiche einen stereophotogrammetrischen Erfassungsbereich des Kamerapaars aufspannen. Die stereophotogrammetrischen Erfassungsbereiche der Kamerapaare können sich in dem Umfeld derart räumlich unterscheiden, dass sie unterschiedliche Bereiche in dem Umfeld des Fahrzeugs für das stereophotogrammetrische Auswerten der Bildpaare abdecken. Bei der Vielzahl von Bildpaaren kann es sich daher um eine Vielzahl von unterschiedlichen Bildpaaren in dem Umfeld des Fahrzeugs handeln. Bei dem Kamerasystem kann es sich daher um ein multistereophotogrammetrisches Kamerasystem handeln.According to one embodiment of the method, in the step of capturing, the plurality of image pairs can be captured with a plurality of stereophotogrammetric detection areas, which differ spatially in the environment. The stereophotogrammetric detection areas can be spanned by overlapping detection areas of the camera pairs. Thus, the detection areas of the two cameras of a camera pair can span a stereophotogrammetric detection area of the camera pair in the overlapping area of the detection areas. The stereophotogrammetric detection areas of the camera pairs can differ spatially in the environment in such a way that they cover different areas in the environment of the vehicle for the stereophotogrammetric evaluation of the image pairs. The plurality of image pairs can therefore be a plurality of different image pairs in the environment of the vehicle. The camera system can therefore be a multi-stereophotogrammetric camera system.

Gemäß einer weiteren Ausführungsform des Verfahrens kann in dem Schritt des Erfassens die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen erfasst werden, welche sich in dem Umfeld räumlich überlappen. Mit den sich räumlich überlappenden stereophotogrammetrischen Erfassungsbereichen kann ein Bereich in dem Umfeld des Fahrzeugs lückenlos mit der Vielzahl von Kamerapaaren stereophotogrammetrisch erfasst werden. Das stereophotogrammetrische Erfassungsvermögen des Kamerasystems kann so auch bei hohen Fahrgeschwindigkeiten zuverlässig erweitert werden.According to a further embodiment of the method, in the step of capturing, the plurality of image pairs can be captured with a plurality of stereophotogrammetric capture areas that spatially overlap in the surroundings. With the spatially overlapping stereophotogrammetric capture areas, an area in the surroundings of the vehicle can be seamlessly captured stereophotogrammetrically with the plurality of camera pairs. The stereophotogrammetric capture capacity of the camera system can thus be reliably expanded even at high driving speeds.

Gemäß einer weiteren Ausführungsform des Verfahrens können in dem Schritt des Erfassens die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen erfasst werden, welche sich in einer Fahrzeugquerrichtung im Wesentlichen konstant erstrecken. Die stereophotogrammetrischen Erfassungsbereiche können sich in einer Fahrzeuglängsrichtung überlappend und in der Fahrzeugquerrichtung im Wesentlichen konstant erstrecken. Ein Fahrbereich des Fahrzeugs in einer Fahrtrichtung des Fahrzeugs kann so mit den stereophotogrammetrischen Erfassungsbereichen abgedeckt werden, wobei sich die stereophotogrammetrischen Erfassungsbereiche quer zu einer Fahrtrichtung des Fahrzeugs beziehungsweise quer zu einer Fahrbahn mit einer konstanten Fahrbahnbreite erstrecken können. Eine Fahrbahnverlauf kann so zuverlässig stereophotogrammetrisch erfasst werden.According to a further embodiment of the method, in the step of capturing, the plurality of image pairs can be captured with a plurality of stereophotogrammetric detection areas which extend essentially constantly in a transverse direction of the vehicle. The stereophotogrammetric detection areas can overlap in a longitudinal direction of the vehicle and extend essentially constantly in the transverse direction of the vehicle. A driving area of the vehicle in a direction of travel of the vehicle can thus be covered with the stereophotogrammetric detection areas, wherein the stereophotogrammetric detection areas can extend transversely to a direction of travel of the vehicle or transversely to a roadway with a constant roadway width. A road course can thus be reliably captured stereophotogrammetrically.

Gemäß einer weiteren Ausführungsform des Verfahrens können in dem Schritt des Erfassens die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen erfasst werden. Die stereophotogrammetrischen Erfassungsbereiche können sich in einer Fahrzeuglängsrichtung mit einer ansteigenden stereophotogrammetrischen Raumtiefe erstrecken. Bei der stereophotogrammetrischen Raumtiefe kann es sich um eine maximale stereophotogrammetrische Erfassungsdistanz handeln, bis zu welcher ein Objekt mit dem Kamerasystem stereophotogrammetrisch auflösbar beziehungsweise erfassbar ist. Die stereophotogrammetrischen Erfassungsbereiche können so stufenartig oder kaskadenartig angeordnet sein. Dem Verfahren liegt als weitere Erkenntnis zugrunde, dass hardwareseitig verkleinerte und kombinierte stereophotogrammetrische Erfassungsbereiche eine verbesserte stereophotogrammetrische Erfassung mit einem verbesserten stereophotogrammetrischen Auflösevermögen bereithalten können. Die sich ergänzenden Kamerasysteme können daher über deren stereophotogrammetrische Erfassungsbereiche einen im Vergleich zu einem einzelnen Kamerasystem verbesserten stereophotogrammetrischen Wirkungsgrad aufweisen.According to a further embodiment of the method, in the step of capturing, the plurality of image pairs can be captured with a plurality of stereophotogrammetric detection areas. The stereophotogrammetric detection areas can extend in a vehicle longitudinal direction with an increasing stereophotogrammetric spatial depth. The stereophotogrammetric spatial depth can be a maximum stereophotogrammetric detection distance up to which an object can be resolved or captured stereophotogrammetrically with the camera system. The stereophotogrammetric detection areas can thus be arranged in a step-like or cascade-like manner. Another finding underlying the method is that reduced and combined stereophotogrammetric detection areas on the hardware side can provide improved stereophotogrammetric detection with improved stereophotogrammetric resolution. The complementary camera systems can therefore have an improved stereophotogrammetric efficiency across their stereophotogrammetric detection areas compared to a single camera system.

Gemäß einer weiteren Ausführungsform des Verfahrens kann dieses als weiteren Schritt ein Einlesen eines Querdynamikparameters des Fahrzeugs aufweisen. Bei dem Querdynamikparameter kann es sich um einen Lenkwinkel oder einen Knickwinkel des Fahrzeugs handeln. Das Verfahren kann als einen weiteren Schritt ein räumliches Einstellen von mindestens einem stereophotogrammetrischen Erfassungsbereich, welcher in dem Schritt des Erfassens mit der Vielzahl von Bildpaaren erfasst wird, aufweisen. Das räumliche Einstellen kann basierend auf dem eingelesenen Querdynamikparameter durchgeführt werden. Im Schritt des räumlichen Einstellens kann der mindestens eine stereophotogrammetrische Erfassungsbereich basierend auf dem eingelesenen Querdynamikparameter ausgerichtet werden. Der stereophotogrammetrische Erfassungsbereich kann in Abhängigkeit des eingelesenen Querdynamikparameters eingestellt beziehungsweise ausgerichtet werden. Die stereophotogrammetrische Erfassbarkeit kann so auch in einer Kurvenfahrt des Fahrzeugs auf den in Fahrtrichtung des Fahrzeugs vorausliegenden Fahrbereich verbessert werden.According to a further embodiment of the method, this can have a further step of reading in a transverse dynamics parameter of the vehicle. The transverse dynamics parameter can be a steering angle or an articulation angle of the vehicle. The method can have a further step of spatially adjusting at least one stereophotogrammetric detection area, which is recorded in the step of recording with the plurality of image pairs. The spatial adjustment can be carried out based on the read-in transverse dynamics parameter. In the spatial adjustment step, the at least one stereophotogrammetric detection area can be aligned based on the read-in transverse dynamics parameter. The stereophotogrammetric detection area can be adjusted or aligned depending on the read-in transverse dynamics parameter. The stereophotogrammetric detectability can thus also be improved when the vehicle is cornering on the driving area ahead in the direction of travel of the vehicle.

Gemäß einer weiteren Ausführungsform des Verfahrens weist die Vielzahl von Bildpaaren eine stereophotogrammetrische Akkommodation über die Bilddaten der Vielzahl von Bildpaaren auf. Die stereophotogrammetrische Akkommodation kann ein stereophotogrammetrisches Auflösungsvermögen über die Bilddaten beziehungsweise eine Refraktionsstärke über die Bilddaten aufweisen. Die Vielzahl von Bildpaaren kann somit eine variable Akkommodation beziehungsweise variable Refraktionsstärke über die Bilddaten aufweisen. Die Vielzahl von Kamerapaaren kann sich durch mindestens einen optischen Parameter der optischen Systeme der Kamerapaare unterscheiden. Beispielsweise können sich die Kamerapaare durch mindestens einen Linsenparameter unterscheiden. So können sich die Kamerapaare in einem Ausführungsbeispiel durch paarweise unterschiedlich gekrümmte Linsen unterscheiden.According to a further embodiment of the method, the plurality of image pairs has a stereophotogrammetric accommodation over the image data of the plurality of image pairs. The stereophotogrammetric accommodation can have a stereophotogrammetric resolution over the image data or a refractive power over the image data. The plurality of image pairs can thus have a variable accommodation or variable refractive power over the image data. The plurality of camera pairs can differ by at least one optical parameter of the optical systems of the camera pairs. For example, the camera pairs can differ by at least one lens parameter. For example, the camera pairs can differ in one embodiment by having differently curved lenses in pairs.

Gemäß einer weiteren Ausführungsform des Verfahrens kann der mindestens eine Kameraparameter mindestens eines von einer Stereobasis der Kamerapaare und einer Brennweite der Kamerapaare aufweisen. Alternativ oder zusätzlich kann der mindestens eine Kameraparameter auch einen Brennpunkt der Kamerapaare aufweisen. Die Kamerapaare können paarweise unterschiedliche Stereobasen aufweisen. Die Kamerapaare können mit den unterschiedlichen Stereobasen auf dem Fahrzeug angeordnet sein. Somit können die Kamerapaare mit mindestens zwei verschiedenen Stereobasen auf dem Fahrzeug angeordnet sein. Eine im Schritt des stereophotogrammetrischen Auswertens der erfassten Bildpaare vorhandene stereophotogrammetrische Raumtiefe, bis zu welcher die erfassten Bildpaare eine stereophotogrammetrische Auswertung zulassen, kann in Abhängigkeit der jeweiligen Stereobasis unterschiedlich sein. So kann beispielsweise mit ansteigender Stereobasis auch die stereophotogrammetrische Raumtiefe ansteigen. Die Kamerapaare können paarweise unterschiedliche Brennweiten aufweisen, bei welchen es sich um vorbestimmte Brennweiten oder um begrenzte Brennweiten handeln kann. Die Kamerapaare können mit den unterschiedlichen Brennweiten auf dem Fahrzeug angeordnet sein. Somit können die Kamerapaare mit mindestens zwei verschiedenen Brennweiten auf dem Fahrzeug angeordnet sein. Eine im Schritt des stereophotogrammetrischen Auswertens der erfassten Bildpaare vorhandene stereophotogrammetrische Raumtiefe, bis zu welcher die erfassten Bildpaare eine stereophotogrammetrische Auswertung zulassen, kann in Abhängigkeit der jeweiligen Brennweiten unterschiedlich sein. Das stereophotogrammetrische Auflösungsvermögen kann so hardwareseitig variabel eingestellt sein.According to a further embodiment of the method, the at least one camera parameter can have at least one of a stereo base of the camera pairs and a focal length of the camera pairs. Alternatively or additionally, the at least one camera parameter can also have a focal point of the camera pairs. The camera pairs can have different stereo bases in pairs. The camera pairs can be arranged on the vehicle with the different stereo bases. The camera pairs can thus be arranged on the vehicle with at least two different stereo bases. A stereophotogrammetric spatial depth present in the step of stereophotogrammetric evaluation of the captured image pairs, up to which the captured image pairs allow a stereophotogrammetric evaluation, can vary depending on the respective stereo base. For example, the stereophotogrammetric spatial depth can also increase as the stereo base increases. The camera pairs can have different focal lengths in pairs, which can be predetermined focal lengths or limited focal lengths. The camera pairs can be arranged on the vehicle with the different focal lengths. The camera pairs can therefore be arranged on the vehicle with at least two different focal lengths. A stereophotogrammetric spatial depth that exists in the step of stereophotogrammetric evaluation of the captured image pairs, up to which the captured image pairs allow a stereophotogrammetric evaluation, can vary depending on the respective focal lengths. The stereophotogrammetric resolution can thus be set variably on the hardware side.

Gemäß einer weiteren Ausführungsform des Verfahrens kann im Schritt des Erkennens des Objekts ein Hindernis in einem Fahrbereich des Fahrzeugs erkannt werden. Im Schritt des Ausgebens des Steuersignals kann ein Steuersignal zum Steuern von mindestens einem von einer Querdynamikeinrichtung und einer Längsdynamikeinrichtung des Fahrzeugs ausgegeben werden, um eine Kollision mit dem Hindernis zu vermeiden. Bei der Querdynamikeinrichtung kann es sich um eine Lenkeinrichtung handeln. Bei der Längsdynamikeinrichtung kann es sich um eine Einrichtung des Antriebsstrangs des Fahrzeugs, beispielsweise den Antriebsmotor, handeln. Mit dem Verfahren kann so zuverlässig auf ein über einen größeren stereophotogrammetrischen Erfassungsbereich erfasstes Hindernis automatisiert reagiert werden.According to a further embodiment of the method, in the step of detecting the object, an obstacle in a driving range of the vehicle can be detected. In the step of outputting the control signal, a control signal for controlling at least one of a transverse dynamics device and a longitudinal dynamics device of the vehicle can be output in order to avoid a collision with the obstacle. The transverse dynamics device can be a steering device. The longitudinal dynamics device can be a device of the drive train of the vehicle, for example the drive motor. The method can thus be used to reliably and automatically react to an obstacle detected over a larger stereophotogrammetric detection range.

Gemäß einer weiteren Ausführungsform des Verfahrens kann im Schritt des Erkennens des Objekts auch die Entfernung des Objekts zum Fahrzeug ermittelt werden. Beispielsweise kann unter Berücksichtigung der Information der Entfernung des Objekts zum Fahrzeug im Schritt des Ausgebens des Steuersignals ein Steuersignal zum Anpassen einer Fahrdynamik des Fahrzeugs frühzeitig ausgegeben werden, derart, dass ein kontinuierlicher und homogener Verkehrsfluss und somit ein störungsfreier Ablauf des Straßenverkehrs bewirkt werden kann. Bei Bedarf kann aber auch anhand vorliegender physikalischer Daten, wie beispielsweise der Fahrzeuggeschwindigkeit, der Masse des Fahrzeugs, des Abstands zwischen dem Objekt und des Fahrzeugs und einem vorherrschenden Reifenschlupf, zuverlässig eine Notbremsung des Fahrzeugs eingeleitet werden. Dadurch kann eine Kollision mit dem Objekt verhindert werden. Die Notbremsung kann beispielsweise derart ausgeführt werden, dass eine Kollision mit dem Objekt sicher vermieden wird, jedoch ein maximaler Bremsweg für die Notbremsung ausgenutzt wird. Dadurch erhöht sich die Reaktionszeit von nachfolgenden Fahrzeugen auf die Notbremsung des vorausfahrenden Fahrzeugs entsprechend und Auffahrunfälle von nachfolgenden Fahrzeugen können vermieden oder zumindest reduziert werden.According to a further embodiment of the method, the distance of the object to the vehicle can also be determined in the step of recognizing the object. For example, taking into account the information on the distance of the object to the vehicle in the step of outputting the control signal, a control signal for adapting a driving dynamics of the vehicle can be output at an early stage in such a way that a continuous and homogeneous flow of traffic and thus a smooth flow of road traffic can be achieved. If necessary, however, emergency braking of the vehicle can also be reliably initiated based on available physical data, such as the vehicle speed, the mass of the vehicle, the distance between the object and the vehicle and the prevailing tire slip. This can prevent a collision with the object. The emergency braking can, for example, be carried out in such a way that a collision with the object is safely avoided, but a maximum braking distance is used for the emergency braking. This increases the reaction time of following vehicles to the emergency braking of the vehicle in front accordingly and rear-end collisions involving following vehicles can be avoided or at least reduced.

Gemäß einer weiteren Ausführungsform des Verfahrens können auch vorherrschende Sichtverhältnisse im Umfeld des Fahrzeugs ermittelt werden. Unter Berücksichtigung der Information der im Umfeld des Fahrzeugs vorherrschenden Sichtverhältnisse kann im Schritt des Ausgebens des Steuersignals ein Steuersignal zum Anpassen der Fahrgeschwindigkeit an die vorherrschenden Sichtverhältnisse bestimmt werden. Bei der Anpassung der Fahrgeschwindigkeit können weitere Parameter, wie beispielsweise ein vorherrschender Reifenschlupf, berücksichtigt werden.According to a further embodiment of the method, prevailing visibility conditions in the area surrounding the vehicle can also be determined. Taking into account the information on the visibility conditions prevailing in the area surrounding the vehicle, a control signal for adapting the driving speed to the prevailing visibility conditions can be determined in the step of outputting the control signal. When adapting the driving speed, other parameters, such as prevailing tire slip, can be taken into account.

Die vorliegende Erfindung betrifft in einem weiteren Aspekt ein System zum automatisierten Betreiben eines Fahrzeugs. Das System kann zum Durchführen des Verfahrens gemäß dem vorhergehenden Aspekt eingerichtet sein.In a further aspect, the present invention relates to a system for the automated operation of a vehicle. The system can be set up to carry out the method according to the previous aspect.

Das System weist ein Kamerasystem zum Erfassen von einer Vielzahl von Bildpaaren in einem Umfeld des Fahrzeugs auf. Das Kamerasystem weist eine Vielzahl von Kamerapaaren auf, welche sich paarweise durch mindestens einen Kameraparameter unterscheiden. Das System weist zudem eine stereophotogrammetrische Auswerteeinheit zum stereophotogrammetrischen Auswerten von mindestens einem der erfassten Bildpaare auf. Das Kamerasystem kann entsprechend eingerichtet sein, den Schritt des Erfassens gemäß dem vorhergehenden Aspekt durchzuführen. Die stereophotogrammetrische Auswerteeinheit kann entsprechend eingerichtet sein, den Schritt des Auswertens gemäß dem vorhergehenden Aspekt durchzuführen. Die stereophotogrammetrische Auswerteeinheit kann entsprechend eingerichtet sein, den Schritt des Erkennens gemäß dem vorhergehenden Aspekt durchzuführen.The system has a camera system for capturing a plurality of image pairs in an environment of the vehicle. The camera system has a plurality of camera pairs, which differ in pairs by at least one camera parameter. The system also has a stereophotogrammetric evaluation unit for stereophotogrammetric evaluation of at least one of the captured image pairs. The camera system can be set up accordingly to carry out the capturing step according to the previous aspect. The stereophotogrammetric evaluation unit can be set up accordingly to carry out the evaluating step according to the previous aspect. The stereophotogrammetric evaluation unit can be set up accordingly to carry out the recognizing step according to the previous aspect.

Das System weist ein Steuergerät auf, welches eine Eingabeschnittstelle zum Einlesen des stereophotogrammetrisch ausgewerteten Bildpaars aufweist. Das Steuergerät ist eingerichtet, ein Objekt basierend auf dem stereophotogrammetrisch ausgewerteten Bildpaar zu erkennen. Das Steuergerät weist zudem eine Ausgabeschnittstelle zum Ausgeben eines Steuersignals an eine Betriebseinrichtung des Fahrzeugs auf, um das Fahrzeug basierend auf dem erkannten Objekt automatisiert zu betreiben. Das Steuersignal weist eine auf dem erkannten Objekt basierende Information auf. Das Steuergerät kann entsprechend eingerichtet sein, den Schritt des Auswertens gemäß dem vorhergehenden Aspekt durchzuführen.The system has a control device which has an input interface for reading in the stereophotogrammetrically evaluated image pair. The control device is set up to recognize an object based on the stereophotogrammetrically evaluated image pair. The control device also has an output interface for outputting a control signal to an operating device of the vehicle in order to operate the vehicle automatically based on the recognized object. The control signal has information based on the recognized object. The control device can be set up accordingly to carry out the evaluation step according to the previous aspect.

Die vorliegende Erfindung betrifft in einem weiteren Aspekt ein automatisiert betreibbares Fahrzeug, welches das System gemäß dem vorhergehenden Aspekt zum automatisierten Betreiben des Fahrzeugs aufweist. Jede Ausführungsform eines Aspekts der vorliegenden Erfindung kann eine entsprechende Ausführungsform eines weiteren Aspekts der vorliegenden Erfindung bilden.In a further aspect, the present invention relates to an automated vehicle which has the system according to the preceding aspect for automated operation of the vehicle. Each embodiment of an aspect of the present invention can form a corresponding embodiment of a further aspect of the present invention.

Kurze Beschreibung der FigurenShort description of the characters

1a zeigt ein automatisiert betreibbares Fahrzeug mit einem Kamerasystem mit einem stereophotogrammetrischen Erfassungsbereich. 1a shows an automated vehicle with a camera system with a stereophotogrammetric detection range.
1b zeigt das Fahrzeug von 1a mit einem weiteren stereophotogrammetrischen Erfassungsbereich. 1b shows the vehicle from 1a with a wider stereophotogrammetric detection range.
1c zeigt das Fahrzeug von 1a mit noch einem weiteren stereophotogrammetrischen Erfassungsbereich. 1c shows the vehicle from 1a with yet another stereophotogrammetric detection range.
2 zeigt das Fahrzeug von 1a mit unterschiedlichen stereophotogrammetrischen Erfassungsbereichen des Kamerasystems gemäß einer Ausführungsform. 2 shows the vehicle from 1a with different stereophotogrammetric detection ranges of the camera system according to one embodiment.
3 zeigt ein Ablaufdiagramm mit Schritten zum Durchführen eines Verfahrens zum automatisierten Betreiben eines Fahrzeugs gemäß einer Ausführungsform. 3 shows a flowchart with steps for carrying out a method for automated operation of a vehicle according to an embodiment.

Detaillierte Beschreibung von AusführungsformenDetailed description of embodiments

In 1a ist ein automatisiert betreibbares Fahrzeug 100 gezeigt, auf welchem ein System 200 angeordnet ist, welches ein Kamerasystem 20 und ein Steuergerät 120 aufweist. Das Kamerasystem 20 kann an einem Frontbereich des Fahrzeugs 100, beispielsweise an einem Frontfenster 102, angeordnet sein. Das Kamerasystem 20 weist ein erstes Kamerapaar 22 auf, welches mit einer ersten Stereobasis 24 angeordnet ist. Das erste Kamerapaar 22 weist einen ersten Kameraerfassungsbereich 11 einer Kamera des Kamerapaars 22 und einen zweiten Kameraerfassungsbereich 13 der weiteren Kamera des Kamerapaars 22 auf. Die beiden Kameraerfassungsbereiche 11, 13 überlagern sich in einem ersten stereophotogrammetrischen Erfassungsbereich 12. Der erste stereophotogrammetrische Erfassungsbereich 12 weist eine stereophotogrammetrische Raumtiefe T auf, in welcher und bis zu welcher ein Objekt in einem Umfeld 2 des Fahrzeugs 100 stereophotogrammetrisch erfasst und erkannt werden kann. Der erste stereophotogrammetrische Erfassungsbereich 12 erstreckt sich in einem ersten Nahbereich in Fahrtrichtung vor dem Fahrzeug 100.In 1a an automated vehicle 100 is shown on which a system 200 is arranged, which has a camera system 20 and a control unit 120. The camera system 20 can be arranged on a front area of the vehicle 100, for example on a front window 102. The camera system 20 has a first camera pair 22, which is arranged with a first stereo base 24. The first camera pair 22 has a first camera detection area 11 a camera of the camera pair 22 and a second camera detection area 13 of the other camera of the camera pair 22. The two camera detection areas 11, 13 overlap in a first stereophotogrammetric detection area 12. The first stereophotogrammetric detection area 12 has a stereophotogrammetric spatial depth T in which and up to which an object in an environment 2 of the vehicle 100 can be stereophotogrammetrically detected and recognized. The first stereophotogrammetric detection area 12 extends in a first close range in the direction of travel in front of the vehicle 100.

Das Fahrzeug 100 weist eine stereophotogrammetrische Auswerteeinheit 10 auf, welche mit dem ersten Kamerapaar 22 verbunden. Die stereophotogrammetrische Auswerteeinheit 10 ist eingerichtet, ein mit dem Kamerapaar 22 stereophotogrammetrisch erfasstes Bildpaar auszuwerten, um in dem ersten stereophotogrammetrischen Erfassungsbereich 12 ein Objekt zu erkennen. Die stereophotogrammetrische Auswerteeinheit 10 ist mit dem Steuergerät 120 verbunden, welches auf dem Fahrzeug 100 angeordnet ist. Das Steuergerät 120 weist eine Eingabeschnittstelle 122 auf, über welche das stereophotogrammetrisch ausgewertete Bildpaar beziehungsweise das erkannte Objekt eingelesen werden kann. Das Steuergerät 120 weist zudem eine Ausgabeschnittstelle 124 zum Ausgeben eines Steuersignals an eine Betriebseinrichtung 110 des Fahrzeugs 100 auf.The vehicle 100 has a stereophotogrammetric evaluation unit 10, which is connected to the first camera pair 22. The stereophotogrammetric evaluation unit 10 is set up to evaluate an image pair captured stereophotogrammetrically with the camera pair 22 in order to detect an object in the first stereophotogrammetric detection area 12. The stereophotogrammetric evaluation unit 10 is connected to the control unit 120, which is arranged on the vehicle 100. The control unit 120 has an input interface 122, via which the stereophotogrammetrically evaluated image pair or the detected object can be read in. The control unit 120 also has an output interface 124 for outputting a control signal to an operating device 110 of the vehicle 100.

Die Betriebseinrichtung 110 kann mindestens eines von einer Querdynamikeinrichtung 112 des Fahrzeugs 100 und einer Längsdynamikeinrichtung 114 des Fahrzeugs 100 aufweisen. Das Steuersignal weist Informationen zu dem erkannten Objekt auf und wird an die Betriebseinrichtung 110 ausgegeben, um die Betriebseinrichtung 110 basierend auf der Information durch das Steuergerät 120 zu steuern. Gemäß einer Ausführungsform wird die Querdynamikeinrichtung 112 basierend auf dem Steuersignal derart gesteuert, dass das Fahrzeug 100 eine Kollision mit dem Objekt verhindert, in dem es das Objekt umfährt. Gemäß einer weiteren Ausführungsform wird die Längsdynamikeinrichtung 114 basierend auf dem ausgegebenen Steuersignal derart gesteuert, dass ein Bremsmanöver zum Verhindern einer Kollision mit dem Objekt durchgeführt wird.The operating device 110 can have at least one of a lateral dynamics device 112 of the vehicle 100 and a longitudinal dynamics device 114 of the vehicle 100. The control signal has information about the detected object and is output to the operating device 110 in order to control the operating device 110 based on the information by the control unit 120. According to one embodiment, the lateral dynamics device 112 is controlled based on the control signal such that the vehicle 100 prevents a collision with the object by driving around the object. According to another embodiment, the longitudinal dynamics device 114 is controlled based on the output control signal such that a braking maneuver is carried out to prevent a collision with the object.

In 1b ist das Fahrzeug 100 aus 1a mit dem System 200 gezeigt, welches das Kamerasystem 20 und das Steuergerät 120 aufweist. Das Kamerasystem 20 weist ein zweites Kamerapaar 22' auf, welches mit einer zweiten Stereobasis 24' angeordnet ist. Die zweite Stereobasis 24' kann größer als die erste Stereobasis 24 sein. Das zweite Kamerapaar 22' weist einen ersten Kameraerfassungsbereich 11' einer Kamera des Kamerapaars 22' und einen zweiten Kameraerfassungsbereich 13' der weiteren Kamera des Kamerapaars 22` auf. Die beiden Kameraerfassungsbereiche 11', 13' überlagern sich in einem zweiten stereophotogrammetrischen Erfassungsbereich 12'. Der zweite stereophotogrammetrische Erfassungsbereich 12' weist eine stereophotogrammetrische Raumtiefe T' auf, in welcher und bis zu welcher ein Objekt in dem Umfeld 2 des Fahrzeugs 100 stereophotogrammetrisch erfasst und erkannt werden kann. Der zweite stereophotogrammetrische Erfassungsbereich 12' erstreckt sich entlang einer Fahrzeuglängsrichtung X mit der stereophotogrammetrischen Raumtiefe T'. Der zweite stereophotogrammetrische Erfassungsbereich 12' kann sich in einer Fahrzeugquerrichtung Y im Wesentlichen konstant zu der Erstreckung des ersten stereophotogrammetrischen Erfassungsbereichs 12 erstrecken. Im Vergleich zu dem ersten stereophotogrammetrischen Erfassungsbereich 12 erstreckt sich auch der zweite stereophotogrammetrische Erfassungsbereich 12' in einem zweiten Nahbereich in Fahrtrichtung vor dem Fahrzeug 100.In 1b the vehicle is 100 from 1a with the system 200, which has the camera system 20 and the control unit 120. The camera system 20 has a second camera pair 22', which is arranged with a second stereo base 24'. The second stereo base 24' can be larger than the first stereo base 24. The second camera pair 22' has a first camera detection area 11' of a camera of the camera pair 22' and a second camera detection area 13' of the other camera of the camera pair 22'. The two camera detection areas 11', 13' overlap in a second stereophotogrammetric detection area 12'. The second stereophotogrammetric detection area 12' has a stereophotogrammetric spatial depth T', in which and up to which an object in the environment 2 of the vehicle 100 can be stereophotogrammetrically detected and recognized. The second stereophotogrammetric detection area 12' extends along a vehicle longitudinal direction X with the stereophotogrammetric spatial depth T'. The second stereophotogrammetric detection area 12' can extend in a vehicle transverse direction Y essentially constant to the extent of the first stereophotogrammetric detection area 12. In comparison to the first stereophotogrammetric detection area 12, the second stereophotogrammetric detection area 12' also extends in a second close range in the direction of travel in front of the vehicle 100.

In 1c ist das Fahrzeug 100 aus 1a mit dem System 200 gezeigt, welches das Kamerasystem 20 und das Steuergerät 120 aufweist. Das Kamerasystem 20 weist ein drittes Kamerapaar 22' auf, welches mit einer dritten Stereobasis 24' angeordnet ist. Die dritte Stereobasis 24" kann größer als die erste Stereobasis 24 und die zweite Stereobasis 24` sein. Das dritte Kamerapaar 22" weist einen ersten Kameraerfassungsbereich 11" einer Kamera des Kamerapaars 22" und einen zweiten Kameraerfassungsbereich 13" der weiteren Kamera des Kamerapaars 22" auf. Die beiden Kameraerfassungsbereiche 11'', 13'' überlagern sich in einem dritten stereophotogrammetrischen Erfassungsbereich 12''. Der dritte stereophotogrammetrische Erfassungsbereich 12'' weist eine stereophotogrammetrische Raumtiefe T'' auf, in welcher und bis zu welcher ein Objekt in dem Umfeld 2 des Fahrzeugs 100 stereophotogrammetrisch erfasst und erkannt werden kann. Der dritte stereophotogrammetrische Erfassungsbereich 12'' erstreckt sich entlang einer Fahrzeuglängsrichtung X mit der stereophotogrammetrischen Raumtiefe T''. Der dritte stereophotogrammetrische Erfassungsbereich 12'' kann sich in einer Fahrzeugquerrichtung Y im Wesentlichen konstant zu der Erstreckung des zweiten stereophotogrammetrischen Erfassungsbereichs 12' erstrecken. Der dritte stereophotogrammetrische Erfassungsbereich 12'' erstreckt sich in einem Mitten- oder Fernbereich in Fahrtrichtung vor dem Fahrzeug 100.In 1c the vehicle is 100 from 1a with the system 200, which has the camera system 20 and the control unit 120. The camera system 20 has a third camera pair 22', which is arranged with a third stereo base 24'. The third stereo base 24" can be larger than the first stereo base 24 and the second stereo base 24'. The third camera pair 22" has a first camera detection area 11" of a camera of the camera pair 22" and a second camera detection area 13" of the other camera of the camera pair 22". The two camera detection areas 11'', 13'' overlap in a third stereophotogrammetric detection area 12''. The third stereophotogrammetric detection area 12'' has a stereophotogrammetric spatial depth T'' in which and up to which an object in the environment 2 of the vehicle 100 can be stereophotogrammetrically detected and recognized. The third stereophotogrammetric detection area 12'' extends along a vehicle longitudinal direction X with the stereophotogrammetric spatial depth T''. The third stereophotogrammetric detection area 12'' can extend in a vehicle transverse direction Y essentially constant to the extension of the second stereophotogrammetric detection area 12'. The third stereophotogrammetric detection area 12'' extends in a central or distant area in the direction of travel in front of the vehicle 100.

In 2 sind die stereophotogrammetrischen Erfassungsbereiche 12, 12' und 12'' in kaskadenartiger Anordnung gezeigt. Der erste stereophotogrammetrische Erfassungsbereich 12 und der zweite stereophotogrammetrische Erfassungsbereich 12` überlappen sich in einem Nahbereich in Fahrtrichtung des Fahrzeugs 100. Der zweite stereophotogrammetrische Erfassungsbereich 12' und der dritte stereophotogrammetrische Erfassungsbereich 12'' überlappen sich in einem weiteren Nahbereich des Fahrzeugs 100.In 2 The stereophotogrammetric detection areas 12, 12' and 12'' are shown in a cascade-like arrangement. The first stereopho The first stereophotogrammetric detection area 12 and the second stereophotogrammetric detection area 12` overlap in a close range in the direction of travel of the vehicle 100. The second stereophotogrammetric detection area 12' and the third stereophotogrammetric detection area 12'' overlap in a further close range of the vehicle 100.

Ein Objekt 4 im Umfeld 2 des Fahrzeugs 100 liegt in der in 2 gezeigten Ausführungsform in dem zweiten stereophotogrammetrischen Erfassungsbereich 12' und dritten stereophotogrammetrischen Erfassungsbereich 12''. Das Kamerasystem 20 weist zudem eine Einstelleinrichtung 25 auf, welche eingerichtet und mit dem Kamerasystem 20 derart verbunden ist, dass das Kamerasystem 20 in Abhängigkeit eines aus der Querdynamikeinrichtung 112 ausgelesenen Querdynamikparameter verschwenkt werden kann. Der Querdynamikparameter kann über das Steuergerät 120 ausgelesen und der Einstelleinrichtung 25 übermittelt werden.An object 4 in the environment 2 of the vehicle 100 is located in the 2 shown embodiment in the second stereophotogrammetric detection area 12' and third stereophotogrammetric detection area 12''. The camera system 20 also has an adjustment device 25 which is set up and connected to the camera system 20 such that the camera system 20 can be pivoted depending on a transverse dynamics parameter read from the transverse dynamics device 112. The transverse dynamics parameter can be read out via the control unit 120 and transmitted to the adjustment device 25.

In 3 ist ein schematisches Ablaufdiagramm mit Schritten zum Durchführen eines Verfahrens zum automatisierten Betreiben des Fahrzeugs 100 gezeigt. In einem ersten optionalen Schritt S0 stellt die Einstelleinrichtung 25 das Kamerasystem 20 derart ein, dass die stereophotogrammetrischen Erfassungsbereiche 12, 12', 12'' in einer Kurvenfahrt auf die in Fahrtrichtung des Fahrzeugs 100 vorausliegende Fahrbahn ausgerichtet ist. Ein sich auf der Fahrbahn aufhaltendes Objekt 4 kann so in mindestens einem der stereophotogrammetrischen Erfassungsbereiche 12, 12', 12'' erkannt werden.In 3 a schematic flow diagram with steps for carrying out a method for the automated operation of the vehicle 100 is shown. In a first optional step S0, the setting device 25 sets the camera system 20 such that the stereophotogrammetric detection areas 12, 12', 12'' are aligned with the road ahead in the direction of travel of the vehicle 100 when cornering. An object 4 located on the road can thus be detected in at least one of the stereophotogrammetric detection areas 12, 12', 12''.

In einem Schritt S1 des Verfahrens wird eine Vielzahl von Bildpaaren in dem Umfeld 2 des Fahrzeugs 100 mit dem Kamerasystem 20 in den stereophotogrammetrischen Erfassungsbereiche 12, 12', 12'' erfasst. In einem weiteren Schritt S2 wird mindestens eines der mit den stereophotogrammetrischen Erfassungsbereichen 12, 12', 12'' erfassten Bildpaare mit der stereophotogrammetrischen Auswerteeinheit 10 ausgewertet. In einem weiteren Schritt S3 wird das Objekt 4 basierend auf den stereophotogrammetrisch ausgewerteten Bildpaaren in den stereophotogrammetrischen Erfassungsbereiche 12, 12', 12'' erkannt. In einem weiteren Schritt S4 wird ein Steuersignal zum Steuern der Betriebseinrichtung 110 des Fahrzeugs 100 ausgegeben, um das Fahrzeug 100 automatisiert zu betreiben. Das Steuersignal weist Informationen zu dem erkannten Objekt 4 auf.In a step S1 of the method, a plurality of image pairs in the surroundings 2 of the vehicle 100 are captured with the camera system 20 in the stereophotogrammetric detection areas 12, 12', 12''. In a further step S2, at least one of the image pairs captured with the stereophotogrammetric detection areas 12, 12', 12'' is evaluated with the stereophotogrammetric evaluation unit 10. In a further step S3, the object 4 is recognized based on the stereophotogrammetrically evaluated image pairs in the stereophotogrammetric detection areas 12, 12', 12''. In a further step S4, a control signal is output for controlling the operating device 110 of the vehicle 100 in order to operate the vehicle 100 automatically. The control signal contains information about the recognized object 4.

BezugszeichenReference symbols

22: UmfeldEnvironment
44: Objektobject
1010: stereophotogrammetrische Auswerteeinheitstereophotogrammetric evaluation unit
11, 11', 11''11, 11', 11'': erster Kameraerfassungsbereichfirst camera detection area
12, 12', 12''12, 12', 12'': stereophotogrammetrischer Erfassungsbereichstereophotogrammetric detection range
13, 13', 13''13, 13', 13'': zweiter Kameraerfassungsbereichsecond camera detection area
2020: KamerasystemCamera system
22, 22', 22''22, 22', 22'': KamerapaarCamera pair
2525: EinstelleinrichtungAdjustment device
100100: Fahrzeugvehicle
102102: FrontfensterFront window
110110: BetriebseinrichtungOperating equipment
112112: QuerdynamikeinrichtungLateral dynamics device
114114: LängsdynamikeinrichtungLongitudinal dynamics device
120120: SteuergerätControl unit
122122: EingabeschnittstelleInput interface
124124: AusgabeschnittstelleOutput interface
200200: Systemsystem
S0S0: EinstellenSet
S1S1: ErfassenCapture
S2S2: stereophotogrammetrisches Auswertenstereophotogrammetric evaluation
S3S3: ErkennenRecognize
S4S4: AusgebenSpend
T, T', T''T, T', T'': stereophotogrammetrische Raumtiefestereophotogrammetric spatial depth
XX: FahrzeuglängsrichtungVehicle longitudinal direction
YY: FahrzeugquerrichtungVehicle transverse direction

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

EP 2757524 B1 [0003]EP 2757524 B1 [0003]

Claims

Verfahren zum automatisierten Betreiben eines Fahrzeugs (100), mit den Schritten: Erfassen (S1) von einer Vielzahl von Bildpaaren in einem Umfeld (2) des Fahrzeugs (100) mit einem Kamerasystem (20), welches eine Vielzahl von Kamerapaaren (22, 22', 22'') aufweist, welche sich paarweise durch mindestens einen Kameraparameter unterscheiden, stereophotogrammetrisches Auswerten (S2) von mindestens einem der erfassten Bildpaare mit einer stereophotogrammetrischen Auswerteeinheit (10), Erkennen (S3) eines Objekts (4), welches sich in dem Umfeld (2) des Fahrzeugs (100) befindet, basierend auf dem stereophotogrammetrisch ausgewerteten Bildpaar, und Ausgeben (S4) eines Steuersignals zum Steuern einer Betriebseinrichtung (110) des Fahrzeugs (100) zum automatisierten Betreiben des Fahrzeugs (100), wobei das Steuersignal eine auf dem erkannten Objekt (4) basierende Information aufweist.Method for the automated operation of a vehicle (100), comprising the steps of: capturing (S1) a plurality of image pairs in an environment (2) of the vehicle (100) with a camera system (20) which has a plurality of camera pairs (22, 22', 22''), which differ in pairs by at least one camera parameter, stereophotogrammetric evaluation (S2) of at least one of the captured image pairs with a stereophotogrammetric evaluation unit (10), detecting (S3) an object (4) which is located in the environment (2) of the vehicle (100) based on the stereophotogrammetrically evaluated image pair, and outputting (S4) a control signal for controlling an operating device (110) of the vehicle (100) for the automated operation of the vehicle (100), wherein the control signal comprises information based on the detected object (4).

Verfahren nach Anspruch 1, wobei in dem Schritt des Erfassens (S1) die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen (12, 12', 12'') erfasst werden, welche sich in dem Umfeld (2) räumlich unterscheiden.Procedure according to Claim 1 , wherein in the step of capturing (S1) the plurality of image pairs are captured with a plurality of stereophotogrammetric detection areas (12, 12', 12'') which differ spatially in the environment (2).

Verfahren nach Anspruch 1 oder 2, wobei in dem Schritt des Erfassens (S1) die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen (12, 12', 12'') erfasst werden, welche sich in dem Umfeld (2) räumlich überlappen.Procedure according to Claim 1 or 2 , wherein in the step of capturing (S1) the plurality of image pairs are captured with a plurality of stereophotogrammetric detection areas (12, 12', 12'') which spatially overlap in the environment (2).

Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem Schritt des Erfassens (S1) die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen (12, 12', 12'') erfasst werden, welche sich in einer Fahrzeugquerrichtung (Y) im Wesentlichen konstant erstrecken.Method according to one of the preceding claims, wherein in the step of capturing (S1) the plurality of image pairs are captured with a plurality of stereophotogrammetric detection areas (12, 12', 12'') which extend substantially constantly in a vehicle transverse direction (Y).

Verfahren nach einem der vorhergehenden Ansprüche, wobei in dem Schritt des Erfassens (S1) die Vielzahl von Bildpaaren mit einer Vielzahl von stereophotogrammetrischen Erfassungsbereichen (12, 12', 12'') erfasst werden, welche sich in einer Fahrzeuglängsrichtung (X) mit einer ansteigenden stereophotogrammetrischen Raumtiefe (T, T', T'') erstrecken.Method according to one of the preceding claims, wherein in the step of capturing (S1) the plurality of image pairs are captured with a plurality of stereophotogrammetric detection areas (12, 12', 12'') which extend in a vehicle longitudinal direction (X) with an increasing stereophotogrammetric spatial depth (T, T', T'').

Verfahren nach einem der vorhergehenden Ansprüche, mit den weiteren Schritten: Einlesen eines Querdynamikparameters des Fahrzeugs (100), und räumliches Einstellen (S0) von mindestens einem stereophotogrammetrischen Erfassungsbereich (12, 12`, 12''), welcher in dem Schritt des Erfassens (S1) mit der Vielzahl von Bildpaaren erfasst wird, basierend auf dem eingelesenen Querdynamikparameter.Method according to one of the preceding claims, with the further steps: Reading in a lateral dynamics parameter of the vehicle (100), and spatially setting (S0) at least one stereophotogrammetric detection area (12, 12`, 12''), which is detected in the step of detecting (S1) with the plurality of image pairs, based on the read-in lateral dynamics parameter.

Verfahren nach einem der vorhergehenden Ansprüche, wobei die Vielzahl von Bildpaaren eine stereophotogrammetrische Akkommodation über die Bilddaten der Vielzahl von Bildpaaren aufweist.A method according to any preceding claim, wherein the plurality of image pairs comprises a stereophotogrammetric accommodation over the image data of the plurality of image pairs.

Verfahren nach einem der vorhergehenden Ansprüche, wobei der mindestens eine Kameraparameter mindestens eines von einer Stereobasis (24, 24', 24'') der Kamerapaare (22, 22`, 22'') und einer Brennweite der Kamerapaare (22, 22', 22'') aufweist.Method according to one of the preceding claims, wherein the at least one camera parameter comprises at least one of a stereo base (24, 24', 24'') of the camera pairs (22, 22`, 22'') and a focal length of the camera pairs (22, 22', 22'').

Verfahren nach einem der vorhergehenden Ansprüche, wobei im Schritt des Erkennens (S3) des Objekts (4) ein Hindernis in einem Fahrbereich des Fahrzeugs (100) erkannt wird, und wobei im Schritt des Ausgebens (S4) des Steuersignals ein Steuersignal zum Steuern von mindestens einem von einer Querdynamikeinrichtung (112) und einer Längsdynamikeinrichtung (114) des Fahrzeugs (100) ausgegeben wird, um eine Kollision mit dem Hindernis zu vermeiden.Method according to one of the preceding claims, wherein in the step of detecting (S3) the object (4) an obstacle in a driving range of the vehicle (100) is detected, and wherein in the step of outputting (S4) the control signal a control signal for controlling at least one of a transverse dynamics device (112) and a longitudinal dynamics device (114) of the vehicle (100) is output in order to avoid a collision with the obstacle.

System (200) zum automatisierten Betreiben eines Fahrzeugs (100), mit einem Kamerasystem (20) zum Erfassen von einer Vielzahl von Bildpaaren in einem Umfeld (2) des Fahrzeugs (100), wobei das Kamerasystem (20) eine Vielzahl von Kamerapaaren (22, 22', 22'') aufweist, welche sich paarweise durch mindestens einen Kameraparameter unterscheiden, einer stereophotogrammetrischen Auswerteeinheit (10) zum stereophotogrammetrischen Auswerten von mindestens einem der erfassten Bildpaare, und einem Steuergerät (120), welches eine Eingabeschnittstelle (122) zum Einlesen des stereophotogrammetrisch ausgewerteten Bildpaars aufweist, wobei das Steuergerät (120) eingerichtet ist, ein Objekt (4) basierend auf dem stereophotogrammetrisch ausgewerteten Bildpaar zu erkennen, und wobei das Steuergerät (120) eine Ausgabeschnittstelle (124) zum Ausgeben eines Steuersignals an eine Betriebseinrichtung (110) des Fahrzeugs (100) aufweist, um das Fahrzeug (100) basierend auf dem erkannten Objekt (4) automatisiert zu betreiben, wobei das Steuersignal eine auf dem erkannten Objekt (4) basierende Information aufweist.System (200) for the automated operation of a vehicle (100), with a camera system (20) for capturing a plurality of image pairs in an environment (2) of the vehicle (100), wherein the camera system (20) has a plurality of camera pairs (22, 22', 22''), which differ in pairs by at least one camera parameter, a stereophotogrammetric evaluation unit (10) for stereophotogrammetrically evaluating at least one of the captured image pairs, and a control device (120) which has an input interface (122) for reading in the stereophotogrammetrically evaluated image pair, wherein the control device (120) is set up to recognize an object (4) based on the stereophotogrammetrically evaluated image pair, and wherein the control device (120) has an output interface (124) for outputting a control signal to an operating device (110) of the vehicle (100) in order to control the vehicle (100) based on the recognized object (4) to operate automatically, wherein the control signal contains information based on the detected object (4).

Automatisiert betreibbares Fahrzeug (100), welches ein System (200) nach Anspruch 10 zum automatisierten Betreiben des Fahrzeugs (100) aufweist.Automated vehicle (100) which has a system (200) according to Claim 10 for automated operation of the vehicle (100).