DE102015007180A1 - Environmental detection device for a motor vehicle and method for operating such - Google Patents

Environmental detection device for a motor vehicle and method for operating such Download PDF

Info

Publication number
DE102015007180A1
DE102015007180A1 DE102015007180.7A DE102015007180A DE102015007180A1 DE 102015007180 A1 DE102015007180 A1 DE 102015007180A1 DE 102015007180 A DE102015007180 A DE 102015007180A DE 102015007180 A1 DE102015007180 A1 DE 102015007180A1
Authority
DE
Germany
Prior art keywords
image acquisition
unit
information
environment
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015007180.7A
Other languages
German (de)
Inventor
Andreas Schwarzhaupt
Urs Wiesel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102015007180.7A priority Critical patent/DE102015007180A1/en
Publication of DE102015007180A1 publication Critical patent/DE102015007180A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Umgebungserfassungseinrichtung (1) für einen Kraftwagen, mit einem Erfassen einer ersten Einzel-Umgebungsinformation mittels einer ersten Bilderfassungseinheit (2) der Umgebungserfassungseinrichtung (1), wobei die erste Bilderfassungseinheit (2) eine erste optische Achse (A1) aufweist, mit einem Erfassen einer zweiten EinzelUmgebungsinformation mittels einer zweiten Bilderfassungseinheit (5) der Umgebungserfassungseinrichtung (1), wobei die zweite Bilderfassungseinheit (5) eine zweite optische Achse (A2) mit einer von der ersten optischen Achse (A1) verschiedenen Orientierung aufweist, mit einem Auswerten der jeweiligen Einzel-Umgebungsinformationen mittels zumindest einer Recheneinheit (4, 7), mit einem Fusionieren der Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation mittels einer Fusionseinheit (8) und mit einem Auswerten der Gesamt-Umgebungsinformation mittels der Fusionseinheit (8), um eine verbesserte Umgebungserfassung für einen Kraftwagen umzusetzen.The invention relates to a method for operating an environment detecting device (1) for a motor vehicle, comprising detecting a first individual environmental information by means of a first image acquisition unit (2) of the environment detection device (1), wherein the first image acquisition unit (2) has a first optical axis (A1 ), comprising detecting a second individual environment information by means of a second image acquisition unit (5) of the environment detection device (1), the second image acquisition unit (5) having a second optical axis (A2) with a different orientation from the first optical axis (A1), with an evaluation of the respective individual environmental information by means of at least one arithmetic unit (4, 7), with a fusion of the individual environmental information to a total environmental information by means of a fusion unit (8) and with an evaluation of the total environmental information by means of the fusion unit (8) to an improved environment exercise registration for a motor vehicle.

Description

Die Erfindung betrifft eine Umgebungserfassungseinrichtung für einen Kraftwagen, mit einer ersten Bilderfassungseinheit zum Erfassen einer ersten Einzel-Umgebungsinformation, mit einer ersten optischen Achse, und mit einer zweiten Bilderfassungseinheit zum Erfassen einer zweiten Einzel-Umbebungsinformation, mit einer zweiten optischen Achse, welche eine von der ersten optischen Achse verschiedene Orientierung aufweist. Die Erfindung betrifft auch ein Verfahren zum Betreiben einer solchen Umgebungserfassungseinrichtung.The invention relates to an environment detecting device for a motor vehicle, comprising a first image acquisition unit for detecting a first individual environmental information, with a first optical axis, and with a second image acquisition unit for detecting a second single environmental information, with a second optical axis, one of the the first optical axis has different orientation. The invention also relates to a method for operating such an environment detection device.

Umgebungserfassungseinrichtungen mit Mono- und Stereokameras stellen bei Fahrerassistenzsystemen von Kraftwagen den Stand der Technik dar. Dabei werden mit einer solchen Umgebungserfassungseinrichtung mit einer Mono- oder Stereokamera üblicherweise mehrere kamerabasierte Fahrerassistenzsysteme realisiert. Beispielsweise kann dies eine Kombination aus Spurerkennung, Objekterkennung, Verkehrszeichenerkennung und Fernlichtsteuerung sein.Environment detection devices with mono and stereo cameras represent the state of the art in driver assistance systems of motor vehicles. In this case, with such an environment detection device with a mono- or stereo camera, usually several camera-based driver assistance systems are realized. For example, this may be a combination of lane detection, object recognition, traffic sign recognition and high beam control.

Einschränkungen bestehen bei heutigen Lösungen in der Berücksichtigung von einem begrenzten vertikalen Öffnungswinkel der jeweils verwendeten Kameras auf der einen Seite und der fehlenden Redundanz der Lösungen auf der anderen Seite. Besondere Herausforderungen bestehen hier beispielsweise bei einer Staufolgefahrt. Dort werden Objekte auf Grund des durch ein vorausfahrendes Fahrzeug begrenzten Blickbereichs (Field of View) nur noch bedingt erkannt. Des Weiteren werden ebenso im Falle einer Staufolgefahrt mit einem geringen Abstand zum nächsten Fahrzeug auf Grund des vertikal nach unten begrenzten Sichtbereichs oft Spurmarkierungen nicht mehr erkannt, da die entsprechende Kamera keine Markierungen mehr erkennen kann. Auf Grund der fehlenden Redundanz ergeben sich ferner Grenzen aus Sicht der funktionalen Sicherheit.Limitations exist in today's solutions in the consideration of a limited vertical opening angle of the cameras used on the one hand and the lack of redundancy of the solutions on the other side. Special challenges exist, for example, in a Staufolgefahrt. There objects due to the limited by a preceding vehicle field of view only partially recognized. Furthermore, also in case of a Staufolgefahrt with a small distance to the next vehicle due to the vertically downwardly limited field of view, lane markers are often no longer recognized because the corresponding camera can no longer detect markings. Due to the lack of redundancy, limits also arise from the point of view of functional safety.

Überdies stellen die heutigen in Umgebungserfassungseinrichtungen verwendeten Kamerasysteme Kompromisse im Hinblick auf die Auslegung der Optik dar. So ist eine jeweilige optische Achse der Kamera(s) und entsprechend der optische Pfad meist auf einen Erkennungsbereich ausgelegt, der den mittleren Distanzbereich bei einer Spur- und Objekterkennung abbildet. Der Nah- und Fernbereich wird hingegen nur bedingt optimiert. Schließlich sind im heutigen Stand der Technik die Umgebungserfassungseinrichtungen stark durch die begrenzte verfügbare Rechenleistung limitiert.Moreover, today's camera systems used in proximity sensing devices compromise optical design. Thus, a respective optical axis of the camera (s) and, correspondingly, the optical path, are usually designed for a detection range which is the mean distance range for track and object recognition maps. The near and far range, however, is only partially optimized. Finally, in the current state of the art, the environmental detection devices are severely limited by the limited computing power available.

Die DE 10 2009 022 277 A1 offenbart eine Vorrichtung zum Erfassen von Objekten für ein Fahrzeug, mit zumindest zwei horizontal nebeneinander angeordneten Bilderfassungseinheiten, welche jeweils eine optische Achse aufweisen und mit einer Bildverarbeitungseinheit, anhand welcher mittels der Bilderfassungseinheiten aufgenommene Bilder verarbeitbar sind. Dabei sind die Bilderfassungseinheiten derart ausgerichtet, dass die optischen Achsen in unterschiedlichem Winkel zur Horizontalen verlaufen, so dass sich ein Erfassungsbereich der ersten Bilderfassungseinheit und ein Erfassungsbereich der zweiten Bilderfassungseinheit derart in vertikaler Richtung überschneiden, dass sich ein unterer erster Teilbereich als Mono-Bereich der ersten Bilderfassungseinheit, ein mittlerer zweiter Überlappungs-Teilbereich als Stereo-Bereich beider Bilderfassungseinheiten und ein oberer dritter Teilbereich als Mono-Bereich der zweiten Bilderfassungseinheit vertikal übereinander ausbilden.The DE 10 2009 022 277 A1 discloses an apparatus for detecting objects for a vehicle, comprising at least two image acquisition units arranged horizontally next to one another, which each have an optical axis and can be processed with an image processing unit on the basis of which images recorded by means of the image acquisition units can be processed. In this case, the image acquisition units are aligned such that the optical axes extend at different angles to the horizontal, so that a detection range of the first image acquisition unit and a detection range of the second image acquisition unit overlap in the vertical direction such that a lower first portion than the mono range of the first Image acquisition unit, a middle second overlapping partial area as a stereo area of both image acquisition units and an upper third partial area as a mono area of the second image acquisition unit form vertically one above the other.

Es ergibt sich die Aufgabe, eine verbesserte Umgebungserfassung für einen Kraftwagen umzusetzen.The object is to implement an improved environment detection for a motor vehicle.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Ansprüchen, der Beschreibung und den Figuren.This object is solved by the subject matters of the independent claims. Advantageous embodiments will become apparent from the dependent claims, the description and the figures.

Die Erfindung betrifft ein Verfahren zum Betreiben einer Umgebungserfassungseinrichtung für einen Kraftwagen mit einer Reihe von Schritten. Ein Schritt ist dabei ein Erfassen einer ersten Einzel-Umgebungsinformation mittels einer ersten Bilderfassungseinheit der Umgebungserfassungseinrichtung. Dabei weist die erste Bilderfassungseinheit eine erste optische Achse auf. Die optische Achse kann hier insbesondere einer Haupterfassungsrichtung der Bilderfassungseinheit entsprechen. Ein weiterer Schritt ist ein Erfassen einer zweiten Einzelumgebungsinformation mittels einer zweiten Bilderfassungseinheit der Umgebungserfassungseinrichtung. Die zweite Bilderfassungseinheit weist dabei eine zweite optische Achse mit einer von der ersten optischen Achse verschiedenen Orientierung auf. Insbesondere kann die erste optische Achse um einen ersten Betrag, beispielsweise 6°, von einer Horizontalen nach unten verkippt sein und die zweite optische Achse um einen zweiten, von dem ersten Betrag verschiedenen Betrag, beispielsweise 16°, nach unten verkippt sein. Ein weiterer Schritt ist ein Auswerten der jeweiligen Einzel-Umgebungsinformationen mittels zumindest einer Recheneinheit. Bevorzugt erfolgt das Auswerten der jeweiligen Einzel-Umgebungsinformationen mittels jeweiliger einzelner zugeordneter Recheneinheiten, so dass die erste Einzel-Umgebungsinformation von einer ersten und die zweite Einzel-Umgebungsinformation von einer von der ersten verschiedenen zweiten Recheneinheit ausgewertet wird. Das Verfahren umfasst auch ein Fusionieren der Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation mittels einer Funktionseinheit sowie ein Auswerten der Gesamt-Umgebungsinformation mittels der Fusionseinheit.The invention relates to a method for operating an environment detection device for a motor vehicle with a series of steps. One step in this case is a detection of a first individual environment information by means of a first image detection unit of the environment detection device. In this case, the first image acquisition unit has a first optical axis. The optical axis can here correspond in particular to a main detection direction of the image acquisition unit. A further step is detecting a second individual environment information by means of a second image acquisition unit of the environment detection device. The second image capture unit has a second optical axis with a different orientation from the first optical axis. In particular, the first optical axis can be tilted downward by a first amount, for example 6 °, from a horizontal and the second optical axis can be tilted downwards by a second amount, for example 16 °, different from the first amount. A further step is an evaluation of the respective individual environment information by means of at least one computing unit. The respective individual environmental information is preferably evaluated by means of respective individual assigned computing units, so that the first individual environmental information is evaluated by a first and the second individual environmental information by a second, different computing unit. The method also includes fusing the single environment information to a total environment information by means of a functional unit and evaluating the overall environment information by means of the fusion unit.

Das hat den Vorteil, dass eine Redundanz in der Umfassung der Umgebung des Kraftwagens erreicht wird und somit die Sicherheit beziehungsweise Zuverlässigkeit der Umgebungserfassung erhöht wird. Auch kann die für das Auswerten der unterschiedlichen Umgebungsinformationen erforderliche Rechenleistung auf unterschiedliche Einheiten verteilt werden, so dass das System weniger durch begrenzte Rechenkapazitäten limitiert wird. Überdies kann das Fusionieren der Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation anwendungsbezogen erfolgen. Es können also auch nur diejenigen Einzel-Umgebungsinformationen, welche für eine spezifische Anwendung augenblicklich relevant sind zu einer Gesamt-Umgebungsinformation fusioniert werden. Dies ist besonders vorteilhaft, da das Verarbeiten der Gesamt-Umgebungsinformation typischerweise besonders aufwändig ist. So kann die erforderliche Rechenleistung flexibel minimiert werden und dennoch die erforderliche Information für eine spezifische Anwendung mit geringst möglichem Rechenaufwand genutzt werden.This has the advantage that a redundancy in the enclosure of the environment of the motor vehicle is achieved and thus the safety or reliability of the environment detection is increased. Also, the computing power required for evaluating the different environmental information can be distributed to different units, so that the system is less limited by limited computing capacity. Moreover, the merging of the single environment information into an overall environment information may be application related. Thus, only those individual environmental information which are currently relevant for a specific application can be fused to a total environmental information. This is particularly advantageous since the processing of the overall environmental information is typically particularly expensive. Thus, the required computing power can be flexibly minimized and yet the required information for a specific application with the least possible computational effort can be used.

In einer vorteilhaften Ausführungsform kann dabei vorgesehen sein, dass die erfassten und ausgewerteten Einzelumgebungsinformationen jeweilige Informationen über Verkehrszeichen und/oder über Lichtquellen und/oder über Fahrspurmarkierungen und/oder über anderen Verkehrsteilnehmer und/oder über andere Objekte umfassen. Gerade die genannten Einzel-Umgebungsinformationen haben im Straßenverkehr eine besondere Relevanz, weshalb eine zuverlässige, redundante Erkennung über einen großen Erfassungsbereich (Field of View, FoV) besonders vorteilhaft ist.In an advantageous embodiment, it may be provided that the detected and evaluated individual environmental information comprise respective information about traffic signs and / or about light sources and / or about lane markings and / or about other road users and / or about other objects. It is precisely the aforementioned individual environmental information that has particular relevance in road traffic, which is why reliable, redundant detection over a large field of view (FoV) is particularly advantageous.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass mittels der ersten Bilderfassungseinheit eine Einzel-Umgebungsinformation aus einem fernen und/oder mittleren Distanzbereich zu der Umgebungserfassungseinrichtung oder dem Kraftwagen erfasst wird und mittels der zweiten Bilderfassungseinheit eine Einzel-Umgebungsinformation aus einem mittleren und/oder nahen Distanzbereich. Das hat den Vorteil, dass der komplette relevante Sichtbereich abgedeckt wird. Gerade in dem mittleren Distanzbereich, welcher erfahrungsgemäß für die meisten Situationen im Alltag wichtig ist, ist über die Erfassung durch beide Bilderfassungseinheiten über die Redundanz die Zuverlässigkeit erhöht. Überdies ist so auch die Optik der jeweiligen Bilderfassungseinheiten gut auf den spezifischen Distanzbereich optimierbar, so dass die Umgebungserfassungseinrichtung nochmals verbessert ist.In a further advantageous embodiment, it is provided that by means of the first image acquisition unit a single environmental information from a remote and / or average distance range to the environment detection device or the car is detected and by means of the second image detection unit, a single environmental information from a middle and / or near distance range , This has the advantage that the entire relevant field of view is covered. Particularly in the middle distance range, which experience has shown to be important for most situations in everyday life, the reliability is increased via the detection by both image acquisition units via the redundancy. Moreover, the optics of the respective image acquisition units can also be optimally optimized to the specific distance range, so that the environmental detection device is further improved.

In einer weiteren Ausführungsform ist vorgesehen, dass ein Verwenden der Gesamt-Umgebungsinformation durch eine Fahrerassistenzeinrichtung durchgeführt wird. insbesondere kann die gesamte Umgebungsinformation durch eine Verkehrszeichenassistenzeinrichtung und/oder eine Fernlichtassistenzeinrichtung und/oder durch eine autonome Fahrzeugsteuereinrichtung verwendet werden. Besonders vorteilhaft ist hier die Verwendung der Gesamt-Umgebungsinformation durch einen Stop-and-Go-Piloten. Das hat den Vorteil, dass durch die jeweilige Fahrerassistenzeinrichtung nur die jeweiligen relevanten spezifischen Einzel-Umgebungsinformationen fusioniert werden müssen, was Rechenleistung spart. Es können so variabel Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation kombiniert werden, welche dann optimal auf die Verwendung in der jeweiligen nachgeordneten Fahrerassistenzeinrichtung angepasst ist.In a further embodiment it is provided that use of the overall environment information is performed by a driver assistance device. In particular, the entire environment information can be used by a traffic sign assistance device and / or a high-beam assistance device and / or by an autonomous vehicle control device. Particularly advantageous here is the use of the overall environmental information by a stop-and-go pilot. This has the advantage that only the respective relevant specific individual environmental information must be fused by the respective driver assistance device, which saves computing power. It can be combined as variable single-environment information to a total environment information, which is then optimally adapted for use in the respective downstream driver assistance device.

Die Erfindung betrifft auch eine Umgebungserfassungseinrichtung für eine Kraftwagen, mit einer ersten Bilderfassungseinheit mit einer ersten optischen Achse, zum Erfassen einer ersten Umgebungserfassungsinformation und mit einer zweiten Bilderfassungseinheit mit einer zweiten optischen Achse, welche eine von der ersten optischen Achse verschiedene Orientierung aufweist, zum Erfassen einer zweiten Einzel-Umgebungsinformation. Wesentlich ist hier, dass mittels zumindest einer Recheneinheit jeweilige Einzel-Umgebungsinformationen der beiden Bilderfassungseinheiten für sich auswertbar sind. Dabei kann jede der beiden Bilderfassungseinheiten einer jeweiligen Recheneinheit zugeordnet sein, mittels welcher jeweils nur die entsprechende Einzel-Umgebungsinformation auswertbar ist. Weiterhin ist wesentlich, dass mittels einer Fusionseinheit die Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation fusionierbar sind und die Gesamt-Umgebungsinformation mittels der Fusionseinheit auswertbar ist.The invention also relates to an environment detecting device for a motor vehicle, comprising a first image sensing unit having a first optical axis, for detecting a first environmental detection information and a second image sensing unit having a second optical axis having a different orientation from the first optical axis, for detecting a second single environment information. It is essential here that individual individual environmental information of the two image acquisition units can be evaluated by means of at least one arithmetic unit. In this case, each of the two image acquisition units can be assigned to a respective arithmetic unit, by means of which in each case only the corresponding individual environmental information can be evaluated. Furthermore, it is essential that by means of a fusion unit the individual environmental information can be fused to an overall environmental information and the overall environmental information can be evaluated by means of the fusion unit.

In einer besonders vorteilhaften Ausführungsform kann dabei vorgesehen sein, dass die erste Bilderfassungseinheit ein im Vergleich zur zweiten Bilderfassungseinheit höheres Auflösungsvermögen hat, insbesondere ein höheres räumliches und/oder zeitliches Auflösungsvermögen. Das hat den Vorteil, dass die unterschiedlichen Bilderfassungseinheiten so auf unterschiedliche Raumbereiche, insbesondere die erste Bilderfassungseinheit auf einen entfernteren Raumbereich und die zweite Bilderfassungseinheit auf einen näheren Raumbereich, anpassbar sind und sich somit besonders vorteilhaft ergänzen. Damit wird eine verbesserte Erfassung der einzelnen Umgebungsinformationen in jeweiligen zugeordneten Erfassungsbereichen erreicht.In a particularly advantageous embodiment, it may be provided that the first image acquisition unit has a higher resolution compared to the second image acquisition unit, in particular a higher spatial and / or temporal resolution. This has the advantage that the different image acquisition units can be adapted to different spatial regions, in particular the first image acquisition unit to a more distant spatial region and the second image acquisition unit to a closer spatial region, and thus complement each other particularly advantageously. This achieves improved detection of the individual environment information in respective assigned detection areas.

In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass die beiden Bilderfassungseinheiten jeweils eine Recheneinheit aufweisen, mittels derer die jeweiligen Einzel-Umgebungsinformationen auswertbar sind, und die Fusionseinheit einer übergeordneten Recheneinheit zugeordnet ist oder einer übergeordneten Recheneinheit enspricht. Die Fusionseinheit ist insbesondere also nicht Teil der beiden Recheneinheiten der Bilderfassungseinheiten. Das hat den Vorteil, dass eine Redundanz der Algorithmen bei gleichzeitiger Rechenleistungsausnutzungsmaximierung erreicht wird. Es wird so auch die Flexibilität des Systems für spezifische Anwendungen erhöht.In a particularly advantageous embodiment, it is provided that the two image acquisition units each have an arithmetic unit, by means of which the respective individual Environment information can be evaluated, and the fusion unit is assigned to a higher-level arithmetic unit or a higher-level arithmetic unit corresponds. In particular, the fusion unit is therefore not part of the two arithmetic units of the image acquisition units. This has the advantage that a redundancy of the algorithms is achieved with simultaneous computing power utilization maximization. It also increases the flexibility of the system for specific applications.

In einer bevorzugten Ausführungsform ist dabei vorgesehen, dass die beiden Bilderfassungseinheiten je (insbesondere nur) genau ein Mono-Kamerasystem und insbesondere kein Stereo-Kamerasystem umfassen. Das hat den Vorteil, dass auf besonders einfache Weise ein großer Sichtbereich durch die Umgebungserfassungseinrichtung abdeckbar ist und dabei für die Einzel-Umgebungsinformationen eine besonders geringe Rechenleistung erforderlich ist.In a preferred embodiment, it is provided that the two image acquisition units each comprise (in particular only) exactly one mono camera system and in particular no stereo camera system. This has the advantage that in a particularly simple manner a large field of view can be covered by the environment detection device and a particularly low computing power is required for the individual environmental information.

Die Erfindung betrifft auch einen Kraftwagen mit einer solchen Umgebungserfassungseinrichtung.The invention also relates to a motor vehicle with such an environment detection device.

Vorteile und vorteilhafte Ausführungsformen der Umgebungserfassungseinrichtung entsprechen jeweils auch Vorteilen und vorteilhaften Ausführungsformen des zugeordneten Verfahrens und umgekehrt.Advantages and advantageous embodiments of the environmental detection device also correspond in each case to advantages and advantageous embodiments of the associated method and vice versa.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention will become apparent from the following description of a preferred embodiment and from the drawing. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the figure description and / or alone in the single figure can be used not only in the respectively indicated combination but also in other combinations or alone, without the frame to leave the invention.

Mit den Angaben „oben”, „unten”, „vorne”, „hinten, „horizontal”, „vertikal” etc. sind die bei bestimmungsgemäßen Gebrauch und bestimmungsgemäßem Anordnen der Umgebungserfassungseinrichtung gegebenen Positionen und Orientierungen angegeben.The statements "top", "bottom", "front", "rear", "horizontal", "vertical", etc., indicate the positions and orientations given in the intended use and proper arrangement of the environmental detection device.

Dabei zeigt die einzige Fig. eine schematische Darstellung einer Umgebungserfassungseinrichtung mit zwei Bilderfassungseinheiten in einer beispielhaften Ausführungsform.The single FIGURE shows a schematic representation of an environment detection device with two image detection units in an exemplary embodiment.

In der einzigen Fig. ist eine Umgebungserfassungseinrichtung in einer beispielhaften Ausführungsform in einer x-y-Ebene, welche in einem eingebauten Zustand der Umgebungserfassungseinrichtung einer Horizontalebene eines zugeordneten Kraftwagens entspricht, dargestellt. Dargestellt ist eine erste Bilderfassungseinheit 2 mit einer ersten optischen Achse A1. Die erste Bilderfassungseinheit 2 kann beispielsweise als Mono-Kamera ausgeführt sein. Die erste Bilderfassungseinheit 2 weist hier einen ersten Erfassungsbereich 3 auf, aus welchem eine Einzel-Umgebungsinformation durch die erste Bilderfassungseinheit 2 erfassbar ist. Die erste optische Achse A1 ist vorliegend gegenüber der Horizontalen, also gegenüber der x-y-Ebene um einen vorgegebenen ersten Betrag, im gezeigten Beispiel 6°, nach unten, also von einer Horizontalen in Richtung des Erdbodens hin, verschwenkt. Entsprechend weist die erste Bilderfassungseinheit 2 vorliegend eine verhältnismäßig flache Ausrichtung auf und ist ausgelegt, Einzel-Umgebungsinformationen aus einem fernen und mittleren Distanzbereich zu erfassen. Die erste Bilderfassungseinheit 2 ist im gezeigten Beispiel mit einer ersten Recheneinheit 3 gekoppelt, welche jeweilige Einzel-Umgebungsinformationen der ersten Bilderfassungseinheit 2 auswertet. Die erste Recheneinheit 3 ist hier ausgelegt, Spurmarkierungen und Objekte, zum Beispiel Fahrzeuge oder Fußgänger, mittels einer 2D-Erkennung und optional einer optischen Flussberechnung zu erkennen. Im gezeigten Beispiel ist die erste Recheneinheit 3 auch ausgelegt, für eine Fernlichtassistenzfunktion zu erkennen, ob sich das Fahrzeug in einem Stadtbereich aufhält, sowie eine Verkehrszeichenerkennung durchzuführen, welche vorliegend auf Über-Kopf-Schilder, z. B. Wechselverkehrszeichen, Brücken, optimiert ist. Im gezeigten Beispiel weist die erste Bilderfassungseinheit 5 eine im Vergleich zu einer zweiten Bilderfassungseinheit 5 höhere Auflösung auf, um Objekte, Verkehrszeichen sowie Spurmarkierungen in dem entfernten Distanzbereich optimal aufzulösen.In the single FIGURE, an environment detection device is shown in an exemplary embodiment in an xy plane, which corresponds in a built-in state of the environment detection device a horizontal plane of an associated motor vehicle. Shown is a first image capture unit 2 with a first optical axis A1. The first image capture unit 2 can for example be designed as a mono camera. The first image capture unit 2 here has a first detection area 3 out of which a single environment information by the first image acquisition unit 2 is detectable. In the present example, the first optical axis A1 is pivoted downward relative to the horizontal, that is to say relative to the xy plane by a predetermined first amount, in the example shown 6 °, ie from a horizontal in the direction of the ground. Accordingly, the first image capture unit 2 in this case has a relatively flat orientation and is designed to detect single environmental information from a far and medium distance range. The first image capture unit 2 is in the example shown with a first arithmetic unit 3 coupled, which respective individual environmental information of the first image acquisition unit 2 evaluates. The first arithmetic unit 3 is designed here to detect lane markings and objects, for example vehicles or pedestrians, by means of a 2D recognition and optionally an optical flow calculation. In the example shown, the first arithmetic unit 3 Also designed to detect for a high-beam assistance function, whether the vehicle is in a city area, as well as to perform a traffic sign recognition, which in this case on overhead signs, such. B. variable message signs, bridges, is optimized. In the example shown, the first image acquisition unit 5 one compared to a second image capture unit 5 Higher resolution to optimally resolve objects, traffic signs and lane markers in the distant distance range.

Die Umgebungserfassungseinrichtung 1 weist auch die zweite Bilderfassungseinheit 5 mit einer zweiten optischen Achse A2 auf. Die zweite optische Achse A2 ist vorliegend um einen zweiten Betrag gegenüber der Horizontalen nach unten verschwenkt, welcher von dem ersten Betrag der ersten optischen Achse A1 verschieden ist. Beispielsweise kann dies 16° sein. Die zweite Bilderfassungseinheit 5 weist also eine im Vergleich zur ersten Bilderfassungseinheit 2 steile Ausrichtung nach unten auf und ist somit ausgelegt, Spurmarkierungen und Objekte in einem direkten Nahbereich und in einem mittleren Distanzbereich vor dem Kraftwagen zu erfassen. Der zweiten Bilderfassungseinheit 5 ist hier eine zweite Recheneinheit 7 zugeordnet, welche ausgelegt ist, ausschließlich Einzel-Umgebungsinformationen aus einem zweiten Erfassungsbereich 6 der zweiten Bilderfassungseinheit 5 auszuwerten. Der erste und zweite Erfassungsbereich 3, 6 überlappen sich in einem Überlappungs-Erfassungsbereich 9. In dem Überlappungs-Erfassungsbereich 9 wird somit ein redundantes Erfassen der jeweiligen Einzel-Umgebungsinformationen erzielt. In der zweiten Recheneinheit 7 können identische Algorithmen wie in der ersten Recheneinheit 4 zum Einsatz kommen. Zusätzlich kann die zweite Recheneinheit 7 optimiert sein, Verkehrszeichen in einem unteren Sichtbereich auszuwerten.The environment detection device 1 also has the second image capture unit 5 with a second optical axis A2. In the present case, the second optical axis A2 is pivoted downward by a second amount relative to the horizontal, which is different from the first amount of the first optical axis A1. For example, this may be 16 °. The second image capture unit 5 thus has one compared to the first image capture unit 2 steep downward orientation and thus is designed to detect lane markers and objects in a direct close range and in a middle distance range in front of the car. The second image capture unit 5 here is a second arithmetic unit 7 assigned, which is designed exclusively single environment information from a second detection area 6 the second image capture unit 5 evaluate. The first and second detection area 3 . 6 overlap in an overlap detection area 9 , In the overlap detection area 9 Thus, a redundant detection of the respective Single-environment information obtained. In the second arithmetic unit 7 can use identical algorithms as in the first processor 4 be used. In addition, the second arithmetic unit 7 be optimized to evaluate traffic signs in a lower field of view.

Beide Recheneinheiten 4, 6 sind vorliegend mit einer Fusionseinheit 8 gekoppelt, mittels welcher die jeweiligen Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation fusionierbar sind. Überdies kann die Fusionseinheit 8 die entsprechende Gesamt-Umgebungsinformation vorliegend auch auswerten. Die Fusionseinheit 8 kann in einem eingebauten Zustand beispielsweise mit einem Fahrerassistenzsystem, welches eine Reihe von Funktionalitäten umsetzen kann, gekoppelt sein.Both arithmetic units 4 . 6 are present with a fusion unit 8th coupled, by means of which the respective individual environment information can be fused to a total environment information. Moreover, the fusion unit 8th Evaluate the corresponding overall environment information in the present case. The fusion unit 8th For example, in a built-in state, it can be coupled with a driver assistance system that can implement a number of functionalities.

Entsprechend kann beispielsweise die Funktionalität einer Verkehrszeichenerkennung wie folgt umgesetzt sein. Es werden zunächst durch die beiden Bilderfassungseinheiten 2, 5 Verkehrszeichen erfasst und sodann durch die zugeordneten Recheneinheiten 4 und 7 klassifiziert. Die jeweiligen Verkehrszeicheninformationen werden sodann der Fusionseinheit 8, welche dann vorliegend die Funktion eines Verkehrszeichenerkennungskoordinators einnimmt, zur Verfügung gestellt. Dabei werden zum Beispiel Informationen aus Über-Kopf-Schildern durch die erste Bilderfassungseinheit 2 beziehungsweise durch die erste Recheneinheit 4 bereitgestellt, Informationen aus tief stehenden Verkehrszeichen oder Straßenzeichen durch die zweite Bilderfassungseinheit 5 beziehungsweise die zweite Recheneinheit 7. In der Fusionseinheit 8 werden die jeweiligen Einzel-Umgebungsinformationen bezüglich der Verkehrszeichen fusioniert und beispielsweise einer Fahrerassistenzeinrichtung zur Verfügung gestellt. Dabei wird in der bereitgestellten Gesamt-Umgebungsinformation für Verkehrszeichen, welche von beiden Bilderfassungseinheiten 2, 5 erfasst wurden, eine entsprechende Fusion durchgeführt und das Fusionsergebnis bereitgestellt, für Verkehrszeichen, welche jeweils nur von einer der beiden Bilderfassungseinheiten 2, 5 erfasst werden, als solche bereitgestellt. Verkehrszeichen, welche jeweils von einer Bilderfassungseinheit 2, 5 erfasst werden, werden als solche bereitgestellt. Dabei kann auch eine zusätzliche Überprüfung stattfinden, wenn ein Verkehrszeichen in dem Überlappungs-Erfassungsbereich 9 nur von einer der beiden Bilderfassungseinheiten 2, 5 erfasst beziehungsweise nur von einer der beiden Recheneinheiten 4, 6 detektiert wird. Die Fusionseinheit 8 kann alternativ auch eine oder mehrere der Recheneinheiten 4, 7 oder ein anderes Steuergerät, beispielsweise einer Fahrerassistenzeinrichtung, ganz oder teilweise umfassen. Es ergibt sich der Vorteil, dass der komplette relevante Sichtbereich durch die beiden Bilderfassungseinheiten 2, 5 abgedeckt ist sowie die Rechenleistung für die Verkehrszeichenerkennung auf die beiden Recheneinheiten verteilt ist. Zudem wird die Zuverlässigkeit der Verkehrszeichenerkennung für die Verkehrszeichen in dem Überlappungs-Erfassungsbereich 9 gesteigert.Accordingly, for example, the functionality of a traffic sign recognition can be implemented as follows. It will be first through the two image capture units 2 . 5 Traffic signs detected and then by the associated processing units 4 and 7 classified. The respective traffic sign information then becomes the fusion unit 8th , which then occupies the function of a traffic sign recognition coordinator provided. In this case, for example, information from overhead signs by the first image acquisition unit 2 or by the first arithmetic unit 4 provided, information from low traffic signs or road signs by the second image capture unit 5 or the second arithmetic unit 7 , In the fusion unit 8th the respective individual environmental information relating to the traffic signs are fused and made available, for example, to a driver assistance device. It is in the provided total environment information for traffic signs, which of both image acquisition units 2 . 5 were detected, performed a fusion and provided the fusion result, for traffic signs, which in each case only one of the two image acquisition units 2 . 5 be provided as such. Traffic signs, each of which is an image acquisition unit 2 . 5 are provided as such. In this case, an additional check can take place if a traffic sign in the overlap detection area 9 only from one of the two image acquisition units 2 . 5 detected or only by one of the two arithmetic units 4 . 6 is detected. The fusion unit 8th Alternatively, one or more of the arithmetic units 4 . 7 or another control device, for example a driver assistance device, in whole or in part. This results in the advantage that the complete relevant field of view through the two image acquisition units 2 . 5 is covered and the computing power for traffic sign recognition is distributed to the two computing units. In addition, the reliability of the traffic sign recognition for the traffic signs in the overlapping detection area becomes 9 increased.

Eine weitere umsetzbare Funktionalität ist die eines Fernlichtassistenten. Dabei werden durch die beiden Bilderfassungseinheiten 2, 5 Lichtquellen in den jeweiligen Erfassungsbereichen 3, 6 erfasst, durch die beiden Recheneinheiten 4, 7 klassifiziert und der Fusionseinheit 8 in der Funktion als Fernlichtassistenzkoordinator zur Verfügung gestellt. Dabei ist in diesem Beispiel die erste Bilderfassungseinheit 2 mit der ersten Recheneinheit 4 für die Erkennung ausreichend beleuchteter Straßen ausgelegt und die zweite Bilderfassungseinheit 5 sowie die zweite Recheneinheit 7 auf eine Fahrzeugerkennung. Die Fusionseinheit 8 fusioniert die Ergebnisse. Wieder kann die Fusionseinheit 8 alternativ auch eine oder mehrere der Recheneinheiten 4, 7 oder ein anderes Steuergerät, beispielsweise einer Fahrerassistenzeinrichtung, ganz oder teilweise umfassen. Dadurch wird eine bestmögliche Leistung bezüglich zum Beispiel einer Stadterkennung, also einer Erkennungsfunktionalität, ob sich der Kraftwagen innerhalb einer geschlossenen Ortschaft befindet oder nicht, und der Fahrzeugerkennung erreicht, da die beiden Bilderfassungseinheiten 2, 5 sowie die beiden Recheneinheiten 4, 7 optimal auf ihre jeweilige Funktion abgestimmt werden können.Another implementable functionality is that of a high beam assistant. It will be through the two image capture units 2 . 5 Light sources in the respective detection areas 3 . 6 detected by the two arithmetic units 4 . 7 classified and the fusion unit 8th provided in the function as a high-beam assistant coordinator. Here, in this example, the first image capture unit 2 with the first arithmetic unit 4 designed for the recognition of sufficient illuminated streets and the second image acquisition unit 5 as well as the second arithmetic unit 7 on a vehicle detection. The fusion unit 8th merges the results. Again, the fusion unit 8th Alternatively, one or more of the arithmetic units 4 . 7 or another control device, for example a driver assistance device, in whole or in part. This achieves the best possible performance with respect to, for example, urban recognition, ie recognition functionality, whether the motor vehicle is within a closed locality or not, and vehicle recognition, since the two image acquisition units 2 . 5 as well as the two arithmetic units 4 . 7 can be optimally adapted to their respective function.

Eine weitere umsetzbare Funktionalität ist einer Objekterkennung. Dabei werden Objekte durch die beiden Bilderfassungseinheiten 2, 5 detektiert sowie durch die beiden Recheneinheiten 4, 7 klassifiziert und dann der Fusionseinheit 8 in der Funktion als Objektfusionsmodul oder Objekterkennungskoordinator zur Verfügung gestellt. Dabei erfasst vorliegend die erste Bilderfassungseinheit 2 Objekte im fernen und mittleren Distanzbereich, die zweite Bilderfassungseinheit 5 Objekte im Nahbereich. Die Fusionseinheit 8 als Objekterkennungskoordinator fusioniert die Objekte vorliegend anhand einer Positionsschätzung durch die beiden Bilderfassungseinheiten 2, 5 beziehungsweise durch die beiden Recheneinheiten 4, 7. Wieder kann die Fusionseinheit 8 alternativ auch eine oder mehrere der Recheneinheiten 4, 7 oder ein anderes Steuergerät, beispielsweise einer Fahrerassistenzeinrichtung, ganz oder teilweise umfassen. Es bietet sich der Vorteil einer Objekterfassung sowohl im Nah- und Mitteldistanzbereich, als auch im fernen Distanzbereich. Gerade im mittleren Distanzbereich erhöht die redundante Berechnung beziehungsweise Erkennung der Objekte die funktionale Sicherheit. Überdies kann hier die Rechenleistung für die Objekterkennung sowohl auf die beiden Recheneinheiten 4, 7 als auch auf weitere Einheiten, wie beispielsweise die Fusionseinheit 8 verteilt werden.Another implementable functionality is object recognition. In doing so, objects become through the two image capture units 2 . 5 detected as well as by the two arithmetic units 4 . 7 classified and then the fusion unit 8th provided in the function as object fusion module or object recognition coordinator. In the present case, the first image acquisition unit is detected 2 Objects in the far and middle distance range, the second image capture unit 5 Objects in the vicinity. The fusion unit 8th as object recognition coordinator, the objects in the present case are fused by means of a position estimation by the two image acquisition units 2 . 5 or by the two arithmetic units 4 . 7 , Again, the fusion unit 8th Alternatively, one or more of the arithmetic units 4 . 7 or another control device, for example a driver assistance device, in whole or in part. There is the advantage of object detection both in the near and middle distance range, as well as in the distant distance range. Especially in the middle distance range, the redundant calculation or detection of the objects increases the functional safety. Moreover, here can the computing power for the object recognition both on the two arithmetic units 4 . 7 as well as other units, such as the fusion unit 8th be distributed.

Eine weitere Funktionalität, die mittels der beschriebenen Umgebungserfassungseinrichtung umsetzbar ist, ist eine Spurerkennung. Dabei werden Spurmarkierungen durch die beiden Bilderfassungseinheiten 2, 5 erfasst oder detektiert und durch die beiden Recheneinheiten 4, 7 ausgewertet beziehungsweise klassifiziert und sodann einem Spurfusionsmodul oder Spurerkennungskoordinator, welcher beispielsweise in der Fusionseinheit 8 implementiert sein kann, zur Verfügung gestellt. Dabei erfasst vorliegend die erste Bilderfassungseinheit 2 Spuren oder Spurmarkierungen im fernen und mittleren Distanzbereich und die zweite Bilderfassungseinheit 5 Spuren im mittleren und nahen Distanzbereich. Der Spurerkennungskoordinator fusioniert die Spuren dann anhand der Positionsschätzungen der einzelnen Spuren, welche hier also den jeweiligen Einzel-Umgebungsinformationen entsprechen. Es werden auch die Spurmarkierungstypen, die sowohl durch die erste als auch durch die zweite Bilderfassungseinheit 2, 5 erfasst werden fusioniert. Wieder kann die Fusionseinheit 8 alternativ auch eine oder mehrere der Recheneinheiten 4, 7 oder ein anderes Steuergerät, beispielsweise einer Fahrerassistenzeinrichtung, ganz oder teilweise umfassen. Es ergeben sich die Vorteile einer Spurerfassung, welche sich nahtlos von einem Nahbereich bis zu einem Fernbereich erstreckt. Wieder sorgt die redundante Erfassung beziehungsweise Auswertung der Spuren zu einer Erhöhung der funktionalen Sicherheit. Die Rechenleistung für die Spurerkennung kann hier auf die unterschiedlichen Recheneinheiten 4, 7 und die Fusionseinheit 8 verteilt werden. Another functionality which can be implemented by means of the described environment detection device is a track recognition. In this case, lane markers are through the two image capture units 2 . 5 detected or detected and by the two arithmetic units 4 . 7 evaluated or classified and then a Spurfusionsmodul or lane detection coordinator, which, for example, in the fusion unit 8th can be implemented, provided. In the present case, the first image acquisition unit is detected 2 Traces or lane markers in the far and middle distance range and the second image capture unit 5 Traces in the middle and near distance range. The lane detection coordinator then fuses the lanes based on the position estimates of the individual lanes, which thus correspond to the respective individual environmental information. There will also be the lane marker types used by both the first and second imager units 2 . 5 be merged. Again, the fusion unit 8th Alternatively, one or more of the arithmetic units 4 . 7 or another control device, for example a driver assistance device, in whole or in part. There are the advantages of track detection which extends seamlessly from a near to a far end. Again, the redundant detection or evaluation of the tracks to increase the functional safety. The computing power for the track recognition can here on the different arithmetic units 4 . 7 and the fusion unit 8th be distributed.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
UmgebungserfassungseinrichtungEnvironment detection device
22
Erste BilderfassungseinheitFirst image capture unit
33
Erster ErfassungsbereichFirst detection area
44
Erste RecheneinheitFirst arithmetic unit
55
Zweite BilderfassungseinheitSecond image capture unit
66
Zweiter ErfassungsbereichSecond detection area
77
Zweite RecheneinheitSecond arithmetic unit
88th
Fusionseinheitfusion unit
99
Überlappungs-ErfassungsbereichOverlap detection range
A1A1
optische Achseoptical axis
A2A2
optische Achseoptical axis

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102009022277 A1 [0005] DE 102009022277 A1 [0005]

Claims (8)

Verfahren zum Betreiben einer Umgebungserfassungseinrichtung (1) für einen Kraftwagen, mit den Schritten: – Erfassen einer ersten Einzel-Umgebungsinformation mittels einer ersten Bilderfassungseinheit (2) der Umgebungserfassungseinrichtung (1), wobei die erste Bilderfassungseinheit (2) eine erste optische Achse (A1) aufweist; – Erfassen einer zweiten Einzel-Umgebungsinformation mittels einer zweiten Bilderfassungseinheit (5) der Umgebungserfassungseinrichtung (1), wobei die zweite Bilderfassungseinheit (5) eine zweite optische Achse (A2) mit einer von der ersten optischen Achse (A1) verschiedenen Orientierung aufweist; – Auswerten der jeweiligen Einzel-Umgebungsinformationen mittels zumindest einer Recheneinheit (4, 7); – Fusionieren der Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation mittels einer Fusionseinheit (8); und – Auswerten der Gesamt-Umgebungsinformation mittels der Fusionseinheit (8).Method for operating an environment detection device ( 1 ) for a motor vehicle, comprising the steps of: detecting first individual environmental information by means of a first image acquisition unit ( 2 ) of the environment detection device ( 1 ), wherein the first image acquisition unit ( 2 ) has a first optical axis (A1); Detecting second individual environmental information by means of a second image acquisition unit ( 5 ) of the environment detection device ( 1 ), wherein the second image acquisition unit ( 5 ) has a second optical axis (A2) with an orientation different from the first optical axis (A1); Evaluating the respective individual environment information by means of at least one arithmetic unit ( 4 . 7 ); Merging the single environment information into a total environment information by means of a fusion unit ( 8th ); and - evaluating the total environment information by means of the fusion unit ( 8th ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erfassten und ausgewerteten Einzel-Umgebungsinformationen jeweilige Informationen über Verkehrszeichen und/oder über Lichtquellen und/oder über Fahrspurmarkierungen und/oder über andere Verkehrsteilnehmer und/oder über andere Objekte umfassen.A method according to claim 1, characterized in that the detected and evaluated individual environmental information include respective information about traffic signs and / or light sources and / or lane markings and / or other road users and / or other objects. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der ersten Bilderfassungseinheit (2) eine Einzel-Umgebungsinformation aus einem fernen und/oder mittleren Distanzbereich erfasst wird und mittels der zweiten Bilderfassungseinheit (5) eine Einzel-Umgebungsinformation aus einem mittleren und/oder nahen Distanzbereich.Method according to one of the preceding claims, characterized in that by means of the first image acquisition unit ( 2 ) a single environmental information from a remote and / or average distance range is detected and by means of the second image capture unit ( 5 ) a single environment information from a middle and / or near distance range. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Verwenden der Gesamt-Umgebungsinformation durch eine Fahrerassistenzeinrichtung, insbesondere eine Verkehrszeichenassistenzeinrichtung und/oder eine Fernlichtassistenzeinrichtung, und/oder durch eine autonome Fahrzeugsteuereinrichtung, insbesondere einen Stop-and-Go-Piloten.Method according to one of the preceding claims, characterized by using the overall environment information by a driver assistance device, in particular a traffic sign assistance device and / or a high-beam assistance device, and / or by an autonomous vehicle control device, in particular a stop-and-go pilot. Umgebungserfassungseinrichtung (1) für einen Kraftwagen, mit – einer ersten Bilderfassungseinheit (2) mit einer ersten optischen Achse (A1), zum Erfassen einer ersten Einzel-Umgebungsinformation; und – einer zweiten Bilderfassungseinheit (5) mit einer zweiten optischen Achse (A2), welche eine von der ersten optischen Achse (A1) verschiedenen Orientierung aufweist, zum Erfassen einer zweiten Einzel-Umgebungsinformation; dadurch gekennzeichnet, dass mittels zumindest einer Recheneinheit (4, 7) jeweilige Einzel-Umgebungsinformationen der beiden Bilderfassungseinheiten (2, 5) für sich auswertbar sind, mittels einer Fusionseinheit (8) die Einzel-Umgebungsinformationen zu einer Gesamt-Umgebungsinformation fusionierbar sind und die Gesamt-Umgebungsinformation mittels der Fusionseinheit (8) auswertbar ist.Environment detection device ( 1 ) for a motor vehicle, comprising - a first image acquisition unit ( 2 ) having a first optical axis (A1) for acquiring first single environment information; and a second image acquisition unit ( 5 ) having a second optical axis (A2) having an orientation different from the first optical axis (A1) for detecting a second single environmental information; characterized in that by means of at least one arithmetic unit ( 4 . 7 ) respective individual environmental information of the two image acquisition units ( 2 . 5 ) are evaluable by means of a fusion unit ( 8th ) the individual environment information can be fused to a total environment information and the total environment information is merged by means of the fusion unit ( 8th ) is evaluable. Umgebungserfassungseinrichtung (1) nach Anspruch 5, dadurch gekennzeichnet, dass die erste Bilderfassungseinheit (2) ein im Vergleich zur zweiten Bilderfassungseinheit (5) höheres Auflösungsvermögen hat.Environment detection device ( 1 ) according to claim 5, characterized in that the first image acquisition unit ( 2 ) in comparison to the second image acquisition unit ( 5 ) has higher resolving power. Umgebungserfassungseinrichtung (1) nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die beiden Bilderfassungseinheiten (2, 5) jeweils eine Recheneinheit (4, 7) aufweisen, mittels derer die jeweiligen Einzel-Umgebungsinformationen auswertbar sind, und die Fusionseinheit (8) einer übergeordneten Recheneinheit zugeordnet ist.Environment detection device ( 1 ) according to claim 5 or 6, characterized in that the two image capture units ( 2 . 5 ) one computing unit each ( 4 . 7 ), by means of which the respective individual environmental information can be evaluated, and the fusion unit ( 8th ) is assigned to a higher-level arithmetic unit. Umgebungserfassungseinrichtung (1) nach Anspruch 5, 6 oder 7, dadurch gekennzeichnet, dass die beiden Bilderfassungseinheiten (2, 5) je ein Mono-Kamerasystem umfassen.Environment detection device ( 1 ) according to claim 5, 6 or 7, characterized in that the two image acquisition units ( 2 . 5 ) each comprise a mono camera system.
DE102015007180.7A 2015-06-03 2015-06-03 Environmental detection device for a motor vehicle and method for operating such Withdrawn DE102015007180A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015007180.7A DE102015007180A1 (en) 2015-06-03 2015-06-03 Environmental detection device for a motor vehicle and method for operating such

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015007180.7A DE102015007180A1 (en) 2015-06-03 2015-06-03 Environmental detection device for a motor vehicle and method for operating such

Publications (1)

Publication Number Publication Date
DE102015007180A1 true DE102015007180A1 (en) 2015-12-10

Family

ID=54548959

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015007180.7A Withdrawn DE102015007180A1 (en) 2015-06-03 2015-06-03 Environmental detection device for a motor vehicle and method for operating such

Country Status (1)

Country Link
DE (1) DE102015007180A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212730A1 (en) * 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Vehicle camera device with image evaluation electronics
CN108090515A (en) * 2017-12-27 2018-05-29 南京邮电大学 A kind of environmental rating appraisal procedure based on data fusion
DE102019206083A1 (en) * 2019-04-29 2020-10-29 Robert Bosch Gmbh Optical inspection procedures, camera system and vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009022277A1 (en) 2009-05-22 2010-01-21 Daimler Ag Device for detecting objects for vehicle, and for operating driver assistance system of vehicle, has two image recording units with optical axes running in different angles in horizontal manner

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009022277A1 (en) 2009-05-22 2010-01-21 Daimler Ag Device for detecting objects for vehicle, and for operating driver assistance system of vehicle, has two image recording units with optical axes running in different angles in horizontal manner

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212730A1 (en) * 2016-07-13 2018-01-18 Conti Temic Microelectronic Gmbh Vehicle camera device with image evaluation electronics
CN108090515A (en) * 2017-12-27 2018-05-29 南京邮电大学 A kind of environmental rating appraisal procedure based on data fusion
CN108090515B (en) * 2017-12-27 2020-04-21 南京邮电大学 Data fusion-based environment grade evaluation method
DE102019206083A1 (en) * 2019-04-29 2020-10-29 Robert Bosch Gmbh Optical inspection procedures, camera system and vehicle

Similar Documents

Publication Publication Date Title
EP2753533B1 (en) Determination of the position of structural elements of a vehicle
DE102012215322A1 (en) Method and device for detecting a position of a vehicle on a lane
DE102018203807A1 (en) Method and device for detecting and evaluating road conditions and weather-related environmental influences
DE102014201159A1 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle and personal protection system of a vehicle
WO2017103096A1 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system, and motor vehicle
DE102013207575A1 (en) OBJECT DETECTION DEVICE
DE102007034505A1 (en) Method and device for traffic sign recognition
EP3044727B1 (en) Method and device for detecting objects from depth-resolved image data
WO2014118178A1 (en) Creation of an environment model for a vehicle
DE102012211391A1 (en) Method and system for information usage
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE102013012930A1 (en) Method for determining a current distance and / or a current speed of a target object from a reference point in a camera image, camera system and motor vehicle
DE102019008093A1 (en) Method for merging sensor data from a large number of detection devices using a sparse occupancy grid, as well as a driver assistance system
DE102009011866A1 (en) Method and apparatus for determining a range of visibility for a vehicle
DE102015010535A1 (en) Camera-based environmental detection for commercial vehicles
DE102015007180A1 (en) Environmental detection device for a motor vehicle and method for operating such
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102018213268A1 (en) METHOD FOR APPLICATION IN A VEHICLE
DE102015223500B4 (en) Method and device for testing the functionality of an outside light device of a vehicle
DE102015216352A1 (en) Method for detecting a possible collision of a vehicle with a pedestrian on the basis of high-resolution recordings
DE102020004790A1 (en) Device for recognizing traffic signs from a vehicle
DE102016118538A1 (en) Method for classifying a traffic sign in a surrounding area of a motor vehicle, computing device, driver assistance system and motor vehicle
WO2016096446A1 (en) Foreground-background differentiation in a vehicle
WO2019057252A1 (en) Method and device for detecting lanes, driver assistance system and vehicle
DE102015204529A1 (en) Method and device for object recognition in a means of transportation

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee