WO2021028245A1 - Fehlerrobuste erfassung einer fahrzeugumgebung - Google Patents

Fehlerrobuste erfassung einer fahrzeugumgebung Download PDF

Info

Publication number
WO2021028245A1
WO2021028245A1 PCT/EP2020/071720 EP2020071720W WO2021028245A1 WO 2021028245 A1 WO2021028245 A1 WO 2021028245A1 EP 2020071720 W EP2020071720 W EP 2020071720W WO 2021028245 A1 WO2021028245 A1 WO 2021028245A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle environment
system arrangement
control unit
mirror
deviation
Prior art date
Application number
PCT/EP2020/071720
Other languages
English (en)
French (fr)
Inventor
Erwin Bay
Jonas Legl
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to US17/633,755 priority Critical patent/US20220327671A1/en
Priority to CN202080056197.4A priority patent/CN114222684A/zh
Publication of WO2021028245A1 publication Critical patent/WO2021028245A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the invention relates to a method for the reliable and error-resistant evaluation of a visually detected vehicle environment. According to the invention, it is possible that a deviation in a camera alignment due to a force acting on an exterior mirror carrying the camera is compensated for in a fully automated manner. As a result, the method according to the invention can even be used during active journeys in the field and creates a safety advantage in particular in the case of autonomous driving.
  • One aspect of the present invention is the folding and unfolding of the exterior mirrors. As a result of an external force and adjustment, the mirror is moved back into its starting position according to one aspect of the present invention.
  • the present invention also relates to a correspondingly configured system arrangement.
  • a Com puterprogramm product is proposed with control commands that implement the method or operate the proposed system arrangement.
  • DE 195 19 619 A1 shows an automatic adjustment system for exterior mirrors of vehicles. For adjustment, the size and head height are recorded and the resulting vertical position of the driver's eye area is calculated in order to adjust the mirrors continuously.
  • DE 3923 174 C2 shows an electric rearview mirror device for a motor vehicle. This comprises a housing and a mirror body which is mounted rotatably relative to the housing. In addition, the rearview mirror device has a device for detecting a position of the mirror body. Rod-shaped permanent magnets are provided, the positions of which are detected by two Hall magnetic sensors.
  • Arrangements are known from the prior art which, for example, provide a rearview mirror of a motor vehicle which is provided with devices that can either indicate a lane change or can send out a warning signal.
  • a turn signal that is integrated in a rearview mirror is a conventional light that is coupled to the vehicle electronics via a wired interface.
  • the image recognition should also be able to be carried out error-free and reliably in the event of a deviation in a camera alignment due to the action of a force, or folding in and out, on an outside mirror carrying the camera.
  • a system arrangement for the reliable and error-resistant evaluation of a visually detected vehicle environment having a rearview mirror device having at least one position sensor set up to detect a position deviation from a preset position; an imaging sensor designed to capture the vehicle environment and a data interface designed to transmit the positional deviation and the captured vehicle environment to a control unit; and the control unit, which is set up to process the detected vehicle surroundings as a function of the position deviation.
  • the proposed method or the system arrangement is efficient since it is no longer necessary to physically move the rearview mirror into a suitable position, or the mirror head can still be moved back into the starting position. It is about recognizing deviations and activating the drive if necessary and only inaccuracies compared to to balance the last valid position. Rather, according to the invention, the signal provided by the imaging sensor is processed.
  • the proposed method can thus be carried out in such a way that only the incoming data have to be processed and the mirror as such does not have to be realigned. This is particularly reliable because, in the event of an accident, it cannot always be guaranteed that the motor of the mirror will work and it is therefore not always possible according to the prior art to physically adjust the position of the mirror. After such an accident, automated driving is not permitted. According to the invention, this disadvantage is overcome in such a way that the mirror can remain in its incorrect position and only the image of the camera has to be processed or adapted.
  • the proposed method is also particularly error-resistant, since ongoing operation is also supported according to the invention in such a way that if the mirror is adjusted while driving, this is also automatically taken into account while driving so that the image of the built-in camera is adapted. It is also possible to compensate for only slight adjustments caused by folding in and out. Consequently, it is possible according to the invention to compensate for the misalignment of the mirror and, implicitly, the misalignment of the camera unit in real time. Often the mirror is only adjusted minimally, which means that the driver receives a sufficiently good image in the rearview mirror, but the camera alignment is no longer useful, especially for an autonomous driver. According to the invention, autonomous driving can therefore continue to be supported, even if the exterior mirror together with the built-in camera is slightly adjusted.
  • the proposed invention takes into account in particular the autonomous method, which provides a large number of imaging sensors. These sensors are used, among other things, to recognize traffic signs, lane markings and other road users. In addition, the corresponding sensors are calibrated, which means that the processing components expect exactly a certain image. If the camera is now varied in its position, the varied image is disturbed and can no longer be processed or is processed according to the prior art anyway and consequently leads to incorrect results. According to the invention, this is overcome in particular by the fact that the respective image can be adapted and thus the calibration can continue. Typically, cameras are installed in both exterior mirrors and if the alignment of a camera deviates, the images from other sensors can no longer be overlaid. According to the invention, this is the starting point and the incorrect image is corrected.
  • Such processing of the detected vehicle environment can be carried out in such a way that a table is stored which indicates which correction parameter must be added or multiplied for which deviation of the exterior mirror and thus of the camera alignment.
  • the detected vehicle environment is consequently corrected virtually and, figuratively speaking, the generated image of the vehicle environment is moved back into the correct position. How such a correction must be made can be determined empirically and stored in a vehicle memory. As a result, it is possible to access appropriate correction parameters at runtime and apply them dynamically.
  • an offset can be assigned to a specific angle of a deviation in the camera alignment, which must be added to the resulting image.
  • the angle of the camera alignment can thus be determined and the inventive method consequently knows by how many units of measurement the resulting image is then to be virtually offset. This again creates the desired image and the other sensors do not have to be recalibrated.
  • the incorrect position can exist both horizontally and vertically and consequently the resulting image of the vehicle environment can also be shifted vertically and / or horizontally.
  • the proposed invention thus provides that an error in the camera alignment is identified and this error is applied inversely to the resulting image. This creates the original image again without the physical components having to be physically realigned.
  • the current position of the exterior mirror can be detected in such a way that the position sensor or the position sensor, starting from an initial position, measures how long the exterior mirror moves into its end position. Based on the acceleration of the mirror and the speed, the sensor can then be used to measure how far the exterior mirror has moved. If the time to the end position is measured, it may not be possible to infer an exact position, but other influences such as voltage, temperature, wear, etc. can be taken into account. In addition, it is alternatively or additionally possible to calculate the angle according to which the exterior mirror was moved. If, for example, an outside mirror is folded in, it is possible that it has to be rotated by 90 ° from the starting position to the end position.
  • the proposed method can also regulate the system control in such a way that the method is carried out iteratively and consequently the position of the exterior mirror and thus the camera position is always checked and dynamically adjusted during runtime.
  • the position of the mirror and camera may not be physically adjusted.
  • the software compensates for the error measured by the sensor.
  • the control unit is set up to process the detected vehicle environment in the context of autonomous driving.
  • This has the advantage that the advantages according to the invention are particularly evident.
  • the resulting image of the vehicle's surroundings can be shown on a display, with autonomous driving in particular requiring a reliable data source. It is therefore advantageous to have a system here which provides reliable data on the vehicle environment at any time, including in real time.
  • a display unit which outputs the detected vehicle environment in a processed manner.
  • This has the advantage that the corrected information can also be made available to the driver and thus he can have the corrected information displayed on a screen or this information is displayed in the windshield.
  • the preset position corresponds to a factory setting and / or a calibrated position.
  • the vehicle can be set at the factory and if there are deviations in the camera position after commissioning, the vehicle automatically corrected the corresponding deviations. A new calibration is not necessary.
  • the imaging sensor is integrated in an environmental camera.
  • the data interface is present as a wired interface and / or an air interface.
  • This has the advantage that the data can either be transmitted via a physical contact, i.e. a line, or a radio connection is established between the electronics of the exterior mirror and the control unit. It is also possible to use both transmission technologies at the same time or to prioritize them.
  • the transmission can preferably take place in a wired manner and if there is no wired transmission, a wireless transmission can be guaranteed. This refers in particular to the application scenario in which an accident rotates the exterior mirror and consequently it is possible that a wired line can also break. According to the invention, a wireless connection is then available.
  • the object is also achieved by a method for the reliable and error-resistant evaluation of a visually detected vehicle environment, having a detection of a position deviation of a rearview mirror device having at least one position sensor from a preset position; detecting the vehicle surroundings by means of an imaging sensor which is integrated in the rearview mirror device; a transmission of the position deviation and the detected vehicle environment to a control unit; and processing of the detected vehicle environment by the control unit as a function of the positional deviation.
  • the object is also achieved by a Com puterprogramm product with control commands that execute the method and operate the proposed arrangement when they are brought to execution on a computer.
  • the method can be used to operate the proposed devices and units or the system arrangement.
  • the proposed devices and devices are also suitable for carrying out the method according to the invention.
  • the device thus in each case implements structural features which are suitable for carrying out the corresponding method.
  • the structural features can also be designed as process steps.
  • the proposed method also provides steps for implementing the function of the structural features.
  • FIG. 1 a schematic flow diagram of a method for the reliable and error-resistant evaluation of a visually recorded vehicle environment according to one aspect of the present invention.
  • FIG. 1 shows, in a schematic flow diagram, a method for the reliable and error-resistant evaluation of a visually detected vehicle environment, having a detection 100 of a position deviation of a rearview mirror device having at least one position sensor from a preset position; detecting 101 the vehicle environment by means of an imaging sensor which is integrated in the rearview mirror device; transmitting 102 the positional deviation and the detected vehicle surroundings to a control unit; and processing 103 of the detected vehicle surroundings by the control unit as a function of the positional deviation.
  • the diagram according to the present figure can also be interpreted as a block diagram of the system arrangement, with a corresponding component of the system arrangement being assigned to each method step.
  • the steps can have further substeps and in particular that the method steps can each be carried out iteratively and / or in a different order.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeug Umgebung. Erfindungsgemäß ist es möglich, dass eine Abweichung einer Kameraausrichtung aufgrund einer Krafteinwirkung auf einen die Kamera tragenden Außenspiegel vollautomatisiert kompensiert wird. Folglich kann das erfindungsgemäße Verfahren sogar während aktiver Fahrten im Feld eingesetzt werden und schafft einen Sicherheitsvorteil insbesondere bei autonomem Fahren.

Description

Fehlerrobuste Erfassung einer Fahrzeugumgebung
Die Erfindung betrifft ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung. Erfindungsgemäß ist es möglich, dass eine Abweichung einer Kameraausrichtung aufgrund einer Krafteinwirkung auf einen die Kamera tragenden Außenspiegel vollautomatisiert kompensiert wird. Folglich kann das erfindungsgemäße Verfahren sogar während aktiver Fahrten im Feld eingesetzt werden und schafft einen Sicherheitsvorteil insbesondere bei autonomem Fahren. Ein Aspekt der vorliegenden Erfindung ist das An- und Ausklappen der Außenspiegel. In Folge einer äußeren Krafteinwirkung und Verstellung wird der Spiegel gemäß einem Aspekt der vorliegenden Erfindung wieder in Ausgangslage zurückgefahren. Ferner betrifft die vorliegende Erfindung eine entsprechend eingerichtete Systemanordnung. Darüber hinaus wird ein Com puterprogramm produkt mit Steuerbefehlen vorgeschlagen, welche das Verfahren implementieren beziehungsweise die vorgeschlagene Systemanordnung betreiben.
DE 19 937 021 B4 zeigt einen um mindestens zwei Achsen verstellbaren Spiegel mit einer Sensoranordnung zur Erfassung der Spiegelstellung.
DE 195 19 619 A1 zeigt eine Justierautomatik für Außenspiegel von Fahrzeugen. Zur Justierung wird die Größe und Kopfhöhe erfasst und daraus die resultierenden Vertikalposition des Fahrzeugführer Augenbereichs errechnet um daran angepasst, die Spiegel kontinuierlich zu justieren. DE 3923 174 C2 zeigt eine elektrische Rückspiegelvorrichtung für ein Kraftfahrzeug. Diese umfasst ein Gehäuse und einen Spiegelkörper, der drehbar zum Gehäuse gelagert ist. Zudem weist die Rückspiegelvorrichtung eine Einrichtung zum Erfassen einer Lage des Spiegelkörpers auf. Hierbei sind stangenförmige Permanentmagnete vorgesehen, deren Lagen von zwei Hall-Magnet-Sensoren erfasst werden.
Aus dem Stand der Technik sind Anordnungen bekannt, welche beispielsweise einen Rückspiegel eines Kraftfahrzeugs vorsehen der mit Einrichtungen versehen ist, die entweder einen Spurwechsel anzeigen können oder ein Warnsignal aussenden können. Bei einem Blinker, der in einen Rückspiegel integriert ist, handelt es sich um eine herkömmliche Leuchte, welche mit einer drahtgebundenen Schnittstelle mit der Fahrzeugelektronik gekoppelt ist.
Ferner ist es bekannt, dass aufgrund einer Krafteinwirkung auf einen Außenspiegel dieser bezüglich seiner Position derart variiert werden kann, dass es zu einer fehlerhaften Ausrichtung kommt. Oftmals lassen sich Außenspiegel ausklappen bzw. einklappen und jeder dieser Vorgänge ist potentiell derart fehlerbehaftet, dass die Ausrichtung des Außenspiegels nach jedem Vorgang von einer Soll-Position abweicht. Darüber hinaus ist es möglich, dass aufgrund eines Unfalls eine Krafteinwirkung auf den Außenspiegel erfolgt. Typische Beispiele sind das Berühren des Außenspiegels einer Wand in einem Parkhaus bzw. ein Zusammenstoß des Außenspiegels mit einem Fahrradfahrer. Somit liegt nicht mehr die gewünschte Position des Außenspiegels vor und es kommt zu einer Abweichung, die gemäß herkömmlicher Verfahren manuell korrigiert wird.
Darüber hinaus sind Verfahren bekannt, welche den Außenspiegel ansteuern und ihn sodann physisch in die gewünschte Position versetzen. Hierzu sind aufwändige Verfahren notwendig, welche zudem davon abhängen, dass die Motorik des Spiegels noch intakt ist. Dies ist jedoch nicht immer gegeben.
Darüber hinaus sind Kamerasysteme bekannt, welche in dem Außenspiegel verbaut sind. So kann eine Außenkamera den Fahrer unterstützen und ein Bild einer Fahrzeugumgebung liefern. Da die Kameras typischerweise fest in dem Körper des Außenspiegels verbaut sind, variiert auch die Ausrichtung einer solchen Kamera mit der Position des Außenspiegels. Generell erkennt der Stand der Technik zwar, dass eine Spiegelposition unerwünscht variieren kann, zeigt jedoch nur ungenügende Möglichkeiten die Spiegelposition zu korrigieren. Dies erfolgt typischerweise mittels eines physikalischen Nachjustierens, was jedoch technisch aufwendig ist.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes, insbesondere zuverlässigeres, Verfahren zur Fehlerkompensation bei einer Bilderkennung, unter anderem eines Automobils oder Motorrads, vorzuschlagen. Die Bilderkennung soll auch bei einer Abweichung einer Kameraausrichtung aufgrund einer Krafteinwirkung, bzw. An- und Ausklappen, auf einen die Kamera tragenden Außenspiegel fehlerfrei und verlässlich durchgeführt werden können. Ferner ist es eine Aufgabe der vorliegenden Erfindung eine entsprechend eingerichtete Systemanordnung bereitzustellen sowie ein Com puterprogramm produkt mit Steuerbefehlen vorzuschlagen, welche das Verfahren implementieren beziehungsweise die vorgeschlagene Systemanordnung zumindest teilweise betreiben.
Die Aufgabe wird gelöst durch eine Systemanordnung mit den Merkmalen gemäß Patentanspruch 1. Weitere vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Demgemäß wird eine Systemanordnung zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung vorgeschlagen, aufweisend eine Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor eingerichtet zur Erfassung einer Positionsabweichung von einer voreingestellten Position; einen bildgebenden Sensor eingerichtet zur Erfassung der Fahrzeugumgebung und eine Datenschnittstelle eingerichtet zur Übertragung der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und die Steuereinheit, welche eingerichtet ist, die erfasste Fahrzeugumgebung in Abhängigkeit der Positionsabweichung zu verarbeiten.
Das vorgeschlagene Verfahren bzw. die Systemanordnung ist effizient, da es nicht mehr notwendig ist, den Rückspiegel physisch in eine geeignete Position zu verbringen, bzw. kann der Spiegelkopf weiterhin in die Ausgangslage zurückgefahren werden. Es geht darum Abweichungen zu erkennen, ggf. den Antrieb zu aktivieren und lediglich Ungenauigkeiten ggü. der letzten gültigen Position auszugleichen. Vielmehr erfolgt erfindungsgemäß ein Verarbeiten des Signals, welches der bildgebende Sensor bereitstellt. Somit kann also das vorgeschlagene Verfahren derart ausgeführt werden, dass lediglich die ankommenden Daten verarbeitet werden müssen und nicht der Spiegel als solches neu ausgerichtet werden muss. Dies ist insbesondere deshalb zuverlässig, da bei einem Unfall nicht stets gewährleistet werden kann, dass der Motor des Spiegels funktioniert und somit ist es gemäß Stand der Technik nicht immer möglich die Position des Spiegels physisch anzupassen. Nach einem solchen Unfall darf nicht automatisiert weitergefahren werden. Dieser Nachteil wird erfindungsgemäß derart überwunden, dass der Spiegel in seiner Fehlstellung verbleiben kann und lediglich das Bild der Kamera verarbeitet bzw. angepasst werden muss.
Somit ist das vorgeschlagene Verfahren auch besonders fehlerrobust, da auch ein laufender Betrieb erfindungsgemäß derart unterstützt wird, dass falls der Spiegel bei laufender Fahrt verstellt wird, dieses auch automatisiert während der Fahrt dahingehend berücksichtigt wird, dass das Bild der verbauten Kamera angepasst wird. Auch ist es möglich nur geringe Verstellungen, bedingt durch an An-/ Ausklappen, zu kompensieren. Folglich ist es erfindungsgemäß möglich, die Fehlstellung des Spiegels und implizit die Fehlstellung der Kameraeinheit in Echtzeit auszugleichen. Oftmals ist der Spiegel nur minimal verstellt, was dazu führt, dass der Fahrer ein ausreichend gutes Bild im Rückspiegel erhält, die Kameraausrichtung ist jedoch insbesondere für ein autonomes Fahrer nicht mehr zu gebrauchen. Erfindungsgemäß kann also weiterhin ein autonomes Fahren unterstützt werden, auch wenn der Außenspiegel mitsamt der verbauten Kamera leicht verstellt ist.
Die vorgeschlagene Erfindung berücksichtigt insbesondere das autonome Verfahren, welches eine Vielzahl von bildgebenden Sensoren vorsieht. Diese Sensoren dienen unter anderem der Erkennung von Verkehrsschildern, Fahrbahnmarkierungen und anderer Verkehrsteilnehmer. Darüber hinaus sind entsprechende Sensoren kalibriert, was bedeutet, dass die verarbeitenden Komponenten genau ein bestimmtes Bild erwarten. Wird nunmehr die Kamera in ihrer Position variiert, so ist das variierte Bild gestört und kann nicht mehr verarbeitet werden bzw. wird gemäß dem Stand der Technik trotzdem verarbeitet und führt folglich zu falschen Ergebnissen. Dies ist insbesondere dadurch erfindungsgemäß überwunden, dass das jeweilige Bild angepasst werden kann und somit kann die Kalibrierung fortbestehen. Typischerweise werden in beiden Außenspiegeln Kameras verbaut und bei einem Abweichen einer Ausrichtung einer Kamera können die Bilder von weiteren Sensoren nicht mehr überlagert werden. Erfindungsgemäß wird hier angesetzt und es wird das fehlerhafte Bild korrigiert.
Der Positionssensor erkennt hierzu, dass eine Fehleinstellung vorliegt und löst hierauf nicht aus, dass der Spiegel an sich physisch eingestellt wird, sondern vielmehr wird lediglich das Bild in Abhängigkeit der Fehleinstellung korrigiert.
Ein solches Verarbeiten der erfassten Fahrzeugumgebung kann derart erfolgen, dass eine Tabelle hinterlegt wird, die angibt, bei welcher Abweichung des Außenspiegels und somit der Kameraausrichtung welcher Korrekturparameter aufaddiert bzw. auf multipliziert werden muss. Die erfasste Fahrzeugumgebung wird folglich virtuell korrigiert und bildlich gesprochen wird das erzeugte Bild der Fahrzeugumgebung wieder in die richtige Position gerückt. Wie eine solche Korrektur erfolgen muss kann empirisch ermittelt werden und in einem Fahrzeugspeicher abgelegt werden. Folglich ist es zur Laufzeit möglich auf entsprechende Korrekturparameter zurückzugreifen und diese dynamisch anzuwenden.
Beispielsweise kann einem bestimmten Winkel einer Abweichung der Kameraausrichtung ein Versatz zugeordnet werden, der auf das resultierende Bild aufaddiert werden muss. Somit kann der Winkel der Kameraausrichtung bestimmt werden und das erfinderische Verfahren weiß folglich um wie viele Maßeinheiten das resultierende Bild sodann virtuell zu versetzen ist. Somit entsteht wiederum das gewünschte Bild und die weiteren Sensoren müssen nicht erneut kalibriert werden.
Die fehlerhafte Position kann sowohl horizontal als auch vertikal vorliegen und folglich ist das resultierende Bild der Fahrzeugumgebung eben auch vertikal und/ oder horizontal zu verschieben. Generell ist es auch möglich anhand der vertikalen und horizontalen Fehlausrichtung eine Drehung zu bestimmen, die angibt, wie das Bild zu verdrehen ist, damit das gewünschte bzw. erwartete Bild resultiert. Die vorgeschlagene Erfindung sieht folglich vor, dass ein Fehler in der Kameraausrichtung identifiziert wird und dieser Fehler wird invers auf das resultierende Bild angewendet. Somit entsteht wieder das ursprüngliche Bild, ohne dass physische Komponenten physikalisch neu ausgerichtet werden müssen.
Die Erfassung der aktuellen Position des Außenspiegels kann derart erfolgen, dass der Lagesensor bzw. der Positionssensor ausgehend von einer Ausgangsstellung misst, wie lange sich der Außenspiegel in seine Endstellung bewegt. Ausgehend von der Beschleunigung des Spiegels und der Geschwindigkeit kann sodann anhand des Sensors gemessen werden, wie weit sich der Außenspiegel bewegt hat. Wird die Zeit bis zur Endstellung gemessen, kann eventuell nicht auf eine genaue Position geschlossen werden, sondern andere Einflüsse wie z.B. Spannung, Temperatur, Verschleiß etc. können berücksichtigt werden. Darüber hinaus ist es alternativ oder additiv möglich den Winkel zu berechnen gemäß dem der Außenspiegel bewegt wurde. Wird beispielsweise ein Außenspiegel eingeklappt so ist es möglich, dass er von der Ausgangsstellung in die Endposition um 90° gedreht werden muss. Dies kann erfasst werden und folglich kann auch gemessen werden, ob sich der Spiegel um die vollen 90° dreht oder ob eben ein kleinerer Wert maximal möglich ist. Dies kann dadurch verursacht werden, dass der Spiegel in Fahrtrichtung mit einem Gegenstand kollidiert und somit in Fahrtrichtung zum Fahrzeug hin gedrückt wird. Andernfalls ist es möglich, dass eine Krafteinwirkung entgegen der Fahrtrichtung erfolgt, beispielsweise, wenn das Fahrzeug abgestellt wird und ein Fußgänger gegen den Spiegel stößt. Sodann ist es auch möglich, dass der Spiegel in Fahrtrichtung gedreht wird und dass nunmehr ein Winkel von mehr als 90° notwendig ist um den Spiegel von seiner Ausgangsposition in die eingeklappte Stellung zu verbringen. Auf diese Art und Weise ist es erfindungsgemäß möglich die Position des Spiegels zu spezifizieren bzw. auszulesen. Der Sensor kann die aktuelle Position überwachen. Ein An-/ Ausklappvorgang kann zur Winkelmessung nicht nötig sein.
Die erfassten Werte können mit Werten korreliert werden, die angeben, wie sich diese veränderte Stellung des Außenspiegels auf das Kamerabild auswirkt. Wird nachfolgend der Spiegel wieder repariert und derart angepasst, dass er in die gewünschte Position zu verbringen ist, so ist es erfindungsgemäß möglich, dass auch dies der Positionssensor erfasst und sodann kann das System automatisch erneut kalibriert werden. Nach der Reparatur wird eine Neukalibrierung über mehrere Kilometer Fahrt vertretbar sein. Der Sensor erfasst in diesem Fall die neue Stellung und kann somit melden, dass wieder die Konfiguration vorliegt, wie sie werkseitig eingestellt wurde. Dies wird automatisch erkannt und sodann wird das Kamerabild entsprechend angepasst. Es erfolgt ggf. keine Einstellung im Werk der Kamera oder des Spiegels.
Insgesamt erfolgt also eine dynamische Anpassung des Kamerabilds, da beispielsweise bei einem Starten des Fahrzeugs stets die Position des Außenspiegels überprüft werden kann. In Abhängigkeit dieser Stellung wird sodann auch das Kamerabild angepasst und eine entsprechende Umgebung des Kraftfahrzeugs wird wieder richtig erfasst.
Die vorliegende Erfindung bietet unter anderem den Vorteil, dass ein entsprechendes Kamerasystem wartungsfrei ist und nicht bei jeder Veränderung des Außenspiegels manuell neu kalibriert werden muss. Die Kalibrierung erfolgt alternativ oder additiv automatisiert benötigt aber mehrere Kilometer Fahrt. Dies ist insbesondere bei einem autonomen Fahren notwendig, welches mittels des bildgebenden Sensors unter anderem eine Fahrbahnmarkierung erkennt. Ferner ist es möglich mit dem bildgebenden Sensor auch Fahrzeuge zu erkennen, welche das Fahrzeug überholen wollen und es können Überholvorgänge anderer Fahrzeuge erkannt werden. Somit wird erfindungsgemäß der Nachteil überwunden, dass ein herkömmliches System die autonome Steuerung des Fahrzeugs unterbrechen muss und erfindungsgemäß wird stets ein verlässliches Abbild der Umgebung geliefert.
Das vorgeschlagene Verfahren kann die Systemsteuerung auch derart regeln, dass das Verfahren iterativ durchgeführt wird und folglich wird stets die Stellung des Außenspiegels und somit die Kamerastellung überprüft und dynamisch zur Laufzeit angepasst. Die Stellung von Spiegel und Kamera wird ggf. nicht physisch angepasst. Die Software gleicht den vom Sensor gemessenen Fehler aus.
Gemäß einem Aspekt der vorliegenden Erfindung ist die Steuereinheit eingerichtet, die erfasste Fahrzeugumgebung im Rahmen eines autonomen Fahrens zu verarbeiten. Dies hat den Vorteil, dass die erfindungsgemäßen Vorteile besonders zur Geltung kommen. Generell kann das resultierende Bild der Fahrzeugumgebung auf einem Display angezeigt werden, wobei gerade das autonome Fahren eine zuverlässige Datenquelle benötigt. Somit ist es gerade hier vorteilhaft auf ein System zurückzugreifen, welches zu jeder Zeit, also auch in Echtzeit, verlässliche Daten der Fahrzeugumgebung liefert.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist die Steuereinheit eingerichtet, eine Bildverschiebung in der erfassten Fahrzeugumgebung in Abhängigkeit der Positionsabweichung, beispielsweise eine Drehung, um die Anklappachse zu erkennen und zu kompensieren. Dies hat den Vorteil, dass das Verarbeiten der Daten der Fahrzeugumgebung vollautomatisiert derart erfolgen kann, dass stets das gewünschte Bild zur Verfügung steht. Somit können Fehler, die aus der Kameraausrichtungsabweichung resultieren automatisiert behoben werden und folglich kann ein sicheres autonomes Fahren gewährleistet werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist eine Wiedergabeeinheit vorgesehen, welche die erfasste Fahrzeugumgebung verarbeitet ausgibt. Dies hat den Vorteil, dass auch dem Fahrer die korrigierte Information bereitgestellt werden kann und somit kann er die korrigierte Information auf einem Bildschirm angezeigt bekommen oder diese Information wird in die Frontscheibe eingeblendet.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist der Positionssensor eingerichtet, die Positionsabweichung in Abhängigkeit eines Ausrichtungswinkels der Rückspiegelvorrichtung zu erkennen. Dies hat den Vorteil, dass die Position des Rückspiegels mit der Position der Kamera gekoppelt ist und somit ist es zu jedem Zeitpunkt bekannt, welche Auswirkungen eine Positionsabweichung des Rückspiegels auf die Kameraeinstellung hat. Generell kann gemäß einem Aspekt der vorliegenden Erfindung zwischen Spiegelkopf- und -glas unterschieden werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist die Steuereinheit eingerichtet, eine Bildverschiebung in Abhängigkeit der Positionsabweichung zu erkennen und die Koordinaten der in der Fahrzeugumgebung erfassten Merkmale zu korrigieren. Neben der Korrektur des Bildes (Verschiebung, Verdrehung) können auch die auf dem Bild bestimmten Merkmale (Objekte, Fußgänger) in ihren Koordinaten korrigiert werden. Technisch gesehen würde die vorherige Kalibrierung der Kamera korrigiert und damit die Koordinaten der detektierten Merkmale.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung entspricht die voreingestellte Position einer Werkseinstellung und/ oder einer kalibrierten Position. Dies hat den Vorteil, dass das Fahrzeug lediglich einmal bezüglich der Sensorik kalibriert werden muss, beispielsweise bei der Auslieferung, und weitere Kalibrierungen werden automatisiert durchgeführt. So kann werkseitig das Fahrzeug eingestellt werden und sollten nach der Inbetriebnahme Abweichungen bezüglich der Kameraposition vorhanden sein, so korrigierte das Fahrzeug entsprechende Abweichungen automatisiert. Eine neue Kalibrierung ist nicht notwendig.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist der bildgebende Sensor in einer Umgebungskamera integriert. Dies hat den Vorteil, dass auch herkömmliche Kamerasysteme erfindungsgemäß wiederverwendet werden können und erfindungsgemäß muss lediglich das resultierende Bild angepasst werden. Somit ist es möglich mit geringem technischem Aufwand die Umgebungsinformationen zu aktualisieren und bestehende Fahrzeuge können entsprechend einfach nachgerüstet werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung liegt die Datenschnittstelle als eine kabelgebundene Schnittstelle und/ oder eine Luftschnittstelle vor. Dies hat den Vorteil, dass die Daten entweder über einen physischen Kontakt, also eine Leitung, übermittelt werden können oder aber es wird eine Funkverbindung zwischen der Elektronik des Außenspiegels und der Steuereinheit hergestellt. Weiterhin ist es möglich beide Übertragungstechniken gleichzeitig zu verwenden oder diese zu priorisieren. So kann bevorzugt die Übertragung kabelgebunden erfolgen und falls eine kabelgebundene Übertragung nicht vorliegt, kann eine drahtlose Übertragung gewährleistet werden. Dies nimmt insbesondere auf das Anwendungsszenario Bezug, in dem ein Unfall den Außenspiegel verdreht und folglich ist es möglich, dass auch eine kabelgebundene Leitung abbricht. Sodann steht erfindungsgemäß eine drahtlose Verbindung zur Verfügung.
Die Aufgabe wird auch gelöst durch ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend ein Erfassen einer Positionsabweichung einer Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor von einer voreingestellten Position; ein Erfassen der Fahrzeugumgebung mittels eines bildgebenden Sensors, der in der Rückspiegelvorrichtung integriert ist; ein Übertragen der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und ein Verarbeiten der erfassten Fahrzeugumgebung durch die Steuereinheit in Abhängigkeit der Positionsabweichung.
Die Aufgabe wird auch gelöst durch ein Com puterprogramm produkt mit Steuerbefehlen, welche das Verfahren ausführen und die vorgeschlagene Anordnung betreiben, wenn sie auf einem Computer zur Ausführung gebracht werden.
Erfindungsgemäß ist es besonders vorteilhaft, dass das Verfahren zum Betreiben der vorgeschlagenen Vorrichtungen und Einheiten bzw. der Systemanordnung verwendet werden kann. Ferner eignen sich die vorgeschlagenen Vorrichtungen und Einrichtungen zur Ausführung des erfindungsgemäßen Verfahrens. Somit implementiert jeweils die Vorrichtung strukturelle Merkmale, welche geeignet sind, das entsprechende Verfahren auszuführen. Die strukturellen Merkmale können jedoch auch als Verfahrensschritte ausgestaltet werden. Auch hält das vorgeschlagene Verfahren Schritte zur Umsetzung der Funktion der strukturellen Merkmale bereit. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Aspekte der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Ebenso können die vorstehend genannten und die hier weiter ausgeführten Merkmale je für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Die gezeigten und beschriebenen Ausführungsformen sind nicht als abschließend zu verstehen, sondern haben beispielhaften Charakter zur Erläuterung der Erfindung. Die detaillierte Beschreibung dient der Information des Fachmanns, daher werden bei der Beschreibung bekannte Schaltungen, Strukturen und Verfahren nicht im Detail gezeigt oder erläutert, um das Verständnis der vorliegenden Beschreibung nicht zu erschweren. In der Figur zeigt:
Figur 1 : ein schematisches Ablaufdiagramm eines Verfahrens zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung gemäß einem Aspekt der vorliegenden Erfindung. Figur 1 zeigt in einem schematischen Ablaufdiagramm ein Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend ein Erfassen 100 einer Positionsabweichung einer Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor von einer voreingestellten Position; ein Erfassen 101 der Fahrzeugumgebung mittels eines bildgebenden Sensors, der in der Rückspiegelvorrichtung integriert ist; ein Übertragen 102 der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und ein Verarbeiten 103 der erfassten Fahrzeugumgebung durch die Steuereinheit in Abhängigkeit der Positionsabweichung. Da die Verfahrensschritte analog den funktionalen Eigenschaften der entsprechenden strukturellen Merkmale der Systemanordnung ausgestaltet sind, kann das Diagramm gemäß der vorliegenden Figur auch als Blockdiagramm der Systemanordnung interpretiert werden, wobei jedem Verfahrensschritt eine entsprechende Komponente der Systemanordnung zugeordnet wird. Der Fachmann erkennt hierbei, dass die Schritte weitere Unterschritte aufweisen können und insbesondere, dass die Verfahrensschritte jeweils iterativ und/ oder in anderer Reihenfolge ausgeführt werden können.

Claims

Patentansprüche
1. Systemanordnung zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend:
- eine Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor eingerichtet zur Erfassung (100) einer Positionsabweichung von einer voreingestellten Position; einen bildgebenden Sensor eingerichtet zur Erfassung (101) der Fahrzeugumgebung und eine Datenschnittstelle eingerichtet zur Übertragung (102) der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und
- die Steuereinheit, welche eingerichtet ist, die erfasste Fahrzeugumgebung in Abhängigkeit der Positionsabweichung zu verarbeiten (103).
2. Systemanordnung nach Anspruch 1 , dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, die erfasste Fahrzeugumgebung im Rahmen eines autonomen Fahrens zu verarbeiten.
3. Systemanordnung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, eine Bildverschiebung in Abhängigkeit der Positionsabweichung zu erkennen und das Bild entsprechend zu kompensieren.
4. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuereinheit eingerichtet ist, eine Bildverschiebung in Abhängigkeit der Positionsabweichung zu erkennen und die Koordinaten der in der Fahrzeugumgebung erfassten Merkmale zu korrigieren.
5. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Wiedergabeeinheit vorgesehen ist, welche die erfasste Fahrzeugumgebung verarbeitet (103) ausgibt.
6. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Positionssensor eingerichtet ist, die Positionsabweichung in Abhängigkeit eines Ausrichtungswinkels der Rückspiegelvorrichtung zu erkennen.
7. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die voreingestellte Position einer Werkseinstellung und/ oder einer kalibrierten Position entspricht.
8. Systemanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenschnittstelle als eine kabelgebundene Schnittstelle und/ oder eine Luftschnittstelle vorliegt.
9. Verfahren zur zuverlässigen und fehlerrobusten Auswertung einer visuell erfassten Fahrzeugumgebung, aufweisend:
- Erfassen (100) einer Positionsabweichung einer Rückspiegelvorrichtung aufweisend mindestens einen Positionssensor von einer voreingestellten Position;
- Erfassen (101) der Fahrzeugumgebung mittels eines bildgebenden Sensors, der in der Rückspiegelvorrichtung integriert ist;
- Übertragen (102) der Positionsabweichung und der erfassten Fahrzeugumgebung an eine Steuereinheit; und - Verarbeiten (103) der erfassten Fahrzeugumgebung durch die Steuereinheit in
Abhängigkeit der Positionsabweichung.
10. Com puterprogramm produkt mit Steuerbefehlen, welche das Verfahren nach Anspruch 9 ausführen, wenn sie auf einem Computer zur Ausführung gebracht werden.
PCT/EP2020/071720 2019-08-09 2020-07-31 Fehlerrobuste erfassung einer fahrzeugumgebung WO2021028245A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/633,755 US20220327671A1 (en) 2019-08-09 2020-07-31 Error-Robust Capture of Vehicle Surroundings
CN202080056197.4A CN114222684A (zh) 2019-08-09 2020-07-31 车辆周围环境的错误鲁棒的检测

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019121502.1A DE102019121502A1 (de) 2019-08-09 2019-08-09 Fehlerrobuste Erfassung einer Fahrzeugumgebung
DE102019121502.1 2019-08-09

Publications (1)

Publication Number Publication Date
WO2021028245A1 true WO2021028245A1 (de) 2021-02-18

Family

ID=71995968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/071720 WO2021028245A1 (de) 2019-08-09 2020-07-31 Fehlerrobuste erfassung einer fahrzeugumgebung

Country Status (4)

Country Link
US (1) US20220327671A1 (de)
CN (1) CN114222684A (de)
DE (1) DE102019121502A1 (de)
WO (1) WO2021028245A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020112289A1 (de) 2020-05-06 2021-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Kalibrieren eines Umfeldsensors eines Fahrzeugs mit unmittelbarer Validierung sowie Recheneinrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3923174C2 (de) 1988-07-13 1994-08-04 Tokai Rika Co Ltd Elektrische Rückspiegelvorrichtung für ein Kraftfahrzeug
DE19519619A1 (de) 1995-05-29 1996-12-05 Henry Tunger Statische sowie kontinuierliche Reflexionswinkel-Justierautomatik für Außen-/Innenspiegel mehrspuriger Kraftfahrzeuge
WO2001010679A1 (de) * 1999-08-05 2001-02-15 Daimlerchrysler Ag Spiegel mit sensorarray zur erfassung der spiegelstellung
DE102010005638A1 (de) * 2010-01-25 2011-07-28 Valeo Schalter und Sensoren GmbH, 74321 Verfahren zum Anzeigen zumindest eines Bildes einer Fahrzeugumgebung auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzeinrichtung für ein Fahrzeugund Fahrzeug mit einer Fahrerassistenzeinrichtung

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111401A (en) * 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
US6967569B2 (en) * 2003-10-27 2005-11-22 Ford Global Technologies Llc Active night vision with adaptive imaging
IES20060800A2 (en) * 2005-10-28 2007-09-05 Hi Key Ltd A method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP6041005B2 (ja) * 2015-02-10 2016-12-07 株式会社Ｊｖｃケンウッド 表示制御装置及び表示システム
US9606539B1 (en) * 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US10401852B2 (en) * 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US10474162B2 (en) * 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
US10768011B2 (en) * 2017-08-31 2020-09-08 Wipro Limited Method and system for positioning an autonomous vehicle on a navigation map
DE102018205430A1 (de) * 2018-04-11 2019-10-17 Robert Bosch Gmbh Verfahren zur satellitengestützten Ermittlung einer Fahrzeugposition
GB2577134B (en) * 2018-09-10 2021-01-13 Perceptual Robotics Ltd Control and navigation systems
US11886189B2 (en) * 2018-09-10 2024-01-30 Perceptual Robotics Limited Control and navigation systems, pose optimization, mapping, and localization techniques
US10983530B2 (en) * 2018-10-31 2021-04-20 Wipro Limited Method and system for determining an accurate position of an autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3923174C2 (de) 1988-07-13 1994-08-04 Tokai Rika Co Ltd Elektrische Rückspiegelvorrichtung für ein Kraftfahrzeug
DE19519619A1 (de) 1995-05-29 1996-12-05 Henry Tunger Statische sowie kontinuierliche Reflexionswinkel-Justierautomatik für Außen-/Innenspiegel mehrspuriger Kraftfahrzeuge
WO2001010679A1 (de) * 1999-08-05 2001-02-15 Daimlerchrysler Ag Spiegel mit sensorarray zur erfassung der spiegelstellung
DE19937021B4 (de) 1999-08-05 2007-02-01 Daimlerchrysler Ag Spiegel mit Sensorarray zur Erfassung der Spiegelstellung
DE102010005638A1 (de) * 2010-01-25 2011-07-28 Valeo Schalter und Sensoren GmbH, 74321 Verfahren zum Anzeigen zumindest eines Bildes einer Fahrzeugumgebung auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzeinrichtung für ein Fahrzeugund Fahrzeug mit einer Fahrerassistenzeinrichtung

Also Published As

Publication number Publication date
DE102019121502A1 (de) 2021-02-11
US20220327671A1 (en) 2022-10-13
CN114222684A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
EP1520184B1 (de) Verfahren und vorrichtung zur kalibrierung von sensoren im kraftfahrzeug
EP1376051B1 (de) Kalibrierung eines Bildsensorsystems an einem Kraftfahrzeug mit Kalibrierobjekt und Lagebezugssensor
EP1797534B1 (de) Verfahren für die erfassung einer optischen struktur
EP1803092A1 (de) Einrichtung für die kalibrierung eines bildsensorsystems in einem kraftfahrzeug
DE102017206295B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs
DE102010049093A1 (de) Verfahren zum Betreiben zumindest eines Sensors eines Fahrzeugs und Fahrzeug mit zumindest einem Sensor
EP2128590A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze
EP3475921B1 (de) Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug
DE102004057947A1 (de) Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
DE102010005638A1 (de) Verfahren zum Anzeigen zumindest eines Bildes einer Fahrzeugumgebung auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzeinrichtung für ein Fahrzeugund Fahrzeug mit einer Fahrerassistenzeinrichtung
EP2947601A1 (de) Verfahren und vorrichtung zum ermitteln einer fahrzeugposition eines fahrzeuges gegenüber einer referenzposition
DE102015218033B4 (de) Verfahren zur Verbesserung der rückwärtigen Sicht in einem Kraftfahrzeug
DE102014116812B4 (de) Vorrichtung zur Kamerabildkompensation und zugehöriges Verfahren zum Betreiben der Vorrichtung
WO2021028245A1 (de) Fehlerrobuste erfassung einer fahrzeugumgebung
DE102019116089A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225579B4 (de) Verfahren zum Betreiben einer Sensoreinrichtung eines Kraftfahrzeugs und Kraftfahrzeug
DE102015006571A1 (de) Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
DE102015009657A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102006047629A1 (de) Verfahren zur Ermittlung von Objektparametern eines Fußgängers
DE102010062297B4 (de) Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug
DE102018002004A1 (de) Verfahren zur Kalibrierung eines Sensors
EP3301646B1 (de) Kamerasystem und fahrzeug umfassend ein derartiges kamerasystem
DE102015008552A1 (de) Vorrichtung und Verfahren zur Überwachung von extrinsischen Parametern eines Sensors
EP1550983A1 (de) Vorrichtung zur Kalibrierung eines Bildsensorsystems
DE102011000316B4 (de) Verfahren für die Kalibrierung einer vertikalen Hell-Dunkel-Grenze sowie Fahrzeuge mit einer variierbaren Hell-Dunkel-Grenze

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20753698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20753698

Country of ref document: EP

Kind code of ref document: A1