DE102013226632A1 - Kamerasystem und Verfahren zum Betrieb eines Kamerasystems - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Kamerasystems (2), welches insbesondere Teil eines Fahrerassistenzsystems ist, wobei mittels des Kamerasystems (2) Bilddaten generiert werden, welche in Abhängigkeit von mindestens einem Systemparameter ausgewertet werden, wobei in zeitlichen Abständen zur Kalibrierung des Kamerasystems (2) ein Kalibrierungswert für jeden Systemparameter ermittelt wird, indem mittels des Kamerasystems (2) Kalibrierungs-Bilddaten generiert und ausgewertet werden, wobei vor der ersten Ermittlung des Kalibrierungswerts für jeden Systemparameter für die Auswertung der Bilddaten und/ oder der Kalibrierungs-Bilddaten ein Initialwert für jeden Systemparameter genutzt wird und wobei der Initialwert für jeden Systemparameter auf der Basis zumindest eines Messwertes mindestens einer Einflussgröße, insbesondere eines Umgebungsparameters, ermittelt wird.

Description

• Die Erfindung betrifft ein Verfahren zum Betrieb eines Kamerasystems, welches insbesondere Teil eines Fahrerassistenzsystems ist, sowie ein entsprechendes Kamerasystem.
• Kamerasysteme, wie beispielsweise sogenannte Stereokameras, werden zunehmend in Fahrzeugen verbaut, um mit deren Hilfe Fahrerassistenzsysteme zu realisieren. Entsprechende Fahrerassistenzsysteme unterstützen dann den jeweiligen Fahrer des Fahrzeugs beispielsweise passiv durch die Anzeige von Informationen, wie dem aktuellen Abstand zu Objekten in der Umgebung des entsprechenden Fahrzeuges, oder aber aktiv, wie dies beispielsweise im Falle einer sogenannten Einparkautomatik der Fall ist.
• Dabei weisen entsprechende Kamerasysteme häufig zwei Einzelkameras auf, welche synchron Einzelbilder generieren, die dann als Bildpaare ausgewertet werden. Jedes Bildpaar bildet dabei die Umgebung des Fahrzeuges zu einem bestimmten Zeitpunkt ab, wobei sich die Bildinhalte der beiden Bilder eines Bildpaares aufgrund der räumlich versetzten Anordnung der beiden Einzelkameras unterscheiden. Dieser perspektivische Unterschied lässt sich beispielsweise nutzen, um durch Auswertung der Bilddaten eines Bildpaares oder mehrerer Bildpaare auf Abstände zwischen verschiedenen Objekten im Erfassungsbereich des Kamerasystems zu schließen.
• Voraussetzung hierfür ist die genaue Kenntnis der relativen Lage und der relativen Ausrichtung der Einzelkameras zueinander, wobei selbst kleinste Abweichungen zwischen der tatsächlichen relativen Lage sowie der relativen Ausrichtung und der bei der Auswertung der Bilddaten angenommenen relativen Lage sowie der relativen Ausrichtung typischerweise einen großen Einfluss auf die Genauigkeit der bei der Auswertung der Bilddaten gewonnenen Informationen, also beispielsweise auf ermittelte Abstände, haben.
• Aus diesem Grund wird bei derartigen Kamerasystemen in der Regel in zeitlichen Abständen eine Kalibrierung vorgenommen, bei der die aktuelle relative Lage sowie die relative Ausrichtung der Einzelkameras zueinander ermittelt wird, so dass diese Informationen im nachfolgenden Betrieb des Kamerasystems mit möglichst hoher Genauigkeit zur Verfügung stehen. Dabei werden häufig im Rahmen eines entsprechenden Kalibriervorgangs Bilder oder Bilddaten mittels des Kamerasystems generiert und ausgewertet. In eine entsprechende Auswertung fließt dabei die relative Lage sowie die relative Ausrichtung der Einzelkameras zueinander ein, weswegen für den Kalibriervorgang zunächst einmal von einer bestimmten relativen Lage sowie einer bestimmten relativen Ausrichtung der Einzelkameras zueinander ausgegangen wird. Dazu sind beispielsweise Basiswerte für Systemparameter im Kamerasystem fest hinterlegt, die eine bestimmte relative Lage sowie relative Ausrichtung der Einzelkameras zueinander beschreiben. Auf der Basis dieser Werte, und somit der angenommenen relativen Lage und relativen Ausrichtung, erfolgt dann die Auswertung der Bilder bzw. Bilddaten. Die bei der Auswertung gewonnenen und von den Basiswerten für die Systemparameter abhängigen Informationen, wie beispielsweise die aktuelle Geschwindigkeit des Fahrzeuges, werden dann beispielsweise mit entsprechenden Informationen aus einer zusätzlichen Informationsquelle, wie zum Beispiel einem Tachometer, verglichen und anhand der vorliegenden Abweichung wird dann auf die tatsächliche relative Lage sowie die tatsächliche relative Ausrichtung der Einzelkameras zueinander rückgeschlossen. Nachfolgend werden dann im weiteren Betrieb des Kamerasystems nicht mehr die Basiswerte für die Auswertung von Bildern bzw. Bilddaten genutzt, sondern die mittels des Kalibriervorgangs ermittelten Werte, die die tatsächliche aktuelle relative Lage sowie relative Ausrichtung der Einzelkameras zueinander beschreiben.
• Entsprechende Kalibrierverfahren, bei denen zur Kalibrierung Bilder oder Bilddaten generiert und ausgewertet werden, werden üblicherweise als Online-Kalibrierverfahren bezeichnet und Beispiele hierfür sind unter anderem aus der EP 2 579 602 A2 oder der DE 10 2012 009 577 A1 zu entnehmen.
• Solche Online-Kalibrierverfahren weisen typischerweise den Nachteil auf, dass für die Kalibrierung ein größerer Umfang an Bilddaten, also mehrere Bildpaare, erforderlich sind. Zudem wird in den meisten Fällen ein bestimmter Szeneninhalt benötigt, weswegen nicht alle Bilddaten oder vielmehr alle Bildpaare, die mittels eines entsprechenden Kamerasystems erzeugt werden, für eine Kalibrierung geeignet sind. Infolgedessen ist bei Online-Kalibrierverfahren typischerweise ein relativ hohen Zeitbedarf gegeben. Dieser Umstand ist ungünstig, da das Kamerasystem während eines Kalibrierungsvorgangs entweder für den eigentlichen Zweck, also die Unterstützung eines Fahrers, nicht zur Verfügung steht oder aber währenddessen aufgrund einer noch unzureichenden Kalibrierung nur ungenaue Informationen liefert und somit nur bedingt funktionsfähig ist.
• Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, ein vorteilhaftes Verfahren zum Betrieb eines Kamerasystems sowie ein entsprechendes Kamerasystem anzugeben.
• Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein Kamerasystem mit den Merkmalen des Anspruchs 10. Bevorzugte Weiterbildungen sind in den rückbezogenen Ansprüchen enthalten, wobei die im Hinblick auf das Verfahren angeführten Vorteile und bevorzugten Ausgestaltungen sinngemäß auch auf das Kamerasystem übertragbar sind und umgekehrt.
• Dabei basiert das nachfolgend beschriebene Verfahren auf der Erkenntnis, dass ein Online-Kalibriervorgang im Falle der meisten Online-Kalibrierverfahren um so länger dauert, je stärker die letztendlich ermittelten Kalibrierungswerte für die Systemparameter von den anfänglich angenommenen Werten, also zum Beispiel den Basiswerten aus dem eingangs genannten Fallbeispiel, abweichen oder anders formuliert, je größer der Offset zu Beginn eines Online-Kalibriervorgangs ist. Die Grundidee ist nun darin zu sehen, dass der mittlere Zeitbedarf für Online-Kalibriervorgänge dadurch reduziert wird, dass zu Beginn eines jeden Online-Kalibriervorgangs, oder kurz Kalibriervorgangs, günstige Initialwerte für die Systemparameter ermittelt und/oder ausgewählt werden, die im Mittel deutlich weniger von den letztendlich ermittelten Kalibrierungswerten abweichen, so dass im Mittel ein geringerer Offset gegeben ist. Anstatt also zum Beispiel für einen jeden Online-Kalibriervorgang stets die Basiswerte für die Systemparameter bei der Auswertung von Bildern oder Bilddaten heranzuziehen, werden geeignetere Werte, also die Initialwerte, verwendet, die in Abhängigkeit des Zustandes des Kamerasystems ausgewählt werden, wodurch die Initialwerte typischerweise weniger stark von den letztendlich ermittelten Kalibrierungswerten abweichen als die im Vergleich dazu willkürlich gewählten Basiswerte. Dabei beschreiben verschiedene Initialwerte desselben Systemparameters verschiedene Zustände des Kamerasystems und insbesondere verschiedene relative Lagen sowie relative Ausrichtungen der Einzelkameras zueinander. Dementsprechend wird bei den Online-Kalibriervorgängen nicht stets vom selben Zustand des Kamerasystems ausgegangen und es wird nicht stets von derselben relativen Lage sowie derselben relativen Ausrichtung der Einzelkameras zueinander ausgegangen.
• Um nun für jeden Kalibriervorgang möglichst günstige Initialwerte zu ermitteln ist es vorteilhaft, bei der Ermittlung den Zustand des Kamerasystems zu berücksichtigen und daher wird zumindest ein Initialwert für zumindest einen Systemparameter auf der Basis zumindest eines Messwertes einer Einflussgröße ermittelt. Als Einflussgröße ist dabei eine Größe anzusehen, die den Zustand des Kamerasystems beeinflusst, also insbesondere ein Umgebungsparameter. Ein in diesem Zusammenhang vorteilhafter Umgebungsparameter ist dabei die Umgebungstemperatur und infolge dessen wird bevorzugt der Initialwert für zumindest einen Systemparameter in Abhängigkeit der Umgebungstemperatur, also der Temperatur in der Umgebung des Kamerasystems, ermittelt, welche mittels zumindest eines Sensors als Messwert erfasst wird. Alternativ werden als Umgebungsparameter der Luftdruck oder die Luftfeuchtigkeit messtechnisch erfasst und der zumindest eine Initialwert für die zumindest einen Systemparameter wird dann in Abhängigkeit dieser Messwerte ermittelt.
• Die Umgebungsbedingungen sind jedoch nicht allein für den Zustand des Kamerasystems verantwortlich, stattdessen verändert sich der Zustand des Kamerasystems auch aufgrund des Betriebes des Kamerasystems. So weist das Kamerasystem typischerweise Elektronikkomponenten auf, die im Betrieb Verlustwärme generieren. Diese Verlustwärme bedingt eine Art Eigenerwärmung des Kamerasystems und in einigen Fällen hat diese Eigenerwärmung einen größeren Einfluss auf das Kamerasystem als die Umgebungsbedingungen. In diesen Fällen ist es vorteilhaft, diese Eigenerwärmung messtechnisch zu erfassen, beispielsweise indem die Auslastung eines im Kamerasystem verbauten Prozessors überwacht wird oder indem beispielsweise die Leistungsaufnahme an elektrischer Energie des Kamerasystems erfasst wird. In diesen Fällen erfolgt dann die Ermittlung des zumindest einen Initialwertes für den zumindest einen Systemparameter in Abhängigkeit dieser Größen.
• Weiter sind die Komponenten des Kamerasystems typischerweise in einem gemeinsamen Gehäuse untergebracht oder auf einer gemeinsamen Platine positioniert. Liegen nun Verwindungen im Gehäuse oder der gemeinsamen Platine vor, so beeinflusst dies ebenfalls die relative Lage sowie die relative Ausrichtung der Einzelkameras zueinander und daher erfolgt die Ermittlung des zumindest einen Initialwertes für den zumindest einen Systemparameter gemäß einer Verfahrensvariante durch die direkte Messung mechanischer Spannungen beispielsweise mithilfe so genannter Dehnungssensoren oder Dehnungsmessstreifen am Gehäuse bzw. an der Platine.
• In Vorteilhafter Weiterbildung erfolgt die Ermittlung des zumindest einen Initialwertes für den zumindest einen Systemparameter jedoch nicht nur auf der Basis eines Messwertes einer Einflussgröße, sondern stattdessen auf der Basis der Messwerte mehrerer Einflussgrößen.
• Die Ermittlung der Initialwerte für die Systemparameter selbst erfolgt im einfachsten Fall durch Auswahl der Initialwerte aus einer Wertetabelle, also beispielsweise einer Lookup-Tabelle, in Abhängigkeit des zumindest einen Messwertes der zumindest einen Einflussgröße, wobei die Wertetabelle vorteilhaft in einem Datenspeicher im Kamerasystem hinterlegt ist. Zu Beginn eines Kalibriervorgangs wird dann also zum Beispiel in Abhängigkeit des gemessenen Wertes für die Umgebungstemperatur ein Initialwert für einen Systemparameter aus der Lookup-Tabelle ausgewählt und für den Kalibriervorgang verwendet.
• Alternativ lässt sich über einen Algorithmus auch ein komplexeres Modell für das Kamerasystem erstellen und im Kamerasystem hinterlegen, welches das Verhalten des Kamerasystems, also beispielsweise das Verwinden eines Kamerasystem-Gehäuses, in Abhängigkeit von Einflussgrößen, wie beispielsweise der Umgebungstemperatur und/oder dem Umgebungsdruck, modelliert. In diesem Fall wird dann zu Beginn eines Kalibriervorgangs mit Hilfe des Algorithmus und in Abhängigkeit der messtechnisch erfassten Werte für die Einflussgrößen ein Initialwert für den Systemparameter berechnet und der so berechnete Wert wird dann für den weiteren Kalibriervorgang genutzt.
• Je nach Anwendungszweck ist darüber hinaus auch eine Kombination beider Varianten vorteilhaft. Hierbei gilt es auch zu bedenken, dass in einer Wertetabelle, insbesondere einer Lookup-Tabelle, nur eine begrenzte Anzahl diskreter Werte hinterlegt sind. Will man nun ausgehend davon eine höhere Genauigkeit erreichen, so besteht prinzipiell die Möglichkeit, Zwischenwerte, zwischen den in der Wertetabelle hinterlegten Werten, insbesondere durch Interpolation zu berechnen und dann diese Zwischenwerte zu verwenden. Sind also zum Beispiel für einen Systemparameter Werte für Umgebungstemperaturen von 21 °C und 22 °C hinterlegt, so lässt sich durch einfache Interpolation auch ein Wert für den Systemparameter ermitteln, wenn eine Temperatur von 21,5 °C messtechnisch erfasst wird. In diesem Fall werden dann also eine Wertetabelle und ein einfacher mathematischer Algorithmus zur Ermittlung von Initialwerten auf der Basis von Messwerten genutzt. Insbesondere im Falle der Nutzung eines Algorithmus zur Ermittlung von Initialwerten bietet sich zusätzlich die Möglichkeit an, bei der Ermittlung geeigneter Initialwerte auch herstellungsbedingte Unterschiede zwischen den Kamerasystemen eines Typs, also auch zwischen Kamerasystemen einer Produktionscharge, und/oder alterungsbedingte Veränderungen bei einem Kamerasystem zu berücksichtigen. Dies lässt sich durch Korrekturfaktoren oder Korrekturtherme bewerkstelligen.
• Das hier vorgestellte Verfahren dient dabei zum Betrieb eines Kamerasystems, welches insbesondere Teil eines Fahrerassistenzsystems ist, und dementsprechend wird ein solches Kamerasystem bevorzugt in einem Fahrzeug, also beispielsweise in einem Personenkraftwagen, eingebaut und eingesetzt. Mit Hilfe eines solchen Kamerasystems werden im Betrieb Bilddaten generiert, welche nachfolgend in Abhängigkeit von Systemparametern, die den Zustand des Kamerasystems beschreiben, ausgewertet werden.
• Hierbei ist das Kamerasystem, wie zuvor erwähnt, typischerweise als sogenannte Stereokamera ausgebildet, die aus zwei Einzelkameras aufgebaut ist. Jede Einzelkamera umfasst dabei einen Bildsensor, wie beispielsweise einen CCD-Sensor oder einen CMOS-Sensor, sowie eine Objektivoptik mit typischerweise fester Brennweite. Auf eine derart aufgebaute Stereokamera wird nachfolgend exemplarisch stets Bezug genommen und es wird darüber hinaus auch angenommen, dass die entsprechende Stereokamera in einem Personenkraftwagen eingesetzt wird. Das erfindungsgemäße Verfahren ist jedoch problemlos auf ein Kamerasystem mit nur einer Kamera oder mehr als zwei Einzelkameras übertragbar und entsprechende Kamerasysteme sind auch für den Einsatz in anderen Fahrzeugen oder auch für andere Anwendungszwecke vorgesehen.
• Mit Hilfe eines hier vorgestellten Kamerasystems werden im Betrieb Bilddaten generiert, wobei die beiden Einzelkameras synchron Einzelbilder generieren. Die Einzelbilder werden nachfolgend paarweise ausgewertet, wobei die beiden Einzelbilder eines Bildpaares die Umgebung des Kamerasystems zum selben Zeitpunkt abbilden. Die Bildinhalte der beiden Einzelbilder eines Bildpaares unterscheiden sich jedoch aufgrund des räumlichen Versatzes und der jeweiligen Ausrichtungen der beiden Einzelkameras des Kamerasystems und die hierdurch bedingte perspektivische Differenz wird ausgenutzt, um durch eine Auswertung der Bilddaten hilfreiche Informationen für den jeweiligen Fahrer des Personenkraftwagens zu ermitteln und an diesen weiterzuleiten. So werden beispielsweise die Abstände des Fahrzeugs zu Objekten in der Fahrzeugumgebung, wie beispielsweise einem vorausfahrenden Fahrzeug, durch Auswertung der Bildpaare ermittelt und diese Informationen werden dann dem Fahrer über ein Anzeigegerät angezeigt.
• Damit das Kamerasystem diese Hauptfunktion in vorgesehener Weise erfüllt und dem Fahrer möglichst genaue Informationen zur Verfügung stellt, erfolgt, wie zuvor ausgeführt, in zeitlichen Abständen eine Kalibrierung des Kamerasystems, im Rahmen derer ein Satz Kalibrierungswerte für die Systemparameter ermittelt wird, der dann vorzugsweise bis zum nächsten Kalibriervorgang gültig ist und bei der Auswertung der Bilddaten, insbesondere im Rahmen der Hauptfunktion, genutzt wird. Die Systemparameter beschreiben dabei den Zustand des Kamerasystems und insbesondere die relative Lage sowie die relative Ausrichtung der Einzelkameras des Kamerasystems zueinander. Diese Informationen sind für die Auswertung der Bilddaten wesentlich und bestimmen die Genauigkeit der bei der Auswertung der Bilddaten ermittelbaren Informationen.
• Wird also beispielsweise mittels des Kamerasystems der Abstand zu einem vorausfahrenden Fahrzeug ermittelt und dem Fahrer angezeigt oder für eine Fahrerassistenzfunktion berücksichtigt, so hängt die Genauigkeit des ermittelten Abstandes davon ab, wie weit die bei der Auswertung der Bilddaten angenommenen Werte für die relative Lage sowie die relative Ausrichtung der Einzelkameras zueinander von den tatsächlichen Werten abweichen. Dabei bedingen selbst kleinste Differenzen relativ große Ungenauigkeiten beim ermittelten Abstand zum vorausfahrenden Fahrzeug. Das heißt, dass selbst durch Temperaturschwankungen oder Druckschwankungen bedingte relative Lageänderungen oder relative Ausrichtungsänderungen der Einzelkameras einen relevanten Einfluss auf die Genauigkeit des ermittelten Abstandes zum vorausfahrenden Fahrzeug haben.
• Aus diesem Grund werden im Rahmen der Kalibrierung Kalibrierungswerte oder Korrekturwerte für die Systemparameter ermittelt, die den aktuellen Zustand des Kamerasystems beschreiben und die bei der Auswertung von Bilddaten berücksichtigt werden. Dabei werden zur Beschreibung der relativen Lage und der relativen Ausrichtung der Einzelkameras zueinander in einer Ausführungsvariante lediglich drei Systemparameter genutzt, welche durch drei Winkelpositionen gegeben sind. Hierbei wird davon ausgegangen, dass die beiden Einzelkameras der Stereokamera an einer gemeinsamen Platine befestigt oder in einem gemeinsamen Gehäuse untergebracht sind, so dass Relativbewegungen zwischen den Einzelkameras dann auftreten, wenn sich die Platine oder das Gehäuse verwindet. In diesem Fall wird dann eine der beiden Einzelkameras als Bezugssystem betrachtet und die drei Winkelpositionen beschreiben Änderungen der relativen Lage sowie der relativen Ausrichtung der anderen Einzelkamera ausgehend von einer Ausgangslage sowie einer Ausgangsausrichtung durch Differenzwerte.
• Jene Differenzwerte werden im Rahmen der Kalibrierung des Kamerasystems bestimmt und als Kalibrierungswerte für die Systemparameter genutzt. Ein entsprechendes Ausführungsbeispiel, bei dem drei Winkelpositionen als Systemparameter vorgegeben sind, ist aus der EP 2 579 602 A2 zu entnehmen, wobei als Winkelpositionen die aus der Luftfahrt bekannten Roll-Winkel, Nick-Winkel und Gier-Winkel (englisch: roll-pitch-yaw-angle) zur Beschreibung der relativen Lage sowie der relativen Ausrichtung genutzt werden.
• Die Winkelpositionen sowie je nach Anwendungsfall weitere Kalibrierungswerte für weitere Systemparameter werden in zeitlichen Abständen im Rahmen eines Kalibriervorgangs ermittelt, so dass stets möglichst aktuelle und möglichst genaue Werte vorliegen. Dabei ist es insbesondere vorgesehen, eine entsprechende Kalibrierung bei jeder Inbetriebnahme des Kamerasystems, also beispielsweise beim Starten des Personenkraftwagens, vorzunehmen. Die Ermittlung erfolgt dabei mit Hilfe eines Online-Kalibrierverfahrens der zuvor genannten Art, wobei zur Ermittlung des Satzes von Kalibrierungswerten für die Systemparameter mittels des Kamerasystems Kalibrierungs-Bilddaten generiert und ausgewertet werden. Bei den Kalibrierungs-Bilddaten kann es sich prinzipiell um ausschließlich für die Kalibrierung generierte Bilddaten handeln oder aber es handelt sich um Bilddaten, die sowohl für die Kalibrierung als auch für die Hauptfunktion des Kamerasystems genutzt werden.
• Dabei werden, wie zuvor beschrieben, gemäß dem hier vorgestellten Verfahren für die Auswertung der Kalibrierungs-Bilddaten Initialwerte für die Systemparameter genutzt, welche beispielsweise in einer Wertetabelle, insbesondere nach Art einer Lookup-Tabelle, in einem Datenspeicher im Kamerasystem hinterlegt sind. Die Initialwerte sind dabei so gewählt, dass der Offset, also die Abweichung der Initialwerte von den im Rahmen der Kalibrierung ermittelten Kalibrierungswerten, zumindest im statistischen Mittel relativ gering ist, wodurch der Zeitbedarf für einen Kalibriervorgang im statistischen Mittel ebenfalls relativ gering ist.
• Nach erfolgter Kalibrierung mit Hilfe der Initialwerte für die Systemparameter wird gemäß einer bevorzugten Verfahrensvariante eine Nachregelung vorgenommen, bei der die Kalibrierungswerte überprüft und/oder neu ermitteln werden. Hierbei werden für die Nachregelung mittels des Kamerasystems weitere Bilddaten generiert und ausgewertet, wobei diese Bilddaten ähnlich wie die Kalibrierungs-Bilddaten sowohl ausschließlich für die Nachregelung generiert werden können oder aber es werden die Bilddaten mit genutzt, die ohnehin bei der Ausführung der Hauptfunktion des Kamerasystems erzeugt werden. Die Auswertung der weiteren Bilddaten erfolgt dabei unter Nutzung der jeweils zuletzt ermittelten Kalibrierungswerte für die Systemparameter und nicht unter Nutzung der Initialwerte. Das heißt also, dass bevorzugt bei jeder Inbetriebnahme des Kamerasystems, also bei jedem Starten des Personenkraftwagens, zunächst eine Kalibrierung unter Zuhilfenahme der Initialwerte erfolgt und dass in der Folgezeit eine Nachregelung vorgenommen wird, bei der dann die zuvor bestimmten Kalibrierungswerte genutzt werden.
• Eine entsprechende Nachregelung kann dabei permanent quasi im Hintergrund ablaufen oder aber es werden in bestimmten Zeitabständen Nachregelvorgänge gestartet. Die Kalibrierung einerseits und die Nachregelung andererseits können somit auch parallel, also zeitgleich, zur Hauptfunktion ausgeführt werden.
• Gemäß einer bevorzugten Ausführungsform wird bei einer Abweichung des zuletzt ermittelten Kalibrierungswerts vom Initialwert für einen Systemparameter bei gleichem Messwert der mindestens einen Einflussgröße, eine Anpassung des Initialwerts dieses Systemparameters vorgenommen wird. Dadurch wird bei einem Neustart des Kamerasystems nicht mehr auf den ursprünglichen Initialwert zurückgegriffen, sondern vor der ersten Kalibrierung nach dem Neustart wird auf einen angepassten Initialwert zurückgegriffen, der dem zuletzt tatsächlich vorhandenen Systemzustand Rechnung trägt. Unterschiedliche Umgebungstemperaturen bzw. Messwerte von Einflussgrößen werden natürlich nach wie vor berücksichtigt.
• Vorteilhafterweise wird bei der Kalibrierung und/oder bei der Nachregelung ein Online-Kalibrierverfahren derart genutzt, dass bei der Auswertung der Kalibrierungs-Bilddaten bzw. der Nachregelungs-Bilddaten zumindest ein Vergleichswert für eine Messgröße ermittelt wird, der mit zumindest einem Referenzwert für diese Messgröße aus einem Hilfs-Sensor-System verglichen wird. Die Differenz zwischen Vergleichswert und Referenzwert wird dann bei der Ermittlung der Kalibrierungswerte im Rahmen der Kalibrierung oder bei der Nachregelung der Kalibrierungswerte berücksichtigt.
• Bei der Messgröße kann es sich dabei zum Beispiel um die Geschwindigkeit des Fahrzeugs oder den Abstand des Fahrzeugs zu einem Objekt in der Umgebung, also beispielsweise zu einem vorausfahrenden Fahrzeug, handeln, wobei Messgrößen bevorzugt werden, die typischerweise ohnehin in einem Fahrzeug messtechnisch erfasst werden, so dass zur Bestimmung des Referenzwertes kein zusätzliches System im Fahrzeug verbaut werden muss. Das bedeutet also, dass der Referenzwert bevorzugt als Information dem Kamerasystem von einer externen Quelle zugeführt wird und nicht vom Kamerasystem selbst messtechnisch erfasst wird. Als externe Informationsquelle dienen dabei zum Beispiel ein Navigationssystem im Fahrzeug, ein Odometrie-System des Fahrzeugs oder wie bevorzugt ein Abstandsradarsystem.
• Das heißt also, dass beispielsweise die mittels des Kamerasystems generierten Bilddaten ausgewertet werden und dass aus den Bilddaten, beispielsweise aus einer Bildsequenz, die aktuelle Geschwindigkeit des Fahrzeuges ermittelt wird. Die auf der Basis der Bilddaten ermittelte Geschwindigkeit dient als Vergleichswert und wird mit einem Referenzwert aus einem Hilfs-Sensor-System abgeglichen. Bei dem Referenzwert handelt es sich zum Beispiel um die aktuelle Geschwindigkeit des Fahrzeuges, die mithilfe des Tachometers im Fahrzeug im entsprechenden Zeitraum messtechnisch erfasst wurde und dementsprechend handelt es sich in diesem Fall bei dem Hilfs-Sensor-System um den Tachometer des Fahrzeuges. Der aus dem Hilfs-Sensor-System bezogene Referenzwert wird hierbei als korrekt oder genau angesehen oder betrachtet und infolge dessen wird eine Abweichung zwischen dem Vergleichswert und dem Referenzwert auf ungenaue Werte der Systemparameter zurückgeführt, die bei der Auswertung der Bilddaten zugrunde gelegt wurden. Dementsprechend wird aus der Abweichung oder der Differenz zwischen dem Vergleichswert und dem Referenzwert ein Satz Kalibrierungswerte für die Systemparameter berechnet, wobei bevorzugt lediglich für diejenigen Systemparameter Kalibrierungswerte berechnet werden, die die relative Lage sowie die relative Ausrichtung der Einzelkameras zueinander beschreiben.
• Da die Genauigkeit des Referenzwertes, also die Genauigkeit des Hilfs-Sensor-Systems auch die Genauigkeit der Kalibrierungswerte bestimmt, werden zweckmäßigerweise Hilfs-Sensor-Systeme mit einer möglichst hohen Genauigkeit bevorzugt. Eine relativ hohe Genauigkeit ist beispielsweise bei so genannten Abstandsradarsystemen gegeben, sodass sich ein solches als Hilfs-Sensor-System besonders gut eignet. Als Messgröße wird in diesem Fall beispielsweise der Abstand zwischen zwei aufeinanderfolgenden Leitpfosten am Fahrbahnrand genutzt, wobei der Referenzwert für diese Messgröße mittels des Abstandsradarsystems ermittelt wird und wobei der Vergleichswert mittels des Kamerasystems ermittelt wird.
• Prinzipiell ist es dabei möglich, genau einen Vergleichswert auf der Basis der Bildinformationen genau eines Bildpaares zu ermitteln, diesen, mit genau einem Referenzwert zu vergleichen, der zu dem Zeitpunkt messtechnisch erfasst wurde, zu dem auch das Bildpaar generiert wurde, und basierend darauf einen Satz Kalibrierungswerte zu bestimmen. Auf diese Weise ist es jedoch nur in Sonderfällen möglich, ausreichend genaue Kalibrierungswerte zu ermitteln.
• Alternativ ist es vorgesehen, ein statistisches Verfahren zur Bestimmung der Kalibrierungswerte zu nutzen, wobei gemäß einer bevorzugten Verfahrensvariante mehrere solcher Kalibriervorgänge bzw. Nachregelvorgänge nacheinander ausgeführt werden. Hierdurch werden mehrere Sätze Kalibrierungsparameter gewonnen, die dann im Rahmen einer statistischen Auswertung ausgewertet werden. So werden beispielsweise die dabei ermittelten Kalibrierungswerte für einen Systemparameter gemeinsam ausgewertet, indem aus diesen ein Mittelwert gebildet wird, der dann als Kalibrierungswert für diesen Systemparameter zur Nutzung im Rahmen der Hauptfunktion für einen nachfolgenden Zeitabschnitt festgelegt wird.
• Einer weiteren bevorzugten Verfahrensvariante entsprechend ist es vorgesehen, die Kalibrierungswerte iterativ zu ermitteln, indem verschiedene Testwerte für die Systemparameter bei der Auswertung der Kalibrierungs-Bilddaten und/oder der weiteren Bilddaten genutzt werden, deren Werte systematisch variiert werden, bis die Differenz zwischen Vergleichswert und Referenzwert einen Schwellwert unterschreitet oder verschwindet. Dabei werden als erste Test-Kalibrierungswerte, also quasi als Startwerte für das iterative Verfahren, die Initialwerte genutzt oder aber, sofern das iterative Verfahren zur Nachregelung genutzt wird, es werden die zuletzt ermittelten Kalibrierungswerte als Startwerte für das iterative Kalibrierverfahren verwendet.
• Gerade im Falle eines iterativen Verfahrens zur Bestimmung der Kalibrierungswerte ist eine Nutzung günstiger Startwerte für die Testwerte der Systemparameter besonders vorteilhaft, da bei vorgegebenem Verfahren und vorgegebener Genauigkeit die Anzahl der iterativen Verfahrensschritte, die zur Bestimmung der Kalibrierungswerte benötigt wird, um so kleiner ist, je geringer die Differenz zwischen den Startwerten und den letzten Endes mittels des iterativen Verfahrens ermittelten Kalibrierungswerten ist. Die Anzahl der notwendigen iterativen Schritte wiederum bestimmt den Zeitbedarf für die Durchführung eines Kalibriervorgangs bzw. eines Nachregelvorgangs und dementsprechend bedingen günstig gewählte Startwerte einen reduzierten Zeitbedarf.
• Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden die ermittelten Kalibrierungswerte zudem genutzt, um zumindest einen Initialwert für zumindest einen Systemparameter im Rahmen eines Lernprozesses dynamisch, also insbesondere allmählich, anzupassen. Dabei werden typischerweise mehrere Kalibriervorgänge und/oder mehrere Nachregelvorgänge gemeinsam ausgewertet, insbesondere statistisch ausgewertet, und basierend auf dieser Auswertung werden neue Initialwerte festgelegt, die dann für künftige Kalibriervorgänge gültig sind und genutzt werden.
• Das heißt, dass beispielsweise im Falle einer Hinterlegung von Initialwerten in einer Lookup-Tabelle die in der Lookup-Tabelle hinterlegten Werte in zeitlichen Abständen überschrieben werden mit Werten, die sich als günstiger erwiesen haben. Ist ein solcher dynamischer Lernprozess vorgesehen, so wird bevorzugt darauf verzichtet, jedes Kamerasystem einzeln nach der Herstellung zu vermessen, um herstellungsbedingte Differenzen bei der Auswahl geeigneter Initialwerte zu berücksichtigen und es wird zudem bevorzugt auch darauf verzichtet, ein Alterungsmodell im Kamerasystem zu hinterlegen, welches verschiedene Initialwerte für einen Systemparameter in Abhängigkeit des Alters des Kamerasystems vorgibt. Stattdessen werden die individuellen Eigenheiten des jeweiligen Kamerasystems sowie die alterungsbedingten Veränderungen beim Kamerasystem im Rahmen des Lernprozesses quasi erkannt und durch eine Anpassung der Initialwerte in zeitlichen Abständen mit berücksichtigt.
• Bevorzugt ist der Lernprozess dabei derart gestaltet, dass für die dynamische Anpassung der Initialwerte für zumindest einen Systemparameter nicht nur die ermittelten Kalibrierungswerte mehrerer Kalibriervorgänge genutzt werden, sondern dass stattdessen auch messtechnisch erfasste Messwerte für zumindest eine Einflussgröße, also insbesondere einen Umgebungsparameter, sowie die Abhängigkeit der ermittelten Kalibrierungswerte von den Messwerten mit berücksichtigt werden. Sind also beispielsweise mehrere Initialwerte für einen Systemparameter, wie beispielsweise eine Winkelposition, in einer Lookup-Tabelle hinterlegt, wobei für verschiedene Umgebungstemperaturwerte jeweils ein Initialwert in der Lookup-Tabelle enthalten ist, so werden mehrere Kalibrierungswerte, die in mehreren Kalibriervorgängen bei gleicher Umgebungstemperatur ermittelt wurden gemeinsam ausgewertet, indem auf der Basis dieser Kalibrierungswerte beispielsweise ein Mittelwert gebildet wird, und dieser Mittelwert wird dann als neuer Initialwert in der Lookup-Tabelle für diese Umgebungstemperatur eingetragen. Alternativ werden die in der Lookup-Tabelle hinterlegten Initialwerte nach jedem Kalibriervorgang aktualisiert, wobei diese Variante insbesondere dann vorteilhaft ist, wenn die bei einem Kalibriervorgang ermittelten Kalibrierungswerte mit hoher Wahrscheinlichkeit sehr genau sind.
• Gemäß einer bevorzugten Weiterbildung des Verfahrens wird den ermittelten Kalibrierungswerten und/oder den messtechnisch erfassten Messwerten eine Gewichtung zugewiesen, durch welche die Charakteristik des Lernprozesses mit bestimmt ist. Durch eine entsprechende Gewichtung lässt sich nicht nur die Lernrate oder Lerngeschwindigkeit festlegen, es lassen sich darüber hinaus auch quasi falsche Schlussfolgerungen vermeiden.
• Wenn also beispielsweise, wie im zuvor genannten Ausführungsbeispiel, eine Lookup-Tabelle im Kamerasystem hinterlegt ist mit Initialwerten für einen Systemparameter für verschiedene Umgebungstemperaturen und wenn ein Temperatursensor, mittels dessen die Umgebungstemperatur messtechnisch erfasst wird, zumindest zeitweise fehlerhafte Messwerte liefert, so werden erwartungsgemäß die ermittelten Kalibrierungswerte sehr deutlich von den Initialwerten abweichen. Durch eine Gewichtung der ermittelten Kalibrierungswerte gemäß einer Gaußverteilung beispielsweise, werden ermittelte Kalibrierungswerte, welche sehr deutlich von einem Erwartungswert, typischerweise dem aktuellen Initialwert zu einer Temperatur, abweichen, beim Lernprozess nur geringfügig berücksichtigt, da hier davon ausgegangen wird, dass entweder die Kalibrierungswerte oder die dazugehörigen Messwerte die tatsächlichen Bedingungen nicht korrekt wiedergeben. Kleinere Abweichungen vom Erwartungswert hingegen werden als realistischer angesehen und werden dementsprechend beim Lernprozess mit einer hohen Gewichtung berücksichtigt.
• Steht nach einem gewissen Zeitraum eine genügend große Anzahl an Kalibrierungswerten für ein und denselben Temperaturwert zur Verfügung, so lässt sich basierend auf den ermittelten Kalibrierungswerten für diesen Temperaturwert ein neuer Erwartungswert für die Verteilung der gewichteten Kalibrierungswerte ermitteln und dieser neue Erwartungswert wird dann als Initialwert zu diesem Temperaturwert in der Lookup-Tabelle hinterlegt. Auf diese Weise wird ein jeder Initialwert in der Lookup-Tabelle dynamisch angepasst.
• Das heißt also, dass bevorzugt zumindest ein Initialwert für zumindest einen Systemparameter dadurch dynamisch angepasst wird, dass die Kalibrierungswerte mehrerer Kalibriervorgänge und/oder die Messwerte mehrerer Messvorgänge statistisch ausgewertet werden.
• Gemäß einer alternativen Variante mit Gewichtung erfolgt eine Anpassung der Initialwerte nach jedem Kalibriervorgang. Im Fallbeispiel mit der Lookup-Tabelle bedeutet dies, dass nach jedem Kalibriervorgang zumindest ein Initialwert in der Lookup-Tabelle durch einen neuen Initialwert ersetzt wird. Dabei kommt vorzugsweise eine sehr einfache Datenauswertung zum Einsatz, bei der ein gewichteter Mittelwert gebildet wird aus dem zu einem Umgebungstemperaturwert ermittelten Kalibrierungswert und dem entsprechenden in der Lookup-Tabelle hinterlegten Initialwert. Dieser gewichtete Mittelwert ersetzt dann den in der Lookup-Tabelle hinterlegten Initialwert und wird dementsprechend in der Lookup-Tabelle neu hinterlegt. Dabei werden für den gewichteten Mittelwert sowohl der in der Lookup-Tabelle hinterlegte Initialwert als auch der ermittelte Kalibrierungswert gewichtet.
• Die entsprechende Gewichtung spiegelt dabei insbesondere die Vertrauenswürdigkeit oder Konfidenz des entsprechenden Wertes wieder, also ein Maß für die Güte der Ermittlung dieses Wertes, und dementsprechend fließt in die Gewichtung des ermittelten Kalibrierungswertes insbesondere die vermutete Genauigkeit dieses Wertes ein. Wird also der Kalibrierungswert wie in einem zuvor genannten Beispiel mithilfe eines Hilfs-Sensor-Systems ermittelt, so wird zwar bei der Berechnung des Kalibrierungswertes angenommen, dass das Hilfs-Sensor-System zu 100 % genau ist, durch die Gewichtung des Kalibrierungswertes jedoch wird dann quasi nachträglich berücksichtigt, das auch das Hilfs-Sensor-System nur begrenzt genau arbeitet und dementsprechend repräsentiert die Gewichtung des ermittelten Kalibrierungswertes auch die Ungenauigkeit des Hilfs-Sensor-Systems. In die Gewichtung des in der Lookup-Tabelle hinterlegten Initialwertes fließt dagegen beispielsweise die Anzahl der Kalibrierungswerte ein, die im Laufe des dynamischen Lernprozesses bereits herangezogen wurden, um zu dem aktuell hinterlegten Initialwert zu gelangen. Je länger der dynamische Lernprozess bereits andauert und je mehr Kalibrierungswerte bereits in einen Initialwert mit eingeflossen sind, desto besser beschreibt der in der Lookup-Tabelle hinterlegte Initialwert das Kamerasystem und dementsprechend stärker fällt die Gewichtung des Initialwertes bei der Bildung des gewichteten Mittelwertes aus.
• Je nach erwarteter Vertrauenswürdigkeit oder Konfidenz der verschiedenen Informationen wird zudem bevorzugt ein entsprechend angepasster Algorithmus für den Lernprozess und/oder, sofern vorgesehen, für das iterative Kalibrierverfahren konstruiert und im Kamerasystem hinterlegt. Wenn also zum Beispiel davon ausgegangen wird, dass in der Lookup-Tabelle Werte mit einer hohen Konfidenz abgelegt sind und es sich daher um sehr sichere Initialisierungswerte für den entsprechenden Kalibrier-Algorithmus des Kalibrierverfahren handelt, so wird diese Information durch einen geeignet gestalteten Kalibrier-Algorithmus vorteilhaft genutzt. So wird im Fall eines iterativen Kalibrierverfahrens beispielsweise die Schrittweite entsprechend klein gewählt um der hohen Konfidenz der aktuell hinterlegten Initialwerte Rechnung zu tragen. Umgekehrt wird bei einer niedrigen Konfidenz die Schrittweite entsprechend groß gewählt, um eine höhere Dynamik zuzulassen.
• Eine weitere Möglichkeit, die Kenntnisse zur Konfidenz im Kalibrier-Algorithmus vorteilhaft zu nutzen besteht beispielsweise darin, die Wahl eines Suchbereichs oder Fangbereichs im Lösungsraum anzupassen, das heißt es wird bei einer hohen Konfidenz des Initialwerts der Suchbereich des Algorithmus klein gewählt, während bei einer geringen Konfidenz ein größerer Suchbereich zugelassen wird.
• Ausführungsbeispiele der Erfindung werden nachfolgend anhand einer schematischen Zeichnung näher erläutert. Darin zeigen:
• 1 in einer perspektivischen Ansicht ein Kamerasystem und
• 2 in einem Blockdiagramm ein Verfahren zum Betrieb des Kamerasystems.
• Einander entsprechende Teile sind in allen Figuren jeweils mit den gleichen Bezugszeichen versehen.
• Im nachfolgend beschriebenen Ausführungsbeispiel ist ein Kamerasystem 2 in einem Personenkraftwagen installiert und dient dort zur Realisierung eines Fahrerassistenzsystems, welches den jeweiligen Fahrer des Personenkraftwagens über den Abstand zu vorausfahrenden Fahrzeugen, sofern sich solche im Erfassungsbereich des Kamerasystems 2 befinden, und/oder über die Abstände zu Objekten in der Umgebung informiert.
• Dazu weist das in 1 skizzierte Kamerasystem 2 zwei Einzelkameras 4, 5 auf, die in nicht näher dargestellter Weise in ein Gehäuse eines Innenspiegels im Personenkraftwagen integriert sind. Dabei umfasst jede Einzelkamera 4, 5 einen CCD-Sensor als Bildsensor sowie eine Objektivoptik mit fester Brennweite und beide Einzelkameras 4, 5 sind in Richtung der Fahrzeugfront des Personenkraftwagens ausgerichtet. Weiter umfasst das Kamerasystem 2 eine Auswerteeinheit 6 mit integriertem Speicher, ein Abstandsradarsystem 8, welches im Bereich des vorderen Stoßfängers des Personenkraftwagens positioniert ist, sowie einen Temperatursensor 10, der zwischen den beiden Einzelkameras 4, 5 auf der Innenseite des Gehäuses des Innenspiegels platziert ist.
• Über die Auswerteeinheit 6 werden die Bildsensoren der Einzelkameras 4, 5, das Abstandsradarsystem 8 sowie der Temperatursensor 10 angesteuert und ausgelesen und darüber hinaus werden die im Rahmen der Auslesung an die Auswerteeinheit 6 übermittelten Informationen weiterverarbeitet und ausgewertet. Die im Zuge der Auswertung ermittelten Hilfsinformationen werden schließlich über eine Anzeige 12 dem jeweiligen Fahrer des Personenkraftwagens zu dessen Unterstützung mitgeteilt.
• Zudem weist die Auswerteeinheit 6 in nicht näher dargestellter Weise eine Schnittstelle aus, über die die Auswerteeinheit 6 mit weiteren Systemen im Personenkraftwagen zum Austausch von Informationen verbunden ist. Alternativ umfasst das Kamerasystems 2 keinen eigenen Temperatursensor 10 und/oder kein eigenes Abstandsradarsystem 8, wobei in diesem Fall vergleichbare Informationen über die Schnittstelle von anderen Systemen im Personenkraftwagen bezogen werden.
• Die Auswerteeinheit 6 ist nun derart eingerichtet, dass das Kamerasystem 2 im Betrieb parallel zur Hauptfunktion, die dazu dient den jeweiligen Fahrer mit hilfreichen Informationen zu unterstützen, auch eine Nebenfunktion ausführt, wie dies im Blockdiagramm in 2 angedeutet ist. Dabei werden im Rahmen der Hauptfunktion in einem Verfahrensschritt A mittels der beiden Einzelkameras 4, 5 Bilddaten generiert, indem in regelmäßigen Abständen synchron Einzelbilder erzeugt werden, die dann in der Auswerteeinheit 6 als Bildpaare ausgewertet werden. Die beiden Einzelbilder eines Bildpaares bilden dabei die Umgebung des Personenkraftwagens zum selben Zeitpunkt ab, jedoch unterscheiden sich die Bildinhalte der beiden Einzelbilder aufgrund des räumlichen Versatzes zwischen den beiden Einzelkameras 4, 5.
• Nachfolgend werden die mittels der beiden Einzelkameras 4, 5 generierten Bilddaten in einem Verfahrensschritt B in Abhängigkeit von Systemparametern ausgewertet, wobei nach an sich bekannter Art und Weise aus den Bilddaten eines oder mehrerer Bildpaare beispielsweise auf den Abstand zwischen dem Personenkraftwagen und einem vorausfahrenden Fahrzeug, sofern sich ein solches im Erfassungsbereich des Kamerasystems 2 befindet, geschlossen wird. Als Systemparameter bei der Auswertung der Bilddaten werden dabei insbesondere Parameter berücksichtigt, die die relative Lage sowie die relative Ausrichtung der beiden Einzelkameras 4, 5 zueinander beschreiben, wobei die Genauigkeit der Werte für die Systemparameter, die bei der Auswertung der Bilddaten zugrundegelegt werden, die Genauigkeit des ermittelten Abstandes wesentlich mit bestimmt. Der auf der Basis der Bilddaten ermittelte Wert für den Abstand zum vorausfahrenden Fahrzeug wird dann in einem Verfahrensschritt C dem jeweiligen Fahrer des Personenkraftwagens als Information zur Verfügung gestellt, indem die Bilddaten von einer der beiden Einzelkameras 4, 5 über die Anzeige 12 angezeigt werden und indem zusätzlich durch eine Überlagerung der ermittelte Wert des Abstandes eingeblendet wird.
• Im Ausführungsbeispiel werden nun bei der Auswertung der Bilddaten genau drei Systemparameter berücksichtigt. Es handelt sich dabei um drei Winkelpositionen, die als Roll-Winkel, Nick-Winkel und Gier-Winkel bezeichnet werden. Diese Winkel-Positionen beziehen sich auf ein Koordinatensystem, wie es in 2 gewählt ist. Dabei fällt der Ursprung des Koordinatensystems mit dem Schnittpunkt zwischen der optischen Achse 14 der ersten Einzelkamera 4 und der Bildebene der ersten Einzelkamera 4 zusammen und die z-Achse des Koordinatensystems fällt mit der optischen Achse 14 der ersten Einzelkamera 4 zusammen. Weiter liegen die x-Achse und die y-Achse in der Bildebene der ersten Einzelkamera 4 und die zweite Einzelkamera 5 ist in der Ausgangs-Position sowie der Ausgangs-Ausrichtung derart relativ zur ersten Einzelkamera 4 positioniert, dass die Bildebene der zweiten Einzelkamera 5 ebenfalls in der x-y-Ebene liegt und die optische Achse 16 der zweiten Einzelkamera 5 parallel zur z-Achse positioniert ist, wobei die beiden optischen Achsen 14, 16 der beiden Einzelkameras 4, 5 um einen bestimmten Betrag in Richtung der x-Achse gegeneinander verschoben sind. Ausgehend hiervon beschreibt der Roll-Winkel diejenige Änderung der relativen Lage sowie der relativen Ausrichtung der zweiten Einzelkamera 5 relativ zur ersten Einzelkamera 4, welche durch eine Drehung der zweiten Einzelkamera 5 um die z-Achse hervorgerufen wird, der Nick-Winkel beschreibt die entsprechende Änderung, die durch eine Drehung um die x-Achse hervorgerufen wird und der Gier-Winkel beschreibt die entsprechende Änderung, die durch eine Drehung um die y-Achse hervorgerufen wird.
• Bei einer jeden Inbetriebnahme des Kamerasystems 2, was manuell durch den jeweiligen Fahrer erfolgen kann oder aber automatisch beim Starten des Personenkraftwagens, wird nicht nur die Hauptfunktion des Kamerasystems 2 gestartet, sondern auch die Nebenfunktion, wobei beide als eigenständige, jedoch nicht unabhängige Anwendungen parallel ausgeführt werden. Bei der Ausführung der Nebenfunktion wird in einem Verfahrensschritt D mittels des Temperatursensors 10 die Temperatur im Bereich des Gehäuses des Innenspiegels, in welchen die beiden Einzelkameras 4, 5 integriert sind, messtechnisch erfasst und in Abhängigkeit des erfassten Messwertes werden in einem Verfahrensschritt E aus einer im Speicher der Auswerteeinheit 6 hinterlegten Lookup-Tabelle ein Wert für den Roll-Winkel, ein Wert für den Nick-Winkel und ein Wert für den Gier-Winkel ausgewählt. Allerdings ist die Anzahl der hinterlegten Werte prinzipbedingt begrenzt und im Ausführungsbeispiel sind lediglich Werte für ganzzahlige Temperaturwerte hinterlegt. Der Temperatursensor jedoch ist derart ausgelegt, dass Temperaturwerte auf ein zehntel Grad genau ausgegeben werden und dementsprechend finden sich in der Lookup-Tabelle nicht für jeden erfassten oder ausgegebenen Messwert auch Werte für den Roll-Winkel, den Nick-Winkel und den Gier-Winkel. Stehen nun für den erfassten Messwert keine Werte in der Lookup-Tabelle zur Verfügung, so werden durch Interpolation zwischen benachbarten Werten in der Lookup-Tabelle geeignete Werte berechnet.
• Die aus der Lookup-Tabelle entnommenen oder berechneten Werte werden als Initialwerte bezeichnet und dienen in der Startphase nach der Inbetriebnahme des Kamerasystems 2 als Werte für die Systemparameter und dementsprechend werden diese Initialwerte nachfolgend im Verfahrensschritt B bei der Auswertung der Bilddaten berücksichtigt. Die im Rahmen des Verfahrensschritts B erfolgende Auswertung der Bilddaten dient jedoch nicht nur zur Ausführung der Hauptfunktion, sondern auch zur Ausführung der Nebenfunktion, gemäß der nach der Inbetriebnahme des Kamerasystems 2 eine Kalibrierung des Kamerasystems 2 vorgenommen wird. Die Kalibrierung beinhaltet dabei zunächst die bereits erwähnte Auswahl der Initialwerte als Start- oder Ausgangswerte für die Startphase nach der Inbetriebnahme des Kamerasystems 2.
• Die bei der Auswertung der Bilddaten im Verfahrensschritt B gewonnenen Informationenwerden dann sowohl für die Hauptfunktion als auch für die Kalibrierung genutzt. Zur Kalibrierung des Kamerasystems 2 wird weiter ein im Verfahrensschritt B ermittelter Abstand zwischen zwei Leitpfosten am Fahrbahnrand im Verfahrensschritt F mit einem Referenzwert verglichen, der mit Hilfe des Abstandsradarsystems 8 im Verfahrensschritt G generiert wird. Das heißt, dass mittels des Abstandsradarsystems 8 ebenfalls der Abstand zwischen diesen zwei Leitpfosten ermittelt wird, wobei der mittels des Abstandsradarsystems 8 ermittelte Abstandswert als Referenzwert dient.
• In einem Verfahrensschritt H wird dann unter Berücksichtigung der Differenz zwischen dem durch Auswertung der Bilddaten ermittelten Abstandswert, dem Vergleichswert, und dem mittels Abstandsradarsystems 8 ermittelten Abstandswert, dem Referenzwert, ein Satz Kalibrierungswerte ermittelt, der in einem Speicher in der Auswerteeinheit 6 zumindest zeitweise hinterlegt wird und der in der Folgezeit gültig ist und dementsprechend in der Folgezeit bei der Auswertung weiterer Bilddaten berücksichtigt wird. Damit ist der Kalibriervorgang abgeschlossen und eine Nachregelung wird gestartet, die permanent parallel zur Hauptfunktion ausgeführt wird, bis das Kamerasystem 2 entweder manuell durch den jeweiligen Fahrer oder durch ein Abschalten des Motors des Personenkraftwagens außer Betrieb genommen wird.
• Beim Nachregeln wird regelmäßig, beispielsweise in nicht zwangsweise festgelegten Zeitintervallen von wenigen Minuten, ein Nachregelvorgang gestartet, wobei ein Nachregelvorgang im Wesentlichen analog zum Kalibriervorgang abläuft, mit dem Unterschied, dass im Verfahrensschritt E keine Initialwerte ausgewählt werden, sondern die zuletzt bestimmten und im Speicher in der Auswerteeinheit 6 hinterlegten Kalibrierungswerte. Auf diese Weise wird regelmäßig überprüft, ob die Kalibrierungswerte angepasst werden müssen oder aber es wird automatisch ein neuer Satz Kalibrierungswerte bestimmt. Der neue Satz Kalibrierungswerte wird dann wiederum im Speicher hinterlegt und ersetzt den zuvor gültigen Satz Kalibrierungswerte.
• Die im Verfahrensschritt H ermittelten Kalibrierungswerte, also sowohl die Kalibrierungswerte, die im Zuge der Kalibrierung ermittelt werden als auch die Kalibrierungswerte, die im Zuge der Nachregelung ermittelt werden, werden zusammen mit den mittels des Temperatursensors 10 erfassten Temperaturwerten in einem Verfahrensschritt I zumindest zeitweise abgespeichert und über einen längeren Zeitraum gesammelt. Stehen für einen Systemparameter, also beispielsweise für den Roll-Winkel, mindestens 100 Kalibrierungswerte zur Verfügung, die bei verschiedenen Kalibrier- oder Nachregelvorgängen ermittelt wurden und die jeweils bei derselben Temperatur ermittelt wurden, so wird für diese 100 Kalibrierungswerte ein Mittelwert bestimmt und dieser Mittelwert wird als neuer Initialwert in der Lookup-Tabelle für die entsprechende Temperatur hinterlegt. Wird dann das Kamerasystem 2 das nächste Mal gestartet und wird unmittelbar nach dem Start des Kamerasystems 2 mittels des Temperatursensors 10 genau dieser Temperaturwert messtechnisch erfasst, so wird im Rahmen des Kalibriervorgangs im Verfahrensschritt E der neu hinterlegte Initialwert ausgewählt und während der Startphase bei der Auswertung der Bilddaten im Verfahrensschritt B berücksichtigt. Mit Hilfe des Verfahrensschritts I wird somit ein Lernprozess realisiert, mit dem die hinterlegten Initialwerte in der Lookup-Tabelle nach und nach angepasst werden.
• Gemäß einer alternativen Ausführung des Lernprozesses erfolgt die Bestimmung neuer Initialwerte nicht einfach nur durch einfache Mittelwertbildung, stattdessen wird jedem Kalibrierungswert eine Gewichtung zugewiesen, so dass verschiedene Kalibrierungswerte bei der Ermittlung neuer Initialwerte unterschiedlich stark berücksichtigt werden.
• So sind beispielsweise in der Lookup-Tabelle nicht für jeden messbaren Temperaturwert sondern nur für die der Lookup-Tabelle als Stützwerte hinterlegten Temperaturwerte auch Initialwerte hinterlegt, so dass, wie zuvor erwähnt, für bestimmte gemessene Temperaturwerte entsprechende Initialwerte durch Interpolation bestimmt werden müssen. Für den Lernprozess lassen sich auch solche Zwischenwerte durch eine geeignete Gewichtung berücksichtigen, wodurch sich die Datenbasis für den Lernprozess erhöhen lässt.
• Weiter werden Kalibrierungswerte, die im Zuge eines Kalibriervorgangs ermittelt werden stärker gewichtet, als Kalibrierungswerte die im Zuge eines Nachregelvorgangs ermittelt werden. Dem liegt die Überlegung zugrunde, dass Nachregelvorgänge in relativ kurzen zeitlichen Abständen ausgeführt werden, während zwischen den Kalibriervorgängen größere Zeitintervalle liegen. Nimmt man nun der Einfachheit halber an, dass die Umgebungsbedingungen konstant bleiben und lediglich eine allmähliche alterungsbedingte Veränderung der relativen Lage sowie der relativen Ausrichtung der Einzelkameras 4, 5 erfolgt, so ist zu erwarten, dass die im Zuge von Nachregelvorgängen ermittelten Kalibrierungswerte bei einer statistischen Auswertung eine Art Rauschen wiedergeben, wohingegen die Kalibrierungswerte, die im Zuge der Kalibrierungsvorgänge ermittelt werden, eine allmähliche altersbedingte Veränderung wiedergeben.
• Die Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit dem Ausführungsbeispiel beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
• Bezugszeichenliste

2

Kamerasystem

4

erste Einzelkamera

5

zweite Einzelkamera

6

Auswerteeinheit

8

Abstandsradarsystem

10

Temperatursensor

12

Anzeige

14

optische Achse (der ersten Einzelkamera)

16

optische Achse (der zweiten Einzelkamera)

x

x-Achse

y

y-Achse

z

z-Achse

A

Verfahrensschritt A: Erzeugung von Bilddaten

B

Verfahrensschritt B: Ermittlung mindestens eines Werts aus den Bilddaten

C

Verfahrensschritt C: Informationsausgabe

D

Verfahrensschritt D: Temperaturmessung

E

Verfahrensschritt E: Auswahl von Kalibrierungswerten für Systemparameter

F

Verfahrensschritt F: Vergleich ermittelter Wert zu Referenzwert

G

Verfahrensschritt G: Referenzwertmessung

H

Verfahrensschritt H: Ermittlung von Kalibrierungswerten

I

Verfahrensschritt I: Speichern von Kalibrierungswerten für eine Temperatur

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• EP 2579602 A2 [0006, 0024]
• DE 102012009577 A1 [0006]

Claims (10)

1. Verfahren zum Betrieb eines Kamerasystems (2), welches insbesondere Teil eines Fahrerassistenzsystems ist, – wobei mittels des Kamerasystems (2) Bilddaten generiert werden, welche in Abhängigkeit von mindestens einem Systemparameter ausgewertet werden, – wobei in zeitlichen Abständen zur Kalibrierung des Kamerasystems (2) ein Kalibrierungswert für jeden Systemparameter ermittelt wird, indem mittels des Kamerasystems (2) Kalibrierungs-Bilddaten generiert und ausgewertet werden, – wobei vor der ersten Ermittlung des Kalibrierungswerts für jeden Systemparameter für die Auswertung der Bilddaten und/ oder der Kalibrierungs-Bilddaten ein Initialwert für jeden Systemparameter genutzt wird und – wobei der Initialwert für jeden Systemparameter auf der Basis zumindest eines Messwertes mindestens einer Einflussgröße, insbesondere eines Umgebungsparameters, ermittelt wird.
2. Verfahren nach Anspruch 1, die mindestens eine Einflussgröße die Umgebungstemperatur umfasst, welche mittels zumindest eines Temperatursensors (10) als Messwert erfasst wird.
3. Verfahren nach Anspruch 1 oder 2, wobei Initialwerte für einzelne Messwerte einer Einflussgröße in einer Lookup-Tabelle hinterlegt sind.
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei nach der ersten Ermittlung des Kalibrierungswerts für jeden Systemparameter für die Auswertung nachfolgend generierter Bilddaten für jeden Systemparameter der jeweils zuletzt ermittelte Kalibrierungswert genutzt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, wobei bei einer Abweichung des zuletzt ermittelten Kalibrierungswerts vom Initialwert für einen Systemparameter bei gleichem Messwert der mindestens einen Einflussgröße, eine Anpassung des Initialwerts dieses Systemparameters vorgenommen wird.
6. Verfahren nach Anspruch 5, wobei für den zuletzt ermittelten Kalibrierungswert und den Initialwert eine Konfidenz ermittelt wird, welche die Vertrauenswürdigkeit des jeweiligen Werts angibt, und wobei die unterschiedlichen Konfidenzen bei der Anpassung des Initialwerts berücksichtigt werden.
7. Verfahren nach Anspruch 6, wobei bei der Anpassung eine Gewichtung des zuletzt ermittelten Kalibrierungswerts und des Initialwert mit der jeweiligen Konfidenz vorgenommen wird.
8. Verfahren nach einem der Ansprüche 5 bis 7, wobei zur Anpassung des Initialwerts die ermittelten Kalibrierungswerte mehrerer Kalibrierungsvorgänge des Kamerasystems und/oder die Messwerte mehrerer Messvorgänge statistisch ausgewertet werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei das Kamerasystem (2) ein Stereokamerasystem ist.
10. Kamerasystem (2), welches insbesondere Teil eines Fahrerassistenzsystems ist, umfassend eine Auswerteeinheit (6), welche zur Ausführung eines Verfahrens nach einem der vorherigen Ansprüche eingerichtet ist.

Images