-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer Kamera, insbesondere einer Kamera zur Verkehrsüberwachung.
-
Eine intelligente und optimale Steuerung und Beeinflussung eines Verkehrsgeschehens erfordert eine zuverlässige und genaue Erfassung von aktuellen Verkehrskenngrößen, z. B. einer mittleren lokalen Geschwindigkeit von Fahrzeugen und/oder eine Verkehrsstärke an einem Messquerschnitt. Zur Erfassung von Verkehrskenngrößen existiert eine Vielzahl von Sensoren. Ein weit verbreiteter Sensor zur Erfassung eines Verkehrsstroms oder einer Verkehrsstromdichte ist eine Induktionsschleife. Bei Verwendung einer Induktionsschleife bestehen jedoch Probleme bei einer Bestimmung z. B. einer Verkehrsdichte in einem Streckenabschnitt. Des Weiteren ist eine Installation. Wartung und Pflege zeit- und kostenaufwendig.
-
Ein weiterer Sensor zur Erfassung von Verkehrskenngrößen sind Kameras. Mittels Kameras zur Verkehrsüberwachung können insbesondere flächen- oder streckenbezogene Verkehrskenngrößen, z. B. eine Verkehrsstromdichte, in einfacher Art und Weise bestimmt werden. Beispielsweise können neben einer Anzahl von Fahrzeugen an einem vorbestimmten Messquerschnitt oder in einem vorbestimmten Streckenabschnitt zusätzliche Informationen, wie z. B. Trajektorien, bestimmt werden. Trajektorien bezeichnen hierbei Weg-Zeit-Beziehungen eines Verkehrsobjektes, beispielsweise eines Fahrzeuges, die einen von dem Verkehrsobjekt in einer vorbestimmten Zeit zurückgelegten Weg charakterisieren. Aus derartigen Informationen können dann zusätzlich eine Beschleunigung oder ein Abbiegeverhalten abgeleitet werden. Allgemein sind Kameras eine kostengünstige Alternative zur Erfassung von Verkehrskenngrößen.
-
Um eine absolute Position, d. h. eine Position bezüglich eines Weltkoordinatensystems, der von einer Kamera erfassten (Verkehrs-)Objekte zu bestimmen, ist eine notwendige Voraussetzung, dass eine Position (x, y, z) und eine Orientierung (ω, ϕ, κ) der Kamera in Bezug auf das Weltkoordinatensystem bekannt sind. Erst dann können Objekte, deren Koordinaten bezüglich eines Kamerakoordinatensystems bekannt sind, mittels einer Abbildungsfunktion in das Weltkoordinatensystem transformiert oder abgebildet werden. Die Abbildungsfunktion ist hierbei unter anderem abhängig von Kameraparametern, die eine Position und/oder eine Orientierung der Kamera bezüglich des Weltkoordinatensystems repräsentieren. Im Falle eines Multikamerasystems, also einem Kamerasystem, welches mehr als eine Kamera umfasst und gegebenenfalls überlappende Sichtbereiche aufweist, müssen Kameraparameter ebenfalls bekannt sein, um die Kamera-Informationen dieser mehreren Kameras zu fusionieren.
-
Eine Bestimmung der Kameraparameter kann auch als Kamerakalibrierung bezeichnet werden. Bei einem bekannten Ansatz werden Referenzpunkte mit bekannten Koordinaten im Weltkoordinatensystem im Kamerabild detektiert und dann jeweils den korrespondierenden Referenzpunkten im Weltkoordinatensystem zugeordnet. Aus dieser Anzahl korrespondierender Punktpaare kann dann eine geometrische Beziehung zwischen einem Kamerakoordinatensystem und einem Weltkoordinatensystem bestimmt werden. Insbesondere können Parameter einer parametrierbaren Abbildungsfunktion bestimmt werden, die einen Zusammenhang zwischen dem Kamerakoordinatensystem und dem Weltkoordinatensystem darstellt. Sowohl das Detektieren als auch das Zuordnen der Referenzpunkte ist jedoch zeitaufwendig und fehleranfällig, da diese Schritte zumeist manuell vorgenommen werden müssen. Insbesondere bei portablen Kamerasystemen muss ein Kalibriervorgang für jeden Einsatz wiederholt werden, um die aktuellen Kameraparameter zu bestimmen.
-
Neben den vorhergehend genannten externen oder äußeren Kameraparametern, die eine Position und/oder eine Orientierung bezüglich eines Weltkoordinatensystems repräsentieren, existieren auch interne Kameraparameter, die z. B. eine Brennweite, eine Bildhauptpunktverschiebung und Verzerrungskoeffizienten eines Kamerasystems repräsentieren. Hierbei ist es in der Regel erforderlich, diese internen Kameraparameter nur einmal zu bestimmen, während bei einer Positions- und/oder Orientierungsänderung der Kamera die äußeren Kameraparameter immer wieder erneut bestimmt werden müssen.
-
Die
DE 10 2007 001 649 A1 offenbart ein Verfahren zur Kalibrierung einer Überwachungskamera, die eine reale Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf ein Überwachungsbild, welches in Bildkoordinaten beschreibbar ist, abbildet. Hierbei wird jedoch mindestens eine Trajektorie eines bewegten Objekts in der Überwachungsszene bestimmt, wobei die Trajektorie dann zur Kalibrierung der Überwachungskamera verwendet wird.
-
Die
DE 103 40 023 B3 offenbart ein Verfahren zur Selbstkalibrierung eines Kamerasystems, welches wenigstens eine Kamera umfasst. Das Verfahren nutzt hierbei eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurde. Die Druckschrift offenbart einen Ansatz für eine Automatisierung einer Kamerakalibrierung, wobei eine Kamera eine Kreuzung beobachtet.
-
Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer Kamera zu schaffen, welche eine einfache, schnelle, wiederholbare und wenig rechenintensive Bestimmung mindestens eines Kameraparameters, vorzugsweise von äußeren Kameraparametern, insbesondere äußeren Kameraparametern, die eine äußere Orientierung der Kamera repräsentieren, ermöglichen.
-
Die Lösung des technischen Problems ergibt sich aus den Gegenständen mit den Merkmalen der Ansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Vorgeschlagen wird ein Verfahren Zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera, insbesondere einer Kamera zur Verkehrsüberwachung. Ein Kameraparameter bezeichnet hierbei einen Parameter, der eine Position oder einen Teil einer Position oder eine Orientierung oder einen Teil einer Orientierung der Kamera bezüglich eines Weltkoordinatensystems repräsentiert. Vorzugsweise dient das Verfahren zur Bestimmung mehrerer Kameraparameter, z. B. derjenigen Kameraparameter, die eine Orientierung der Kamera bezüglich des Weltkoordinatensystems beschreiben. Auch kann das Verfahren zur Bestimmung aller Kameraparameter, die eine Position und Orientierung der Kamera bezüglich des Weltkoordinatensystems vollständig beschreiben, dienen. Kameraparameter, die eine Position der Kamera bezüglich des Weltkoordinatensystems beschreiben, können beispielsweise in x-, y-, z-Koordinaten bezüglich des Weltkoordinatensystems angegeben werden. Kameraparameter, die eine Orientierung der Kamera bezüglich des Weltkoordinatensystems beschreiben, können in Winkeln (ω, ϕ, κ) bezüglich des Weltkoordinatensystems beschrieben werden. Beispielsweise können diese nach der so genannten Yaw-Pitch-Roll-Konvention beschrieben werden.
-
Der ersten Kamera ist ein erster Erfassungsbereich zugeordnet. Mittels der ersten Kamera wird der erste Erfassungsbereich in ein zweidimensionales erstes Kamerabild abgebildet. Hierbei werden im ersten Erfassungsbereich angeordnete oder vorhandene Objekte in Bildobjekte im ersten Kamerabild abgebildet.
-
Dem ersten Kamerabild ist ein erstes Kamerakoordinatensystem zugeordnet, beispielsweise ein zweidimensionales Koordinatensystem.
-
Weiter beschreibt eine Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und dem vorhergehend erwähnten Weltkoordinatensystem, wobei die Abbildungsfunktion mit zumindest dem einen Kameraparameter oder in Abhängigkeit des mindestens einen Kameraparameters parametrierbar ist. Die Abbildungsfunktion bezeichnet hierbei eine Transformationsfunktion.
-
Erfindungsgemäß werden eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmt. Hierbei ist eine Position und/oder eine Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt. Kartographiert bedeutet hierbei, dass eine Position und/oder Orientierung des Kalibrationsobjekts oder der Kalibrationsstruktur dauerhaft ortsfest und nicht veränderlich ist. Die kartographierte Kalibrationsstruktur bezeichnet somit eine ortsfeste, also in Position und/oder Orientierung nicht veränderbare Struktur oder ein hinsichtlich einer Position und/oder einer Orientierung nicht veränderliches Objekt. Somit entspricht das kartographierte Kalibrationsobjekt oder die kartographierte Kalibrationsstruktur keinem beweglichen Kalibrationsobjekt, dessen Position und/oder Orientierung vor einer Kalibration bestimmt werden muss. Positions- und/oder Orientierungsdaten des kartographierten Kalibrationsobjekts oder der kartographierten Kalibrationsstruktur können hierbei in einem Geoinformationssystem verfügbar und z. B. in einer Speichereinrichtung, z. B. in einer Datenbank, gespeichert sein. insbesondere sind also Geodaten der Kalibrationsstruktur bekannt.
-
Die Kalibrationsstruktur kann hierbei beispielsweise mittels eines dem Fachmann bekannten Verfahrens zur Objektdetektion, beispielsweise geeigneten Segmentierungsverfahren, in dem ersten Kamerabild bestimmt werden. Somit kann die mindestens eine Kalibrationsstruktur automatisch oder automatisiert bestimmt werden.
-
Hierdurch ist kein manuelles Auswählen einer Kalibrationsstruktur oder von Landmarken notwendig.
-
In Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur bezüglich des ersten Kamerakoordinatensystems, von bekannten Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.
-
Die erste Kamera kann hierbei Insbesondere eine portable, also nicht ortsfest installierte, Kamera sein.
-
Beispielsweise kann der mindestens eine Kameraparameter mittels eines Optimierungsverfahrens, welches einem Fachmann bekannt ist, bestimmt werden. Hierbei kann eine Kostenfunktion, z. B. eine Differenz oder ein Betrag einer Differenz oder eine quadrierte Differenz zwischen den Weltkoordinaten der Kalibrationsstruktur und den mittels der Abbildungsfunktion transformierten Abbildungskoordinaten der Kalibrationsstruktur, in Abhängigkeit des mindestens einen Kameraparameters minimiert werden. Vorzugsweise kann eine Kostenfunktion über einen so genannten Chamfer-Algorithmus oder ein Chamfer-Matthing bestimmt werden, die eine ableitungsfreie Kostenfunktion ist.
-
Die Optimierung kann hierbei in Abhängigkeit von einer Kalibrationsstruktur mit beliebiger geometrischer Form erfolgen, insbesondere können auch gekrümmte oder runde, also nicht zwangsweise gerade, Kalibrationsstrukturen für das vorhergehend erläuterte Optimierungsverfahren verwendet werden.
-
Hierdurch ergibt sich in vorteilhafter Weise, insbesondere für eine portable Kamera, dass mindestens ein Kameraparameter in Abhängigkeit von kartographierten Objekten bestimmt werden kann, die sich im Erfassungsbereich der Kamera befinden. Insbesondere ist es nicht notwendig, ein bewegliches Kalibrationsobjekt oder Kalibrationsmuster in den Erfassungsbereich der Kamera anzuordnen und dieses Kalibrationsobjekt oder Kalibrationsmuster räumlich zu referenzieren, um den mindestens einen Kameraparameter zu bestimmen. Somit ist eine zumindest teilweise Kalibrierung allein auf Grundlage von Bildinformationen der Kamerabilder möglich, falls diese Kamerabilder kartographierte Strukturen oder Objekte enthalten. Insbesondere kann mittels des vorgeschlagenen Verfahrens eine zuverlässige vollautomatische Kalibrierung durchgeführt werden, wodurch das Verfahren eine hohe Verfügbarkeit eines z. B. portablen Kamerasystems ermöglicht.
-
Insbesondere kann der mindestens eine Kameraparameter mittels eines Verfahrens zur nichtlinearen Optimierung bestimmt werden. Vorzugsweise wird der mindestens eine Kameraparameter mittels eines ableitungsfreien Verfahrens zur nichtlinearen Optimierung bestimmt, Ein ableitungsfreies Verfahren zur nichtlinearen Optimierung kann beispielsweise ein so genanntes Simplex-Verfahren sein. Selbstverständlich sind dem Fachmann weitere Verfahren, auch ableitungsfreie Verfahren, zur nichtlinearen Optimierung bekannt.
-
In einer weiteren Ausführungsform ist ein Startwert des mindestens einen Kameraparameters vorbekannt oder wird in Abhängigkeit mindestens eines Sensorsignals bestimmt. Wird der Startwert in Abhängigkeit mindestens eines Sensorsignals bestimmt, so kann ein Sensor, der das mindestens eine Sensorsignal erzeugt, eine Position und/oder eine Orientierung der ersten Kamera bezüglich des Weltkoordinatensystems erfassen. Ein Sensor zur Erfassung einer Position der ersten Kamera bezüglich des Weltkoordinatensystems kann beispielsweise ein globales Navigationssatellitensystem (GNSS) sein. Ein Sensor zur Erfassung einer Orientierung der ersten Kamera kann beispielsweise ein Magnetometer sein. Ein Magnetometer bestimmt hierbei eine Ausrichtung der ersten Kamera in Relation zu einem Erdmagnetfeld, wobei eine geometrische Beziehung zwischen dem Erdmagnetfeld und dem Weltkoordinatensystem als bekannt vorausgesetzt wird. Insbesondere kann hierbei eine geometrische Beziehung zwischen einem Koordinatensystem des Sensors zur Erfassung einer Position und/oder einer Orientierung der ersten Kamera und dem Weltkoordinatensystem als bekannt vorausgesetzt werden.
-
Somit kann der mindestens eine Startwert, insbesondere eine Position und/oder Orientierung, automatisiert und nicht manuell bestimmt werden.
-
Hierdurch ergibt sich in vorteilhafter Weise, dass das Verfahren zur Bestimmung des mindestens einen Kameraparameters, insbesondere das vorhergehend beschriebene Optimierungsverfahren, mit geeigneten Startwerten initialisiert werden kann und daher schnell und zuverlässig zu einem richtigen Ergebnis führen kann. Insbesondere kann hierdurch ein durch lokale Minima der Kostenfunktion verursachtes falsches Ergebnis vermieden werden. Auch wird eine Zeitdauer bis zur Bestimmung des mindestens einen Kameraparameters in vorteilhafter Weise verkürzt.
-
Auch ergibt sich in vorteilhafter Weise, wie nachfolgend näher erläutert, dass der Startwert für eine geeignete Auswahl von kartographierten Kalibrationsstrukturen oder Kalibrationsobjekten, die in Abhängigkeit ihrer jeweiligen Position in z. B. einer Speichereinrichtung gespeichert sind, verwendet werden kann.
-
In einer weiteren Ausführungsform umfasst die kartographierte Kalibrationsstruktur mindestens einen Straßenabschnitt. Der Straßenabschnitt kann hierbei ein Abschnitt einer Autobahn, einer Landstraße oder einer Straße in einer Stadt sein. Die Straße kann hierbei vorzugsweise von Verkehrsobjekten, z. B. Fahrzeugen, befahrbar sein.
-
Ein Straßenabschnitt umfasst hierbei nicht notwendigerweise nur einen Abschnitt einer einzelnen Straße, sondern kann auch z. B. einen Kreuzungspunkt zweier oder mehrerer Straßen umfassen. Auch kann der Straßenabschnitt eine oder mehrere Fahrbahnen umfassen.
-
Hierdurch ergibt sich in vorteilhafter Weise, dass die kartographierte Kalibrationsstruktur durch in der Regel hinsichtlich ihrer Position im Weltkoordinatensystem genau bestimmten Straßenabschnitte gebildet wird. Wird die erste Kamera zur Verkehrsüberwachung eingesetzt, so wird diese im Regelfall auf einen Straßenabschnitt bezogene Verkehrskenngrößen, beispielsweise eine Verkehrsstromdichte, ermitteln. Hierdurch ergibt sich in vorteilhafter Weise, dass der Straßenabschnitt, der als Bezug für die Verkehrskenngrößen dient, gleichzeitig für eine Kalibration der ersten Kamera genutzt werden kann.
-
Wie nachfolgend näher erläutert, ist der Straßenabschnitt hierbei vorzugsweise ein gerader Straßenabschnitt, also ein Straßenabschnitt, dessen Krümmung null ist oder einen vorbestimmten kleinen Wert nicht übersteigt.
-
In einer weiteren Ausführungsform sind in einer Speichereinrichtung Straßenabschnittsinformationen in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert. In der Speichereinrichtung können hierbei z. B. Informationen über einen Straßenverlauf in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert sein. Beispielsweise können Informationen über einen Straßenverlauf in Abhängigkeit einer GPS-Position gespeichert sein, wobei ein Zusammenhang zwischen GPS-Positionen und Weltkoordinatensystem vorbekannt ist. Hierbei kann für eine bestimmte Position im Weltkoordinatensystem festgestellt werden, ob an dieser bestimmten Position ein Straßenabschnitt angeordnet ist und welchen Verlauf dieser Straßenabschnitt ausgedrückt in Weltkoordinaten aufweist. Die Position und gegebenenfalls der Verlauf können sich hierbei auf eine Mitte des Straßenabschnitts oder einen Rand oder beide Ränder des Straßenabschnitts beziehen. Weiter können in der Speichereinrichtung positionsbezogene Straßeneigenschaften, wie beispielsweise eine Krümmung eines Verlaufs eines Straßenabschnitts, ein Verlauf eines oder mehrerer Ränder des Straßenabschnitts oder eine Mittellinie des Straßenabschnitts, sowie eine Position und Geometrie von Landmarken, wie z. B. Fahrbahnmarkierungen oder Haltelinien, und weitere Eigenschaften des Straßenabschnitts gespeichert sein.
-
in Abhängigkeit des Startwerts des mindestens einen Kameraparameters wird aus den gespeicherten Straßenabschnittsinformationen zu mindest ein im ersten Erfassungsbereich angeordneter Straßenabschnitt bestimmt. Somit können auch gespeicherte Straßenabschnittsinformationen schnell und in einfacher Weise, Insbesondere ohne manuelle Interaktion, aus der Gesamtheit von gespeicherten Straßenabschnittsinformationen bestimmt werden. Weiter können auch weitere Eigenschaften des im ersten Erfassungsbereich angeordneten Straßenabschnitts, beispielsweise die vorhergehend beschriebenen Eigenschaften (Krümmung, Eigenschaften von Landmarken), bestimmt werden.
-
Weiter wird ein Straßenabschnitt in dem ersten Kamerabild bestimmt. Hierbei kann ein Straßenabschnitt z. B. mittels bekannter Verfahren zur Objektdetektierung, beispielsweise bekannter Verfahren zur Segmentierung, bestimmt werden. Beispielsweise kann ein Straßenabschnitt durch Bestimmung einer Straßenoberfläche des Straßenabschnitts bestimmt werden. Es kann z. B. ausgenutzt werden, dass eine Straßenoberfläche einen einheitlichen oder annähernd einheitlichen Farbton und/oder Grauwert und/oder eine einheitliche oder annähernd einheitliche Textur aufweist. Eine Straßenoberfläche eines Straßenabschnitts weist in den meisten Fällen einen gleichen Farbton sowie eine schwache Sättigung auf und kann somit in einfacher Weise mittels bekannter Verfahren in dem ersten Kamerabild detektiert werden. Auch können die vorhergehend beschriebenen Eigenschaften (z. B. eine Krümmung oder eine Position und Orientierung von Landmarken) des Straßenabschnitts in dem ersten Kamerabild bestimmt werden. Hierbei werden dem Straßenabschnitt und gegebenenfalls den zusätzlich bestimmten Eigenschaften des Straßenabschnitts zugeordnete Abbildungskoordinaten in dem ersten Kamerakoordinatensystem bestimmt.
-
In Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten Straßenabschnitts, der Weltkoordinaten des mindestens einen aus dem gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.
-
Hierbei ist es z. B. möglich, Landmarken in dem von der ersten Kamera erfassten Straßenabschnitt zu bestimmen. Derartige Landmarken können beispielsweise Fahrbahnmarkierungen, z. B. eine Fahrbahnmittellinie oder eine Fahrbahnbegrenzungslinie oder eine Haltelinie, sein. Sind Positionen dieser Landmarken in der vorhergehend erwähnten Speichereinrichtung abgespeichert, so können hiermit in vorteilhafter Weise korrespondierende Landmarken im Weltkoordinatensystem und im Kamerakoordinatensystem bestimmt werden.
-
Hierbei kann der mindestens eine aus den gespeicherten Straßenabschnittsinformationen bestimmte Straßenabschnitt in Abhängigkeit der mit dem mindestens einen Startwert parametrierten Abbildungsfunktion in das erste Kamerakoordinatensystem transformiert oder abgebildet werden, wobei eine Kostenfunktion z. B. eines Optimierungsverfahrens in Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten Straßenabschnitts und der transformierten Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts minimiert werden kann (Optimierung im Kamerakoordinatensystem).
-
Umgekehrt kann auch der mittels der ersten Kamera erfasste und bestimmte Straßenabschnitt in Abhängigkeit der mit dem mindestens einen Startwert parametrierten Abbildungsfunktion in das Weltkoordinatensystem transformiert oder abgebildet werden (Optimierung im Weltkoordinatensystem). Hierbei wird eine Kostenfunktion in Abhängigkeit der transformierten Abbildungskoordinaten und der Weltkoordinaten aufgestellt und minimiert.
-
Durch die Verwendung von Straßenabschnittsinformationen und gegebenenfalls Eigenschaften dieser Straßenabschnitte zur Erzeugung von korrespondierenden Punktpaaren im Weltkoordinatensystem und im Kamerakoordinatensystem ergibt sich in vorteilhafter Weise ein insbesondere für Kameras zur Verkehrsüberwachung einfach durchzuführendes Kalibrierungsverfahren, da Straßenabschnitte, wie vorhergehend erläutert, in einfacher Art und Weise detektiert werden können.
-
In einer weiteren Ausführungsform sind die in der Speichereinrichtung gespeicherten Straßenabschnittinformationen in Form einer Straßendatenbank gespeichert. Hierbei können beispielsweise Straßendatenbanken von Anbietern, wie z. B. ATKIS, NAVTEQ, Tele Atlas, Open Street Map verwendet werden, um zumindest zweidimensionale Koordinaten eines Straßennetzes und somit zweidimensionierte Koordinaten von Straßenabschnitten in einem bestimmten Umkreis um die erste Kamera bereitzustellen. Mit Hilfe des Startwertes können diese aus den Straßendatenbanken bekannten Straßenabschnitte in das Kamerakoordinatensystem transformiert werden. Umgekehrt können mit Hilfe des Startwertes auch in dem Kamerabild detektierte Straßenabschnitte in das Weltkoordinatensystem transformiert werden. Hierdurch ergibt sich in vorteilhafter Weise ein einfacher Zugriff auf Straßenabschnittsinformationen. Insbesondere können bereits verfügbare Straßenabschnittsinformationen in dem erfindungsgemäßen Verfahren verwendet werden.
-
In einer alternativen Ausführungsform sind die in der Speichereinrichtung gespeicherten Straßenabschnittsinformationen in Form von Orthofotos gespeichert. Orthofotos bezeichnen hierbei eingenordete Luftbilder, aus denen sämtliche Verzerrungen durch Perspektive oder Höhenprofile entfernt sind. Strukturen in Orthofotos sind hierbei orthogonal auf eine ebene projiziert. Durch eine absolute Position eines bestimmten Pixels (Ankerpixel) und einen bekannten Skalierungsfaktor kann jedem Pixel in einem Orthofoto eine geografische Position und somit eine Position in dem Weltkoordinatensystem zugeordnet werden.
-
Orthofotos weisen in vorteilhafter Weise in der Regel eine hohe Aktualität auf, da sie mit geringem Aufwand und deshalb oft neu erzeugt werden können.
-
in einer weiteren Ausführungsform sind in der Speichereinrichtung oder in einer zusätzlichen Speichereinrichtung Höheninformationen einer Erdoberfläche in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert. In Abhängigkeit des Startwerts des mindestens einen Kameraparameters wird aus den gespeicherten Höheninformationen eine Höhe oder ein Höhenverlauf des mindest einen im ersten Erfassungsbereich angeordneten Straßenabschnitts bestimmt. Die Höhe oder der Höhenverlauf werden mit den Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts verknüpft. Hierdurch kann in vorteilhafter Weise erreicht werden, dass die im Regelfall nur zweidimensional vorliegenden Positionskoordinaten von in Form von Straßendatenbanken oder Orthofotos gespeicherten Straßenabschnitten zusätzlich mit einer Höhe, also einer dritten Koordinate, verknüpft werden können und somit dreidimensionale Positions- und Verlaufsinformationen vorliegen. Hierzu kann beispielsweise ein digitales Geländemodell, welches Informationen über eine Höhe von einzelnen Straßenabschnitten oder Straßenknoten enthält, genutzt werden. Somit können in vorteilhafter Weise also dreidimensionale Straßenabschnittskoordinaten erzeugt werden.
-
In einer weiteren Ausführungsform werden mindestens ein gerader Straßenabschnitt und dessen Abbildungskoordinaten in dem ersten Kamerabild bestimmt. In Abhängigkeit des Startwertes des mindestens einen Kameraparameters wird aus den gespeicherten Straßenabschnittsinformationen zumindest in einem ersten Erfassungsbereich angeordneter gerader Straßenabschnitt bestimmt. In Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten geraden Straßenabschnitts, der Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten geraden Straßenabschnitts und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.
-
Hierbei können gerade Abschnitte im ersten Kamerabild und/oder z. B. in den Orthofotos mittels einer so genannten Hough-Transformation bestimmt werden. Hierbei können also gerade Straßenabschnitte durch eine Hough-Transformation im ersten Kamerabild extrahiert und mit dem aus den gespeicherten Straßenabschnittsinformationen in das erste Kamerabild projizierten geraden Straßenabschnitt assoziiert werden. Eine Ausgleichsrechnung kann dann den mindestens einen Kameraparameter, vorzugsweise die drei Orientierungsparameter, bestimmen, die eine optimale Überdeckung des extrahierten geraden Straßenabschnitts mit dem projizierten Straßenabschnitt bedingen.
-
Hierdurch kann in Bezug auf eine Rechenintensität günstigerweise der mindestens eine Kameraparameter bestimmt werden, da eine optimale Überdeckung für gerade Straßenabschnitte, also Minimum einer Kostenfunktion, besonders einfach zu bestimmen ist, da beim Vergleich zweier gerader Straßenabschnitte eine Kostenfunktion ein eindeutiges Minimum aufweist.
-
In einer weiteren Ausführungsform wird zusätzlich mindestens ein Kameraparameter mindestens einer weiteren Kamera gemäß einem der vorhergehend beschriebenen Verfahren bestimmt. Der mindestens einen weiteren Kamera ist ein weiterer Erfassungsbereich zugeordnet, wobei der weitere Erfassungsbereich in ein zweidimensionales weiteres Kamerabild abgebildet wird. Der erste Erfassungsbereich und der weitere Erfassungsbereich überlappen sich zumindest teilweise. In dem ersten Kamerabild und dem mindestens einen weiteren Kamerabild wird mindestens eine korrespondierende Struktur bestimmt. Die korrespondierende Struktur muss hierbei nicht zwingend die vorhergehend beschriebene kartographierte Kalibrationsstruktur sein. Vorzugsweise ist jedoch die korrespondierende Struktur auch zumindest ein Teil der kartographierten Kalibrationsstruktur. Weiter werden in Abhängigkeit der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild, der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild, der mit dem ersten Kameraparameter parametrierten Abbildungsfunktion und der mit dem weiteren Kameraparameter parametrierten Abbildungsfunktion der erste und der weitere Kameraparameter erneut bestimmt. Mittels der mit dem mindestens ersten Kameraparameter parametrierten Abbildungsfunktion können die Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild in das Weltkoordinatensystem transformiert werden. Analog können mittels der mit dem mindestens einen weiteren Kameraparameter parametrierten Abbildungsfunktion die Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild in das Weltkoordinatensystem transformiert werden. Eine Kostenfunktion kann dann z. B. als Differenz, als ein Betrag einer Differenz oder als eine quadratische Differenz zwischen der in das Weltkoordinatensystem transformierten Abbildungskoordinaten der korrespondierenden Struktur im ersten Kamerabild und der in das Weltkoordinatensystem transformierten Abbildungskoordinaten der korrespondierenden Struktur im weiteren Kamerabild bestimmt werden. Der ersten und der weitere Kameraparameter können dann z. B. mittels eines Optimierungsverfahrens erneut bestimmt werden. Als Optimierungsverfahren kann hierbei eines der vorhergehend beschriebenen Optimierungsverfahren eingesetzt werden.
-
Hierdurch ergibt sich in vorteilhafter Weise, dass mehrere Kameras eines Multikamerasystems mittels des erfindungsgemäßen Verfahrens einzeln kalibriert werden können und durch die vorgeschlagene erneute Bestimmung des ersten und des weiteren Kameraparameters hiernach ein so genannter Bündelblockausgleich erfolgen kann. Hierfür werden in den sich überlappenden Bildbereichen markante Bildpunkte, so genannte Features, automatisch extrahiert, z. B. mittels eines so genannten SIFT-Operators.
-
Die Bestimmung des ersten und/oder des weiteren Kameraparameters kann hierbei mittels einer Auswerteeinrichtung erfolgen, die in der ersten oder der weiteren Kamera integriert ist oder eine externe Auswerteeinrichtung ist. Hierzu ist erforderlich, dass die einzelnen Kameras datentechnisch mit der Auswerteeinrichtung verbunden sind.
-
Weiter vorgeschlagen wird eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera, insbesondere einer Kamera zur Verkehrsüberwachung. Die Vorrichtung umfasst mindestens eine Kamera und mindestens eine Auswerteeinrichtung. Mittels der vorgeschlagenen Vorrichtung ist eines der vorhergehend beschriebenen Verfahren in vorteilhafter Weise ausführbar.
-
Weiter kann die Vorrichtung eine Speichereinrichtung zur positionsbezogenen Speicherung von Straßenabschnittsinformationen umfassen. Auch kann die Vorrichtung zusätzlich zu der ersten Kamera mindestens eine weitere Kamera umfassen. Auch kann die Vorrichtung Sensoren zur Bestimmung von Startwerten umfassen. Wie vorhergehend erläutert, kann mittels der Auswerteeinrichtung der mindestens eine Kameraparameter der ersten Kamera und/oder der mindestens eine Kameraparameter der mindestens einen weiteren Kamera bestimmt werden.
-
Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Fig. zeigen:
-
1 ein schematisches Blockschaltbild einer Vorrichtung zur Bestimmung mindestens eines Kameraparameters,
-
2 eine perspektivische Darstellung einer Kamera zur Verkehrsüberwachung,
-
3 eine exemplarische Darstellung eines Orthofotos und
-
4 ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens.
-
Nachfolgend bezeichnen Elemente mit gleichen Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
-
In 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Bestimmung mindestens eines Kameraparameters einer Kamera 2 dargestellt. Die Vorrichtung 1 umfasst die Kamera 2 und eine Auswerteeinrichtung 3. Weiter umfasst die Vorrichtung 1 eine Speichereinrichtung 4. In der Speichereinrichtung 4 sind Straßenabschnittsinformationen in Abhängigkeit einer Position in einem Weltkoordinatensystem gespeichert. Mittels der Kamera 2 ist ein erster Erfassungsbereich E1 (siehe 2) in ein zweidimensionales erstes Kamerabild abbildbar. Diesem ersten Kamerabild ist ein erstes Kamerakoordinatensystem zugeordnet, wobei eine mit sechs Kameraparametern, die eine äußere Position und Orientierung der Kamera 2 repräsentieren, parametrierbare Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und dem Weltkoordinatensystem beschreibt. Mittels der Auswerteeinrichtung 3 ist eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmbar, wobei eine Position und Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt und ortsfest sind. Insbesondere ist die Position und Orientierung der kartographierten Kalibrationsstruktur in der Speichereinrichtung 4 gespeichert. Mittels der Auswerteeinrichtung 3 sind in Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur, der Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion die sechs Kameraparameter bestimmbar.
-
Die Kamera 2 kann beispielsweise eine mobile Kamera zur Verkehrslagenerfassung an einer Baustelle sein. Diese wird an einer Baustelle installiert. Nach dem Einschalten wird eine Position der Kamera 2 durch ein GNSS 5 bestimmt und eine grobe Ausrichtung, also ein Startwert der drei Parameter zur äußeren Orientierung der Kamera 2 durch ein Magnetometer 6 bestimmt. Das Magnetometer 6 und das GNSS 5 sind datentechnisch mit der Kamera 2 verbunden. Die Kamera 2 ist datentechnisch mit der Auswerteeinrichtung 3 verbunden.
-
Auf Basis der Startwerte der Position und Orientierung wird ein Höhenprofil und ein Orthofoto (siehe z. B. 3) der Umgebung aus der Speichereinrichtung 4 geladen. Durch einen Vergleich von Strukturen in dem Orthofoto und Strukturen in dem wirklichen Sichtfeld der Kamera 2, also im ersten Kamerabild, werden die Kameraparameter der äußeren Orientierung und auch die Kameraparameter der Position der Kamera 2 optimiert. Hierdurch können in vorteilhafter Weise die Kameraparameter in kürzester Zeit automatisch bestimmt werden.
-
Auch kann die Kamera 2 eine Kamera eines mobilen Messaufbaus, beispielsweise eine Messfahrzeuges, sein, welches für einen begrenzten Zeitraum an einer Straßenkreuzung aufgestellt wird, um einen Verkehrsfluss bzw. eine Verkehrsflussdichte zu messen. Die Kamera 2 ermittelt hierbei die Kameraparameter, die eine Position repräsentieren, durch das vorhergehend erwähnte GNSS 5 und Startwerte für die Kameraparameter, die die äußere Orientierung repräsentieren, durch das Magnetometer 6.
-
Weiter können ein Höhenprofil und eine Straßenkarte der Umgebung aus der Speichereinrichtung 4 geladen und mit Hilfe der Startwerte in eine virtuelle Bildebene, nämlich das erste Kamerabild, projiziert werden. Die Kameraparameter, die die äußere Orientierung repräsentieren, und/oder die Kameraparameter, die eine Position der Kamera 2 repräsentieren, werden durch einen Vergleich der projizierten Straßenoberflächen mit den aus der Straßenkarte extrahierten Straßenoberflächen im ersten Kamerabild optimiert. Hierdurch können die Kameraparameter, die die äußere Orientierung der Kamera 2 repräsentieren, in kürzester Zeit automatisch bestimmt werden.
-
In 2 ist eine perspektivische Darstellung einer Kamera 2 zur Verkehrsüberwachung dargestellt. Die Kamera 2 ist an einer erhöhten Position, beispielsweise auf einem Dach eines Gebäudes 7, angeordnet und weist einen Erfassungsbereich E1 auf, der symbolisch durch mehrere Strahlen dargestellt ist. Weiter dargestellt ist ein Straßenverlauf einer Straße 8, die im Erfassungsbereich E1 eine T-Kreuzung aufweist. Die Straße 8 weist hierbei eine Breite B auf.
-
In 3 ist ein exemplarisches Orthofoto der in 2 dargestellten Umgebung dargestellt. Das Orthofoto zeigt hierbei Landmarken, wie z. B. eine Haltelinie 9, die auch in 2 dargestellt ist, und Fahrbahnmarkierungen 10. Auch kann in dem Orthofoto die Breite B der Straße 8 bestimmt werden. Mit Hilfe dieser Informationen kann das Orthofoto mit einem Kamerabild der Kamera 2 der Straße 8 verglichen werden und wie vorhergehend erläutert die Kameraparameter bestimmt werden.
-
In 4 ist ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens dargestellt. In einem ersten Schritt S1 erfasst eine Kamera 2 (siehe 1) ein erstes Kamerabild, wobei dem ersten Kamerabild ein erstes Kamerakoordinatensystem zugeordnet ist. In einem zweiten Schritt S2 werden in dem ersten Kamerabild Kalibrationsstrukturen mittels bekannter Verfahren zur Objektdetektion detektiert. In einem dritten Schritt S3 werden Startwerte für Kameraparameter, die eine Position und Orientierung der Kamera 2 repräsentieren, bestimmt. Dies kann beispielsweise mit Hilfe des in 1 dargestellten GNSS 5 und des Magnetometers 6 erfolgen. In einem vierten Schritt S4 werden in Abhängigkeit dieser Startwerte Umgebungsinformationen, z. B. ein Orthofoto der Umgebung, aus einer Speichereinrichtung 4 (siehe 1) abgerufen. In einem fünften Schritt 55 werden Abbildungskoordinaten der im zweiten Schritt S2 bestimmten Kalibrationsstrukturen in Abhängigkeit der Startwerte in ein Weltkoordinatensystem transformiert. in einem sechsten Schritt S6 erfolgt, z. B. mittels eines Simplex-Verfahrens, eine Optimierung der Kameraparameter ausgehend von ihren Startwerten durch ein iteratives Optimierungsverfahren.
-
Bezugszeichenliste
-
- 1
- Vorrichtung zur Bestimmung mindestens eines Kameraparameters
- 2
- Kamera
- 3
- Auswerteeinrichtung
- 4
- Speichereinrichtung
- 5
- GNSS
- 6
- Magnetometer
- 7
- Gebäude
- 8
- Straße
- 9
- Haltelinie
- 10
- Fahrbahnmarkierung
- 8
- Breite
- E1
- Erfassungsbereich
- S1
- erster Schritt
- S2
- zweiter Schritt
- S3
- dritter Schritt
- S4
- vierter Schritt
- S5
- fünfter Schritt
- S6
- sechster Schritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007001649 A1 [0007]
- DE 10340023 B3 [0008]