DE102011100628A1 - Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters - Google Patents

Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters Download PDF

Info

Publication number
DE102011100628A1
DE102011100628A1 DE102011100628A DE102011100628A DE102011100628A1 DE 102011100628 A1 DE102011100628 A1 DE 102011100628A1 DE 102011100628 A DE102011100628 A DE 102011100628A DE 102011100628 A DE102011100628 A DE 102011100628A DE 102011100628 A1 DE102011100628 A1 DE 102011100628A1
Authority
DE
Germany
Prior art keywords
camera
determined
road section
coordinate system
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102011100628A
Other languages
English (en)
Other versions
DE102011100628B4 (de
Inventor
Karsten Kozempel
Mathias Haberjahn
Andreas Luber
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority to DE102011100628A priority Critical patent/DE102011100628B4/de
Publication of DE102011100628A1 publication Critical patent/DE102011100628A1/de
Application granted granted Critical
Publication of DE102011100628B4 publication Critical patent/DE102011100628B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera (2), insbesondere einer Kamera zur Verkehrsüberwachung, wobei die Vorrichtung (1) mindestens eine Kamera (2) und mindestens eine Auswerteeinrichtung (3) umfasst, wobei der ersten Kamera (2) ein erster Erfassungsbereich (E1) zugeordnet ist, wobei mittels der ersten Kamera (2) der erste Erfassungsbereich (E1) in ein zweidimensionales erstes Kamerabild abbildbar ist, wobei dem ersten Kamerabild ein erstes Kamerakoordinatensystem zugeordnet ist, wobei eine mit zumindest dem einen Kameraparameter parametrierbare Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und einem Weltkoordinatensystem beschreibt, wobei mittels der Auswerteeinrichtung (3) eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmbar ist, wobei eine Position und/oder Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt und ortsfest sind, wobei mittels der Auswerteeinrichtung in Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur, von Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion der mindestens eine Kameraparameter bestimmbar ist.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer Kamera, insbesondere einer Kamera zur Verkehrsüberwachung.
  • Eine intelligente und optimale Steuerung und Beeinflussung eines Verkehrsgeschehens erfordert eine zuverlässige und genaue Erfassung von aktuellen Verkehrskenngrößen, z. B. einer mittleren lokalen Geschwindigkeit von Fahrzeugen und/oder eine Verkehrsstärke an einem Messquerschnitt. Zur Erfassung von Verkehrskenngrößen existiert eine Vielzahl von Sensoren. Ein weit verbreiteter Sensor zur Erfassung eines Verkehrsstroms oder einer Verkehrsstromdichte ist eine Induktionsschleife. Bei Verwendung einer Induktionsschleife bestehen jedoch Probleme bei einer Bestimmung z. B. einer Verkehrsdichte in einem Streckenabschnitt. Des Weiteren ist eine Installation. Wartung und Pflege zeit- und kostenaufwendig.
  • Ein weiterer Sensor zur Erfassung von Verkehrskenngrößen sind Kameras. Mittels Kameras zur Verkehrsüberwachung können insbesondere flächen- oder streckenbezogene Verkehrskenngrößen, z. B. eine Verkehrsstromdichte, in einfacher Art und Weise bestimmt werden. Beispielsweise können neben einer Anzahl von Fahrzeugen an einem vorbestimmten Messquerschnitt oder in einem vorbestimmten Streckenabschnitt zusätzliche Informationen, wie z. B. Trajektorien, bestimmt werden. Trajektorien bezeichnen hierbei Weg-Zeit-Beziehungen eines Verkehrsobjektes, beispielsweise eines Fahrzeuges, die einen von dem Verkehrsobjekt in einer vorbestimmten Zeit zurückgelegten Weg charakterisieren. Aus derartigen Informationen können dann zusätzlich eine Beschleunigung oder ein Abbiegeverhalten abgeleitet werden. Allgemein sind Kameras eine kostengünstige Alternative zur Erfassung von Verkehrskenngrößen.
  • Um eine absolute Position, d. h. eine Position bezüglich eines Weltkoordinatensystems, der von einer Kamera erfassten (Verkehrs-)Objekte zu bestimmen, ist eine notwendige Voraussetzung, dass eine Position (x, y, z) und eine Orientierung (ω, ϕ, κ) der Kamera in Bezug auf das Weltkoordinatensystem bekannt sind. Erst dann können Objekte, deren Koordinaten bezüglich eines Kamerakoordinatensystems bekannt sind, mittels einer Abbildungsfunktion in das Weltkoordinatensystem transformiert oder abgebildet werden. Die Abbildungsfunktion ist hierbei unter anderem abhängig von Kameraparametern, die eine Position und/oder eine Orientierung der Kamera bezüglich des Weltkoordinatensystems repräsentieren. Im Falle eines Multikamerasystems, also einem Kamerasystem, welches mehr als eine Kamera umfasst und gegebenenfalls überlappende Sichtbereiche aufweist, müssen Kameraparameter ebenfalls bekannt sein, um die Kamera-Informationen dieser mehreren Kameras zu fusionieren.
  • Eine Bestimmung der Kameraparameter kann auch als Kamerakalibrierung bezeichnet werden. Bei einem bekannten Ansatz werden Referenzpunkte mit bekannten Koordinaten im Weltkoordinatensystem im Kamerabild detektiert und dann jeweils den korrespondierenden Referenzpunkten im Weltkoordinatensystem zugeordnet. Aus dieser Anzahl korrespondierender Punktpaare kann dann eine geometrische Beziehung zwischen einem Kamerakoordinatensystem und einem Weltkoordinatensystem bestimmt werden. Insbesondere können Parameter einer parametrierbaren Abbildungsfunktion bestimmt werden, die einen Zusammenhang zwischen dem Kamerakoordinatensystem und dem Weltkoordinatensystem darstellt. Sowohl das Detektieren als auch das Zuordnen der Referenzpunkte ist jedoch zeitaufwendig und fehleranfällig, da diese Schritte zumeist manuell vorgenommen werden müssen. Insbesondere bei portablen Kamerasystemen muss ein Kalibriervorgang für jeden Einsatz wiederholt werden, um die aktuellen Kameraparameter zu bestimmen.
  • Neben den vorhergehend genannten externen oder äußeren Kameraparametern, die eine Position und/oder eine Orientierung bezüglich eines Weltkoordinatensystems repräsentieren, existieren auch interne Kameraparameter, die z. B. eine Brennweite, eine Bildhauptpunktverschiebung und Verzerrungskoeffizienten eines Kamerasystems repräsentieren. Hierbei ist es in der Regel erforderlich, diese internen Kameraparameter nur einmal zu bestimmen, während bei einer Positions- und/oder Orientierungsänderung der Kamera die äußeren Kameraparameter immer wieder erneut bestimmt werden müssen.
  • Die DE 10 2007 001 649 A1 offenbart ein Verfahren zur Kalibrierung einer Überwachungskamera, die eine reale Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf ein Überwachungsbild, welches in Bildkoordinaten beschreibbar ist, abbildet. Hierbei wird jedoch mindestens eine Trajektorie eines bewegten Objekts in der Überwachungsszene bestimmt, wobei die Trajektorie dann zur Kalibrierung der Überwachungskamera verwendet wird.
  • Die DE 103 40 023 B3 offenbart ein Verfahren zur Selbstkalibrierung eines Kamerasystems, welches wenigstens eine Kamera umfasst. Das Verfahren nutzt hierbei eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurde. Die Druckschrift offenbart einen Ansatz für eine Automatisierung einer Kamerakalibrierung, wobei eine Kamera eine Kreuzung beobachtet.
  • Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer Kamera zu schaffen, welche eine einfache, schnelle, wiederholbare und wenig rechenintensive Bestimmung mindestens eines Kameraparameters, vorzugsweise von äußeren Kameraparametern, insbesondere äußeren Kameraparametern, die eine äußere Orientierung der Kamera repräsentieren, ermöglichen.
  • Die Lösung des technischen Problems ergibt sich aus den Gegenständen mit den Merkmalen der Ansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Vorgeschlagen wird ein Verfahren Zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera, insbesondere einer Kamera zur Verkehrsüberwachung. Ein Kameraparameter bezeichnet hierbei einen Parameter, der eine Position oder einen Teil einer Position oder eine Orientierung oder einen Teil einer Orientierung der Kamera bezüglich eines Weltkoordinatensystems repräsentiert. Vorzugsweise dient das Verfahren zur Bestimmung mehrerer Kameraparameter, z. B. derjenigen Kameraparameter, die eine Orientierung der Kamera bezüglich des Weltkoordinatensystems beschreiben. Auch kann das Verfahren zur Bestimmung aller Kameraparameter, die eine Position und Orientierung der Kamera bezüglich des Weltkoordinatensystems vollständig beschreiben, dienen. Kameraparameter, die eine Position der Kamera bezüglich des Weltkoordinatensystems beschreiben, können beispielsweise in x-, y-, z-Koordinaten bezüglich des Weltkoordinatensystems angegeben werden. Kameraparameter, die eine Orientierung der Kamera bezüglich des Weltkoordinatensystems beschreiben, können in Winkeln (ω, ϕ, κ) bezüglich des Weltkoordinatensystems beschrieben werden. Beispielsweise können diese nach der so genannten Yaw-Pitch-Roll-Konvention beschrieben werden.
  • Der ersten Kamera ist ein erster Erfassungsbereich zugeordnet. Mittels der ersten Kamera wird der erste Erfassungsbereich in ein zweidimensionales erstes Kamerabild abgebildet. Hierbei werden im ersten Erfassungsbereich angeordnete oder vorhandene Objekte in Bildobjekte im ersten Kamerabild abgebildet.
  • Dem ersten Kamerabild ist ein erstes Kamerakoordinatensystem zugeordnet, beispielsweise ein zweidimensionales Koordinatensystem.
  • Weiter beschreibt eine Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und dem vorhergehend erwähnten Weltkoordinatensystem, wobei die Abbildungsfunktion mit zumindest dem einen Kameraparameter oder in Abhängigkeit des mindestens einen Kameraparameters parametrierbar ist. Die Abbildungsfunktion bezeichnet hierbei eine Transformationsfunktion.
  • Erfindungsgemäß werden eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmt. Hierbei ist eine Position und/oder eine Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt. Kartographiert bedeutet hierbei, dass eine Position und/oder Orientierung des Kalibrationsobjekts oder der Kalibrationsstruktur dauerhaft ortsfest und nicht veränderlich ist. Die kartographierte Kalibrationsstruktur bezeichnet somit eine ortsfeste, also in Position und/oder Orientierung nicht veränderbare Struktur oder ein hinsichtlich einer Position und/oder einer Orientierung nicht veränderliches Objekt. Somit entspricht das kartographierte Kalibrationsobjekt oder die kartographierte Kalibrationsstruktur keinem beweglichen Kalibrationsobjekt, dessen Position und/oder Orientierung vor einer Kalibration bestimmt werden muss. Positions- und/oder Orientierungsdaten des kartographierten Kalibrationsobjekts oder der kartographierten Kalibrationsstruktur können hierbei in einem Geoinformationssystem verfügbar und z. B. in einer Speichereinrichtung, z. B. in einer Datenbank, gespeichert sein. insbesondere sind also Geodaten der Kalibrationsstruktur bekannt.
  • Die Kalibrationsstruktur kann hierbei beispielsweise mittels eines dem Fachmann bekannten Verfahrens zur Objektdetektion, beispielsweise geeigneten Segmentierungsverfahren, in dem ersten Kamerabild bestimmt werden. Somit kann die mindestens eine Kalibrationsstruktur automatisch oder automatisiert bestimmt werden.
  • Hierdurch ist kein manuelles Auswählen einer Kalibrationsstruktur oder von Landmarken notwendig.
  • In Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur bezüglich des ersten Kamerakoordinatensystems, von bekannten Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.
  • Die erste Kamera kann hierbei Insbesondere eine portable, also nicht ortsfest installierte, Kamera sein.
  • Beispielsweise kann der mindestens eine Kameraparameter mittels eines Optimierungsverfahrens, welches einem Fachmann bekannt ist, bestimmt werden. Hierbei kann eine Kostenfunktion, z. B. eine Differenz oder ein Betrag einer Differenz oder eine quadrierte Differenz zwischen den Weltkoordinaten der Kalibrationsstruktur und den mittels der Abbildungsfunktion transformierten Abbildungskoordinaten der Kalibrationsstruktur, in Abhängigkeit des mindestens einen Kameraparameters minimiert werden. Vorzugsweise kann eine Kostenfunktion über einen so genannten Chamfer-Algorithmus oder ein Chamfer-Matthing bestimmt werden, die eine ableitungsfreie Kostenfunktion ist.
  • Die Optimierung kann hierbei in Abhängigkeit von einer Kalibrationsstruktur mit beliebiger geometrischer Form erfolgen, insbesondere können auch gekrümmte oder runde, also nicht zwangsweise gerade, Kalibrationsstrukturen für das vorhergehend erläuterte Optimierungsverfahren verwendet werden.
  • Hierdurch ergibt sich in vorteilhafter Weise, insbesondere für eine portable Kamera, dass mindestens ein Kameraparameter in Abhängigkeit von kartographierten Objekten bestimmt werden kann, die sich im Erfassungsbereich der Kamera befinden. Insbesondere ist es nicht notwendig, ein bewegliches Kalibrationsobjekt oder Kalibrationsmuster in den Erfassungsbereich der Kamera anzuordnen und dieses Kalibrationsobjekt oder Kalibrationsmuster räumlich zu referenzieren, um den mindestens einen Kameraparameter zu bestimmen. Somit ist eine zumindest teilweise Kalibrierung allein auf Grundlage von Bildinformationen der Kamerabilder möglich, falls diese Kamerabilder kartographierte Strukturen oder Objekte enthalten. Insbesondere kann mittels des vorgeschlagenen Verfahrens eine zuverlässige vollautomatische Kalibrierung durchgeführt werden, wodurch das Verfahren eine hohe Verfügbarkeit eines z. B. portablen Kamerasystems ermöglicht.
  • Insbesondere kann der mindestens eine Kameraparameter mittels eines Verfahrens zur nichtlinearen Optimierung bestimmt werden. Vorzugsweise wird der mindestens eine Kameraparameter mittels eines ableitungsfreien Verfahrens zur nichtlinearen Optimierung bestimmt, Ein ableitungsfreies Verfahren zur nichtlinearen Optimierung kann beispielsweise ein so genanntes Simplex-Verfahren sein. Selbstverständlich sind dem Fachmann weitere Verfahren, auch ableitungsfreie Verfahren, zur nichtlinearen Optimierung bekannt.
  • In einer weiteren Ausführungsform ist ein Startwert des mindestens einen Kameraparameters vorbekannt oder wird in Abhängigkeit mindestens eines Sensorsignals bestimmt. Wird der Startwert in Abhängigkeit mindestens eines Sensorsignals bestimmt, so kann ein Sensor, der das mindestens eine Sensorsignal erzeugt, eine Position und/oder eine Orientierung der ersten Kamera bezüglich des Weltkoordinatensystems erfassen. Ein Sensor zur Erfassung einer Position der ersten Kamera bezüglich des Weltkoordinatensystems kann beispielsweise ein globales Navigationssatellitensystem (GNSS) sein. Ein Sensor zur Erfassung einer Orientierung der ersten Kamera kann beispielsweise ein Magnetometer sein. Ein Magnetometer bestimmt hierbei eine Ausrichtung der ersten Kamera in Relation zu einem Erdmagnetfeld, wobei eine geometrische Beziehung zwischen dem Erdmagnetfeld und dem Weltkoordinatensystem als bekannt vorausgesetzt wird. Insbesondere kann hierbei eine geometrische Beziehung zwischen einem Koordinatensystem des Sensors zur Erfassung einer Position und/oder einer Orientierung der ersten Kamera und dem Weltkoordinatensystem als bekannt vorausgesetzt werden.
  • Somit kann der mindestens eine Startwert, insbesondere eine Position und/oder Orientierung, automatisiert und nicht manuell bestimmt werden.
  • Hierdurch ergibt sich in vorteilhafter Weise, dass das Verfahren zur Bestimmung des mindestens einen Kameraparameters, insbesondere das vorhergehend beschriebene Optimierungsverfahren, mit geeigneten Startwerten initialisiert werden kann und daher schnell und zuverlässig zu einem richtigen Ergebnis führen kann. Insbesondere kann hierdurch ein durch lokale Minima der Kostenfunktion verursachtes falsches Ergebnis vermieden werden. Auch wird eine Zeitdauer bis zur Bestimmung des mindestens einen Kameraparameters in vorteilhafter Weise verkürzt.
  • Auch ergibt sich in vorteilhafter Weise, wie nachfolgend näher erläutert, dass der Startwert für eine geeignete Auswahl von kartographierten Kalibrationsstrukturen oder Kalibrationsobjekten, die in Abhängigkeit ihrer jeweiligen Position in z. B. einer Speichereinrichtung gespeichert sind, verwendet werden kann.
  • In einer weiteren Ausführungsform umfasst die kartographierte Kalibrationsstruktur mindestens einen Straßenabschnitt. Der Straßenabschnitt kann hierbei ein Abschnitt einer Autobahn, einer Landstraße oder einer Straße in einer Stadt sein. Die Straße kann hierbei vorzugsweise von Verkehrsobjekten, z. B. Fahrzeugen, befahrbar sein.
  • Ein Straßenabschnitt umfasst hierbei nicht notwendigerweise nur einen Abschnitt einer einzelnen Straße, sondern kann auch z. B. einen Kreuzungspunkt zweier oder mehrerer Straßen umfassen. Auch kann der Straßenabschnitt eine oder mehrere Fahrbahnen umfassen.
  • Hierdurch ergibt sich in vorteilhafter Weise, dass die kartographierte Kalibrationsstruktur durch in der Regel hinsichtlich ihrer Position im Weltkoordinatensystem genau bestimmten Straßenabschnitte gebildet wird. Wird die erste Kamera zur Verkehrsüberwachung eingesetzt, so wird diese im Regelfall auf einen Straßenabschnitt bezogene Verkehrskenngrößen, beispielsweise eine Verkehrsstromdichte, ermitteln. Hierdurch ergibt sich in vorteilhafter Weise, dass der Straßenabschnitt, der als Bezug für die Verkehrskenngrößen dient, gleichzeitig für eine Kalibration der ersten Kamera genutzt werden kann.
  • Wie nachfolgend näher erläutert, ist der Straßenabschnitt hierbei vorzugsweise ein gerader Straßenabschnitt, also ein Straßenabschnitt, dessen Krümmung null ist oder einen vorbestimmten kleinen Wert nicht übersteigt.
  • In einer weiteren Ausführungsform sind in einer Speichereinrichtung Straßenabschnittsinformationen in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert. In der Speichereinrichtung können hierbei z. B. Informationen über einen Straßenverlauf in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert sein. Beispielsweise können Informationen über einen Straßenverlauf in Abhängigkeit einer GPS-Position gespeichert sein, wobei ein Zusammenhang zwischen GPS-Positionen und Weltkoordinatensystem vorbekannt ist. Hierbei kann für eine bestimmte Position im Weltkoordinatensystem festgestellt werden, ob an dieser bestimmten Position ein Straßenabschnitt angeordnet ist und welchen Verlauf dieser Straßenabschnitt ausgedrückt in Weltkoordinaten aufweist. Die Position und gegebenenfalls der Verlauf können sich hierbei auf eine Mitte des Straßenabschnitts oder einen Rand oder beide Ränder des Straßenabschnitts beziehen. Weiter können in der Speichereinrichtung positionsbezogene Straßeneigenschaften, wie beispielsweise eine Krümmung eines Verlaufs eines Straßenabschnitts, ein Verlauf eines oder mehrerer Ränder des Straßenabschnitts oder eine Mittellinie des Straßenabschnitts, sowie eine Position und Geometrie von Landmarken, wie z. B. Fahrbahnmarkierungen oder Haltelinien, und weitere Eigenschaften des Straßenabschnitts gespeichert sein.
  • in Abhängigkeit des Startwerts des mindestens einen Kameraparameters wird aus den gespeicherten Straßenabschnittsinformationen zu mindest ein im ersten Erfassungsbereich angeordneter Straßenabschnitt bestimmt. Somit können auch gespeicherte Straßenabschnittsinformationen schnell und in einfacher Weise, Insbesondere ohne manuelle Interaktion, aus der Gesamtheit von gespeicherten Straßenabschnittsinformationen bestimmt werden. Weiter können auch weitere Eigenschaften des im ersten Erfassungsbereich angeordneten Straßenabschnitts, beispielsweise die vorhergehend beschriebenen Eigenschaften (Krümmung, Eigenschaften von Landmarken), bestimmt werden.
  • Weiter wird ein Straßenabschnitt in dem ersten Kamerabild bestimmt. Hierbei kann ein Straßenabschnitt z. B. mittels bekannter Verfahren zur Objektdetektierung, beispielsweise bekannter Verfahren zur Segmentierung, bestimmt werden. Beispielsweise kann ein Straßenabschnitt durch Bestimmung einer Straßenoberfläche des Straßenabschnitts bestimmt werden. Es kann z. B. ausgenutzt werden, dass eine Straßenoberfläche einen einheitlichen oder annähernd einheitlichen Farbton und/oder Grauwert und/oder eine einheitliche oder annähernd einheitliche Textur aufweist. Eine Straßenoberfläche eines Straßenabschnitts weist in den meisten Fällen einen gleichen Farbton sowie eine schwache Sättigung auf und kann somit in einfacher Weise mittels bekannter Verfahren in dem ersten Kamerabild detektiert werden. Auch können die vorhergehend beschriebenen Eigenschaften (z. B. eine Krümmung oder eine Position und Orientierung von Landmarken) des Straßenabschnitts in dem ersten Kamerabild bestimmt werden. Hierbei werden dem Straßenabschnitt und gegebenenfalls den zusätzlich bestimmten Eigenschaften des Straßenabschnitts zugeordnete Abbildungskoordinaten in dem ersten Kamerakoordinatensystem bestimmt.
  • In Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten Straßenabschnitts, der Weltkoordinaten des mindestens einen aus dem gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.
  • Hierbei ist es z. B. möglich, Landmarken in dem von der ersten Kamera erfassten Straßenabschnitt zu bestimmen. Derartige Landmarken können beispielsweise Fahrbahnmarkierungen, z. B. eine Fahrbahnmittellinie oder eine Fahrbahnbegrenzungslinie oder eine Haltelinie, sein. Sind Positionen dieser Landmarken in der vorhergehend erwähnten Speichereinrichtung abgespeichert, so können hiermit in vorteilhafter Weise korrespondierende Landmarken im Weltkoordinatensystem und im Kamerakoordinatensystem bestimmt werden.
  • Hierbei kann der mindestens eine aus den gespeicherten Straßenabschnittsinformationen bestimmte Straßenabschnitt in Abhängigkeit der mit dem mindestens einen Startwert parametrierten Abbildungsfunktion in das erste Kamerakoordinatensystem transformiert oder abgebildet werden, wobei eine Kostenfunktion z. B. eines Optimierungsverfahrens in Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten Straßenabschnitts und der transformierten Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts minimiert werden kann (Optimierung im Kamerakoordinatensystem).
  • Umgekehrt kann auch der mittels der ersten Kamera erfasste und bestimmte Straßenabschnitt in Abhängigkeit der mit dem mindestens einen Startwert parametrierten Abbildungsfunktion in das Weltkoordinatensystem transformiert oder abgebildet werden (Optimierung im Weltkoordinatensystem). Hierbei wird eine Kostenfunktion in Abhängigkeit der transformierten Abbildungskoordinaten und der Weltkoordinaten aufgestellt und minimiert.
  • Durch die Verwendung von Straßenabschnittsinformationen und gegebenenfalls Eigenschaften dieser Straßenabschnitte zur Erzeugung von korrespondierenden Punktpaaren im Weltkoordinatensystem und im Kamerakoordinatensystem ergibt sich in vorteilhafter Weise ein insbesondere für Kameras zur Verkehrsüberwachung einfach durchzuführendes Kalibrierungsverfahren, da Straßenabschnitte, wie vorhergehend erläutert, in einfacher Art und Weise detektiert werden können.
  • In einer weiteren Ausführungsform sind die in der Speichereinrichtung gespeicherten Straßenabschnittinformationen in Form einer Straßendatenbank gespeichert. Hierbei können beispielsweise Straßendatenbanken von Anbietern, wie z. B. ATKIS, NAVTEQ, Tele Atlas, Open Street Map verwendet werden, um zumindest zweidimensionale Koordinaten eines Straßennetzes und somit zweidimensionierte Koordinaten von Straßenabschnitten in einem bestimmten Umkreis um die erste Kamera bereitzustellen. Mit Hilfe des Startwertes können diese aus den Straßendatenbanken bekannten Straßenabschnitte in das Kamerakoordinatensystem transformiert werden. Umgekehrt können mit Hilfe des Startwertes auch in dem Kamerabild detektierte Straßenabschnitte in das Weltkoordinatensystem transformiert werden. Hierdurch ergibt sich in vorteilhafter Weise ein einfacher Zugriff auf Straßenabschnittsinformationen. Insbesondere können bereits verfügbare Straßenabschnittsinformationen in dem erfindungsgemäßen Verfahren verwendet werden.
  • In einer alternativen Ausführungsform sind die in der Speichereinrichtung gespeicherten Straßenabschnittsinformationen in Form von Orthofotos gespeichert. Orthofotos bezeichnen hierbei eingenordete Luftbilder, aus denen sämtliche Verzerrungen durch Perspektive oder Höhenprofile entfernt sind. Strukturen in Orthofotos sind hierbei orthogonal auf eine ebene projiziert. Durch eine absolute Position eines bestimmten Pixels (Ankerpixel) und einen bekannten Skalierungsfaktor kann jedem Pixel in einem Orthofoto eine geografische Position und somit eine Position in dem Weltkoordinatensystem zugeordnet werden.
  • Orthofotos weisen in vorteilhafter Weise in der Regel eine hohe Aktualität auf, da sie mit geringem Aufwand und deshalb oft neu erzeugt werden können.
  • in einer weiteren Ausführungsform sind in der Speichereinrichtung oder in einer zusätzlichen Speichereinrichtung Höheninformationen einer Erdoberfläche in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert. In Abhängigkeit des Startwerts des mindestens einen Kameraparameters wird aus den gespeicherten Höheninformationen eine Höhe oder ein Höhenverlauf des mindest einen im ersten Erfassungsbereich angeordneten Straßenabschnitts bestimmt. Die Höhe oder der Höhenverlauf werden mit den Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts verknüpft. Hierdurch kann in vorteilhafter Weise erreicht werden, dass die im Regelfall nur zweidimensional vorliegenden Positionskoordinaten von in Form von Straßendatenbanken oder Orthofotos gespeicherten Straßenabschnitten zusätzlich mit einer Höhe, also einer dritten Koordinate, verknüpft werden können und somit dreidimensionale Positions- und Verlaufsinformationen vorliegen. Hierzu kann beispielsweise ein digitales Geländemodell, welches Informationen über eine Höhe von einzelnen Straßenabschnitten oder Straßenknoten enthält, genutzt werden. Somit können in vorteilhafter Weise also dreidimensionale Straßenabschnittskoordinaten erzeugt werden.
  • In einer weiteren Ausführungsform werden mindestens ein gerader Straßenabschnitt und dessen Abbildungskoordinaten in dem ersten Kamerabild bestimmt. In Abhängigkeit des Startwertes des mindestens einen Kameraparameters wird aus den gespeicherten Straßenabschnittsinformationen zumindest in einem ersten Erfassungsbereich angeordneter gerader Straßenabschnitt bestimmt. In Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten geraden Straßenabschnitts, der Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten geraden Straßenabschnitts und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.
  • Hierbei können gerade Abschnitte im ersten Kamerabild und/oder z. B. in den Orthofotos mittels einer so genannten Hough-Transformation bestimmt werden. Hierbei können also gerade Straßenabschnitte durch eine Hough-Transformation im ersten Kamerabild extrahiert und mit dem aus den gespeicherten Straßenabschnittsinformationen in das erste Kamerabild projizierten geraden Straßenabschnitt assoziiert werden. Eine Ausgleichsrechnung kann dann den mindestens einen Kameraparameter, vorzugsweise die drei Orientierungsparameter, bestimmen, die eine optimale Überdeckung des extrahierten geraden Straßenabschnitts mit dem projizierten Straßenabschnitt bedingen.
  • Hierdurch kann in Bezug auf eine Rechenintensität günstigerweise der mindestens eine Kameraparameter bestimmt werden, da eine optimale Überdeckung für gerade Straßenabschnitte, also Minimum einer Kostenfunktion, besonders einfach zu bestimmen ist, da beim Vergleich zweier gerader Straßenabschnitte eine Kostenfunktion ein eindeutiges Minimum aufweist.
  • In einer weiteren Ausführungsform wird zusätzlich mindestens ein Kameraparameter mindestens einer weiteren Kamera gemäß einem der vorhergehend beschriebenen Verfahren bestimmt. Der mindestens einen weiteren Kamera ist ein weiterer Erfassungsbereich zugeordnet, wobei der weitere Erfassungsbereich in ein zweidimensionales weiteres Kamerabild abgebildet wird. Der erste Erfassungsbereich und der weitere Erfassungsbereich überlappen sich zumindest teilweise. In dem ersten Kamerabild und dem mindestens einen weiteren Kamerabild wird mindestens eine korrespondierende Struktur bestimmt. Die korrespondierende Struktur muss hierbei nicht zwingend die vorhergehend beschriebene kartographierte Kalibrationsstruktur sein. Vorzugsweise ist jedoch die korrespondierende Struktur auch zumindest ein Teil der kartographierten Kalibrationsstruktur. Weiter werden in Abhängigkeit der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild, der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild, der mit dem ersten Kameraparameter parametrierten Abbildungsfunktion und der mit dem weiteren Kameraparameter parametrierten Abbildungsfunktion der erste und der weitere Kameraparameter erneut bestimmt. Mittels der mit dem mindestens ersten Kameraparameter parametrierten Abbildungsfunktion können die Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild in das Weltkoordinatensystem transformiert werden. Analog können mittels der mit dem mindestens einen weiteren Kameraparameter parametrierten Abbildungsfunktion die Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild in das Weltkoordinatensystem transformiert werden. Eine Kostenfunktion kann dann z. B. als Differenz, als ein Betrag einer Differenz oder als eine quadratische Differenz zwischen der in das Weltkoordinatensystem transformierten Abbildungskoordinaten der korrespondierenden Struktur im ersten Kamerabild und der in das Weltkoordinatensystem transformierten Abbildungskoordinaten der korrespondierenden Struktur im weiteren Kamerabild bestimmt werden. Der ersten und der weitere Kameraparameter können dann z. B. mittels eines Optimierungsverfahrens erneut bestimmt werden. Als Optimierungsverfahren kann hierbei eines der vorhergehend beschriebenen Optimierungsverfahren eingesetzt werden.
  • Hierdurch ergibt sich in vorteilhafter Weise, dass mehrere Kameras eines Multikamerasystems mittels des erfindungsgemäßen Verfahrens einzeln kalibriert werden können und durch die vorgeschlagene erneute Bestimmung des ersten und des weiteren Kameraparameters hiernach ein so genannter Bündelblockausgleich erfolgen kann. Hierfür werden in den sich überlappenden Bildbereichen markante Bildpunkte, so genannte Features, automatisch extrahiert, z. B. mittels eines so genannten SIFT-Operators.
  • Die Bestimmung des ersten und/oder des weiteren Kameraparameters kann hierbei mittels einer Auswerteeinrichtung erfolgen, die in der ersten oder der weiteren Kamera integriert ist oder eine externe Auswerteeinrichtung ist. Hierzu ist erforderlich, dass die einzelnen Kameras datentechnisch mit der Auswerteeinrichtung verbunden sind.
  • Weiter vorgeschlagen wird eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera, insbesondere einer Kamera zur Verkehrsüberwachung. Die Vorrichtung umfasst mindestens eine Kamera und mindestens eine Auswerteeinrichtung. Mittels der vorgeschlagenen Vorrichtung ist eines der vorhergehend beschriebenen Verfahren in vorteilhafter Weise ausführbar.
  • Weiter kann die Vorrichtung eine Speichereinrichtung zur positionsbezogenen Speicherung von Straßenabschnittsinformationen umfassen. Auch kann die Vorrichtung zusätzlich zu der ersten Kamera mindestens eine weitere Kamera umfassen. Auch kann die Vorrichtung Sensoren zur Bestimmung von Startwerten umfassen. Wie vorhergehend erläutert, kann mittels der Auswerteeinrichtung der mindestens eine Kameraparameter der ersten Kamera und/oder der mindestens eine Kameraparameter der mindestens einen weiteren Kamera bestimmt werden.
  • Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Fig. zeigen:
  • 1 ein schematisches Blockschaltbild einer Vorrichtung zur Bestimmung mindestens eines Kameraparameters,
  • 2 eine perspektivische Darstellung einer Kamera zur Verkehrsüberwachung,
  • 3 eine exemplarische Darstellung eines Orthofotos und
  • 4 ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens.
  • Nachfolgend bezeichnen Elemente mit gleichen Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.
  • In 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Bestimmung mindestens eines Kameraparameters einer Kamera 2 dargestellt. Die Vorrichtung 1 umfasst die Kamera 2 und eine Auswerteeinrichtung 3. Weiter umfasst die Vorrichtung 1 eine Speichereinrichtung 4. In der Speichereinrichtung 4 sind Straßenabschnittsinformationen in Abhängigkeit einer Position in einem Weltkoordinatensystem gespeichert. Mittels der Kamera 2 ist ein erster Erfassungsbereich E1 (siehe 2) in ein zweidimensionales erstes Kamerabild abbildbar. Diesem ersten Kamerabild ist ein erstes Kamerakoordinatensystem zugeordnet, wobei eine mit sechs Kameraparametern, die eine äußere Position und Orientierung der Kamera 2 repräsentieren, parametrierbare Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und dem Weltkoordinatensystem beschreibt. Mittels der Auswerteeinrichtung 3 ist eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmbar, wobei eine Position und Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt und ortsfest sind. Insbesondere ist die Position und Orientierung der kartographierten Kalibrationsstruktur in der Speichereinrichtung 4 gespeichert. Mittels der Auswerteeinrichtung 3 sind in Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur, der Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion die sechs Kameraparameter bestimmbar.
  • Die Kamera 2 kann beispielsweise eine mobile Kamera zur Verkehrslagenerfassung an einer Baustelle sein. Diese wird an einer Baustelle installiert. Nach dem Einschalten wird eine Position der Kamera 2 durch ein GNSS 5 bestimmt und eine grobe Ausrichtung, also ein Startwert der drei Parameter zur äußeren Orientierung der Kamera 2 durch ein Magnetometer 6 bestimmt. Das Magnetometer 6 und das GNSS 5 sind datentechnisch mit der Kamera 2 verbunden. Die Kamera 2 ist datentechnisch mit der Auswerteeinrichtung 3 verbunden.
  • Auf Basis der Startwerte der Position und Orientierung wird ein Höhenprofil und ein Orthofoto (siehe z. B. 3) der Umgebung aus der Speichereinrichtung 4 geladen. Durch einen Vergleich von Strukturen in dem Orthofoto und Strukturen in dem wirklichen Sichtfeld der Kamera 2, also im ersten Kamerabild, werden die Kameraparameter der äußeren Orientierung und auch die Kameraparameter der Position der Kamera 2 optimiert. Hierdurch können in vorteilhafter Weise die Kameraparameter in kürzester Zeit automatisch bestimmt werden.
  • Auch kann die Kamera 2 eine Kamera eines mobilen Messaufbaus, beispielsweise eine Messfahrzeuges, sein, welches für einen begrenzten Zeitraum an einer Straßenkreuzung aufgestellt wird, um einen Verkehrsfluss bzw. eine Verkehrsflussdichte zu messen. Die Kamera 2 ermittelt hierbei die Kameraparameter, die eine Position repräsentieren, durch das vorhergehend erwähnte GNSS 5 und Startwerte für die Kameraparameter, die die äußere Orientierung repräsentieren, durch das Magnetometer 6.
  • Weiter können ein Höhenprofil und eine Straßenkarte der Umgebung aus der Speichereinrichtung 4 geladen und mit Hilfe der Startwerte in eine virtuelle Bildebene, nämlich das erste Kamerabild, projiziert werden. Die Kameraparameter, die die äußere Orientierung repräsentieren, und/oder die Kameraparameter, die eine Position der Kamera 2 repräsentieren, werden durch einen Vergleich der projizierten Straßenoberflächen mit den aus der Straßenkarte extrahierten Straßenoberflächen im ersten Kamerabild optimiert. Hierdurch können die Kameraparameter, die die äußere Orientierung der Kamera 2 repräsentieren, in kürzester Zeit automatisch bestimmt werden.
  • In 2 ist eine perspektivische Darstellung einer Kamera 2 zur Verkehrsüberwachung dargestellt. Die Kamera 2 ist an einer erhöhten Position, beispielsweise auf einem Dach eines Gebäudes 7, angeordnet und weist einen Erfassungsbereich E1 auf, der symbolisch durch mehrere Strahlen dargestellt ist. Weiter dargestellt ist ein Straßenverlauf einer Straße 8, die im Erfassungsbereich E1 eine T-Kreuzung aufweist. Die Straße 8 weist hierbei eine Breite B auf.
  • In 3 ist ein exemplarisches Orthofoto der in 2 dargestellten Umgebung dargestellt. Das Orthofoto zeigt hierbei Landmarken, wie z. B. eine Haltelinie 9, die auch in 2 dargestellt ist, und Fahrbahnmarkierungen 10. Auch kann in dem Orthofoto die Breite B der Straße 8 bestimmt werden. Mit Hilfe dieser Informationen kann das Orthofoto mit einem Kamerabild der Kamera 2 der Straße 8 verglichen werden und wie vorhergehend erläutert die Kameraparameter bestimmt werden.
  • In 4 ist ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens dargestellt. In einem ersten Schritt S1 erfasst eine Kamera 2 (siehe 1) ein erstes Kamerabild, wobei dem ersten Kamerabild ein erstes Kamerakoordinatensystem zugeordnet ist. In einem zweiten Schritt S2 werden in dem ersten Kamerabild Kalibrationsstrukturen mittels bekannter Verfahren zur Objektdetektion detektiert. In einem dritten Schritt S3 werden Startwerte für Kameraparameter, die eine Position und Orientierung der Kamera 2 repräsentieren, bestimmt. Dies kann beispielsweise mit Hilfe des in 1 dargestellten GNSS 5 und des Magnetometers 6 erfolgen. In einem vierten Schritt S4 werden in Abhängigkeit dieser Startwerte Umgebungsinformationen, z. B. ein Orthofoto der Umgebung, aus einer Speichereinrichtung 4 (siehe 1) abgerufen. In einem fünften Schritt 55 werden Abbildungskoordinaten der im zweiten Schritt S2 bestimmten Kalibrationsstrukturen in Abhängigkeit der Startwerte in ein Weltkoordinatensystem transformiert. in einem sechsten Schritt S6 erfolgt, z. B. mittels eines Simplex-Verfahrens, eine Optimierung der Kameraparameter ausgehend von ihren Startwerten durch ein iteratives Optimierungsverfahren.
  • Bezugszeichenliste
  • 1
    Vorrichtung zur Bestimmung mindestens eines Kameraparameters
    2
    Kamera
    3
    Auswerteeinrichtung
    4
    Speichereinrichtung
    5
    GNSS
    6
    Magnetometer
    7
    Gebäude
    8
    Straße
    9
    Haltelinie
    10
    Fahrbahnmarkierung
    8
    Breite
    E1
    Erfassungsbereich
    S1
    erster Schritt
    S2
    zweiter Schritt
    S3
    dritter Schritt
    S4
    vierter Schritt
    S5
    fünfter Schritt
    S6
    sechster Schritt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102007001649 A1 [0007]
    • DE 10340023 B3 [0008]

Claims (10)

  1. Verfahren zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera (2), insbesondere einer Kamera zur Verkehrsüberwachung, wobei der ersten Kamera (2) ein erster Erfassungsbereich (E1) zugeordnet ist, wobei mittels der ersten Kamera (2) der erste Erfassungsbereich (E1) in ein zweidimensionales erstes Kamerabild abgebildet wird, wobei dem ersten Kamerabild ein erstes Kamerakoordinatensystem zugeordnet ist, wobei eine mit zumindest dem einen Kameraparameter parametrierbare Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und einem Weltkoordinatensystem beschreibt, dadurch gekennzeichnet, dass eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmt werden, wobei eine Position und/oder Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt und ortsfest ist, wobei in Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur, von Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion der mindestens eine Kameraparameter bestimmt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Startwert des mindestens einen Kameraparameters vorbekannt ist oder in Abhängigkeit mindestens eines Sensorsignals bestimmt wird, wobei mindestens ein Sensor, der das mindestens eine Sensorsignal erzeugt, eine Position und/oder eine Orientierung der ersten Kamera bezüglich des Weltkoordinatensystems erfasst.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die kartographierte Kalibrationsstruktur mindestens einen Straßenabschnitt umfasst.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in einer Speichereinrichtung (4) Straßenabschnittsinformationen in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert sind, wobei in Abhängigkeit des Startwerts des mindestens einen Kameraparameters aus den gespeicherten Straßenabschnittsinformationen zumindest ein im ersten Erfassungsbereich (E1) angeordneter Straßenabschnitt bestimmt wird, wobei ein Straßenabschnitt in dem ersten Kamerabild bestimmt werden, wobei in Abhängigkeit der Abbildungskoordinaten des mindestens eines erfassten Straßenabschnitts, der Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts und der parametrierbaren Abbildungsfunktion der mindestens eine Kameraparameter bestimmt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die in der Speichereinrichtung (4) gespeicherten Straßenabschnittsinformationen in Form von Orthofotos gespeichert sind.
  6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die in der Speichereinrichtung (4) gespeicherten Straßenabschnittsinformationen in Form einer Straßendatenbank gespeichert sind.
  7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass in der Speichereinrichtung (4) oder in einer zusätzlichen Speichereinrichtung Höheninformationen einer Erdoberfläche in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert sind, wobei in Abhängigkeit des Startwerts des mindestens einen Kameraparameters aus den gespeicherten Höheninformationen eine Höhe oder ein Höhenverlauf des zumindest einen im ersten Erfassungsbereich (E1) angeordneten Straßenabschnitts bestimmt wird, wobei die Höhe oder der Höhenverlauf mit den Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts verknüpft werden.
  8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass mindestens ein gerader Straßenabschnitt und dessen Abbildungskoordinaten in dem ersten Kamerabild bestimmt wird, wobei in Abhängigkeit des Startwerts des mindestens einen Kameraparameters aus den gespeicherten Straßenabschnittsinformationen zumindest ein im ersten Erfassungsbereich (E1) angeordneter gerader Straßenabschnitt bestimmt wird, wobei in Abhängigkeit der Abbildungskoordinaten mindestens eines erfassten geraden Straßenabschnitts, der Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten geraden Straßenabschnitts und der parametrierbaren Abbildungsfunktion der mindestens eine Kameraparameter bestimmt wird.
  9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zusätzlich mindestens ein Kameraparameter mindestens einer weiteren Kamera gemäß einem der Verfahren 1 bis 8 bestimmt wird, wobei der mindestens einen weiteren Kamera ein weiterer Erfassungsbereich zugeordnet ist, wobei der weitere Erfassungsbereich in ein zweidimensionales weiteres Kamerabild abgebildet wird, wobei sich der erste Erfassungsbereich (E1) und der weitere Erfassungsbereich zumindest teilweise überlappen, wobei in dem ersten Kamerabild und dem mindestens einen weiteren Kamerabild mindestens eine korrespondierende Struktur bestimmt wird, wobei in Abhängigkeit der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild, der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild, der mit dem ersten Kameraparameter parametrierten Abbildungsfunktion und der mit dem weiteren Kameraparameter parametrierten Abbildungsfunktion der erste und der weitere Kameraparameter erneut bestimmt werden.
  10. Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera (2), insbesondere einer Kamera zur Verkehrsüberwachung, wobei die Vorrichtung (1) mindestens eine Kamera (2) und mindestens eine Auswerteeinrichtung (3) umfasst, wobei der ersten Kamera (2) ein erster Erfassungsbereich (E1) zugeordnet ist, wobei mittels der ersten Kamera (2) der erste Erfassungsbereich (E1) in ein zweidimensionales erstes Kamerabild abbildbar ist, wobei dem ersten Kamerabild ein erstes Kamerakoordinatensystem zugeordnet ist, wobei eine mit zumindest dem einen Kameraparameter parametrierbare Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und einem Weltkoordinatensystem beschreibt, dadurch gekennzeichnet, dass mittels der Auswerteeinrichtung (3) eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmbar ist, wobei eine Position und/oder Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt und ortsfest sind, wobei mittels der Auswerteeinrichtung in Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur, von Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion der mindestens eine Kameraparameter bestimmbar ist.
DE102011100628A 2011-05-05 2011-05-05 Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters Expired - Fee Related DE102011100628B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011100628A DE102011100628B4 (de) 2011-05-05 2011-05-05 Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011100628A DE102011100628B4 (de) 2011-05-05 2011-05-05 Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters

Publications (2)

Publication Number Publication Date
DE102011100628A1 true DE102011100628A1 (de) 2012-11-08
DE102011100628B4 DE102011100628B4 (de) 2013-04-25

Family

ID=47019560

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011100628A Expired - Fee Related DE102011100628B4 (de) 2011-05-05 2011-05-05 Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters

Country Status (1)

Country Link
DE (1) DE102011100628B4 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2902802A1 (de) * 2014-01-31 2015-08-05 S.M.S. Smart Microwave Sensors GmbH Sensorvorrichtung
DE102014221285B3 (de) * 2014-10-21 2015-12-03 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Generierung von Verkehrsinformationen
CN106781601A (zh) * 2016-11-24 2017-05-31 上海交通大学 基于三维视觉拼接的船舱内车辆定位跟踪***与方法
CN111199584A (zh) * 2019-12-31 2020-05-26 武汉市城建工程有限公司 目标物定位虚实融合方法及装置
CN111553956A (zh) * 2020-05-20 2020-08-18 北京百度网讯科技有限公司 拍摄装置的标定方法、装置、电子设备和存储介质
US11325470B2 (en) 2017-09-21 2022-05-10 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
WO2023281907A1 (ja) * 2021-07-07 2023-01-12 住友電気工業株式会社 物体検出システム及びインフラセンサ
DE102022206835A1 (de) 2022-07-05 2024-01-11 Continental Automotive Technologies GmbH Verfahren zum Erstellen eines Höhenprofils und Vermessungssystem

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016222319A1 (de) * 2016-11-14 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-referenzierung
DE102021209698A1 (de) * 2021-09-03 2023-03-09 Continental Automotive Technologies GmbH Verfahren zur Kalibrierung einer Straßenüberwachungseinrichtung und Straßenüberwachungssystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10340023B3 (de) 2003-08-28 2005-02-24 Christian-Albrechts-Universität Zu Kiel Verfahren zur Selbstkalibrierung eines Kamerasystems
US20070027591A1 (en) * 2005-07-27 2007-02-01 Rafael-Armament Development Authority Ltd. Real-time geographic information system and method
DE102006055758A1 (de) * 2006-11-25 2008-05-29 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Kalibrierung von Kameras und Projektoren
DE102007001649A1 (de) 2007-01-11 2008-07-17 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
US20080240616A1 (en) * 2007-04-02 2008-10-02 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
WO2010018009A1 (en) * 2008-08-12 2010-02-18 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10340023B3 (de) 2003-08-28 2005-02-24 Christian-Albrechts-Universität Zu Kiel Verfahren zur Selbstkalibrierung eines Kamerasystems
US20070027591A1 (en) * 2005-07-27 2007-02-01 Rafael-Armament Development Authority Ltd. Real-time geographic information system and method
DE102006055758A1 (de) * 2006-11-25 2008-05-29 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Kalibrierung von Kameras und Projektoren
DE102007001649A1 (de) 2007-01-11 2008-07-17 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
US20080240616A1 (en) * 2007-04-02 2008-10-02 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
WO2010018009A1 (en) * 2008-08-12 2010-02-18 Iee International Electronics & Engineering S.A. 3d time-of-flight camera system and position/orientation calibration method therefor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102356025B1 (ko) * 2014-01-31 2022-01-26 에스. 엠. 에스. 스마트 마이크로웨이브 센서스 게엠베하 센서 장치
WO2015113765A1 (de) * 2014-01-31 2015-08-06 S.M.S. Smart Microwave Sensors Gmbh Sensorvorrichtung
KR20160117448A (ko) * 2014-01-31 2016-10-10 에스. 엠. 에스. 스마트 마이크로웨이브 센서스 게엠베하 센서 장치
US10192431B2 (en) 2014-01-31 2019-01-29 S.M.S Smart Microwave Sensors Gmbh Sensor device
EP2902802A1 (de) * 2014-01-31 2015-08-05 S.M.S. Smart Microwave Sensors GmbH Sensorvorrichtung
DE102014221285B3 (de) * 2014-10-21 2015-12-03 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Generierung von Verkehrsinformationen
CN106781601A (zh) * 2016-11-24 2017-05-31 上海交通大学 基于三维视觉拼接的船舱内车辆定位跟踪***与方法
US11325470B2 (en) 2017-09-21 2022-05-10 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
CN111199584A (zh) * 2019-12-31 2020-05-26 武汉市城建工程有限公司 目标物定位虚实融合方法及装置
CN111199584B (zh) * 2019-12-31 2023-10-20 武汉市城建工程有限公司 目标物定位虚实融合方法及装置
CN111553956A (zh) * 2020-05-20 2020-08-18 北京百度网讯科技有限公司 拍摄装置的标定方法、装置、电子设备和存储介质
WO2023281907A1 (ja) * 2021-07-07 2023-01-12 住友電気工業株式会社 物体検出システム及びインフラセンサ
DE102022206835A1 (de) 2022-07-05 2024-01-11 Continental Automotive Technologies GmbH Verfahren zum Erstellen eines Höhenprofils und Vermessungssystem

Also Published As

Publication number Publication date
DE102011100628B4 (de) 2013-04-25

Similar Documents

Publication Publication Date Title
DE102011100628B4 (de) Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
EP3443301B1 (de) Verfahren und system zum bestimmen einer globalen position einer ersten landmarke
DE102013208521B4 (de) Kollektives Erlernen eines hochgenauen Straßenmodells
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102016112913A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeug-Ich-Position
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP3034995A1 (de) Verfahren zum Bestimmen eines Position- und Orientierungsversatzes eines geodätischen Vermessungsgeräts und ebensolches Vermessungsgerät
DE102015116882A1 (de) Verbindungswahrscheinlichkeitsmodellbildung und Folgerung der Kreuzungsstruktur
DE102016225595A1 (de) Verfahren und Anordnung zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs
EP3008534B1 (de) Verfahren zum modellieren eines umfelds eines fahrzeugs
DE112005001307T5 (de) Eingebaute Navigationsvorrichtung und Verfahren zur Koerrektur der eigenen Fahrzeugposition
WO2010057903A1 (de) Verfahren zur georeferenzierung optischer fernerkundungsbilder
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102017207257A1 (de) Verfahren und Vorrichtung zum Erstellen und Bereitstellen einer hochgenauen Karte
EP2573512A2 (de) Verfahren und Anordnung zur Bestimmung der Lage eines Messpunktes im geometrischen Raum
DE102015001247A1 (de) Verfahren zur Bereitstellung von Information über zumindest ein Objekt in einem Umgebungsbereich eines Kraftfahrzeugs und System
DE102019208533A1 (de) Verfahren zum Erkennen einer Straßenklasse
DE112019004290T5 (de) Vorrichtung und program zum erzeugen von fahrttrajektoriedaten in einerkreuzung und fahrzeugmontierte vorrichtung
DE102019216548A1 (de) Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
DE102018130597A1 (de) 3d-kartierung mit hoher bildschärfe
DE102010022726B4 (de) Vorrichtung zur Darstellung von Gelände auf einer Anzeigevorrichtung eines Flugkörpers
DE112011105210T5 (de) Ortskurvenkorrekturverfahren, Ortskurvenkorrekturvorrichtung und mobiles Objektgerät
DE102015225577A1 (de) Verbessertes Verfahren zum Ermitteln der Randbebauung einer Fahrbahn für die Lokalisierung von Kraftfahrzeugen
DE102019101405A1 (de) Verfahren zum Bewerten einer Positionsinformation einer Landmarke in einer Umgebung eines Kraftfahrzeugs, Bewertungssystem, Fahrerassistenzsystem und Kraftfahrzeug
EP3584536A1 (de) Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130726

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee