DE10340023B3

DE10340023B3 - Verfahren zur Selbstkalibrierung eines Kamerasystems

Info

Publication number: DE10340023B3
Application number: DE10340023A
Authority: DE
Inventors: Reinhard Prof. Dr.-Ing. Koch; Jan-Michael Dipl.-Inf. Frahm
Original assignee: Christian Albrechts Universitaet Kiel
Current assignee: Christian Albrechts Universitaet Kiel
Priority date: 2003-08-28
Filing date: 2003-08-28
Publication date: 2005-02-24
Anticipated expiration: 2023-08-29
Also published as: WO2005025237A1

Abstract

Verfahren zur Selbstkalibrierung eines Kamerasystems, umfassend wenigstens eine Kamera, nutzend eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurden, und Messdaten der relativen Verdrehung wenigstens einer Kamera zwischen den einzelnen Aufnahmen, wobei aus korrespondierenden Punkten in paarweise gewählten Bildern eine erste durch eine Matrix beschreibbare lineare Transformation bestimmt wird, aus der relativen Verdrehung der wenigstens einen Kamera zwischen denselben gewählten Bildern eine zweite durch eine Matrix beschreibbare lineare Transformation als Repräsentation der Verdrehung bestimmt wird, beide Matrizen in eine Gleichung eingesetzt werden, die ein in den Kalibrierparametern lineares Gleichungssystem angibt, weitere als Matrizen beschreibbare lineare Transformationen genauso aus weiteren Bildpaaren solange bestimmt und eingesetzt werden, bis das lineare Gleichungssystem eindeutig lösbar ist, und das Gleichungssystem für alle Parameter des Kamerasystems rechnerisch gelöst wird.

Description

Die Erfindung betrifft ein Verfahren zur Selbstkalibrierung eines Kamerasystems, insbesondere eines solchen dessen Bilddaten elektronisch gespeichert werden nach dem Oberbegriff des Hauptanspruches.

Die Verwendung von Kameras für die metrische Rekonstruktion von aus verschiedenen Perspektiven aufgenommenen Szenen mit Hilfe von Rechnern hat in den letzten Jahren eine immer größere Verbreitung gefunden. Für solche Kamerasysteme sind allerdings die internen Parameter, beispielsweise die Brennweite, im Allgemeinen nicht a priori bekannt und während des Betriebs zudem teilweise variabel, z.B. beim Zoom. Ihre Kenntnis ist für eine metrische Rekonstruktion aber unabdingbar, so dass die Kamerasysteme vor oder während der Bildaufzeichnung zu kalibrieren sind.

Die Bestimmung der Kameraparameter basiert üblicherweise auf einer von der Kamera aufgenommenen Bildsequenz eines Kalibriermusters aus verschiedenen Perspektiven. Eine Erweiterung ist die Kalibrierung anhand einer beliebigen starren Szene, zu der sich die Kamera während der Aufnahme relativ bewegt. Rotations- und Translationsfreiheitsgrade der Kamera bilden dabei die so genannten externen Kameraparameter, die oft ebenfalls nicht alle bekannt sind. Die automatische Berechnung der internen und externen Parameter aus der Bildsequenz wird als Selbstkalibrierung bezeichnet.

Um auf möglichst einfache Weise robuste Werte für die berechneten Parameter zu erhalten, werden häufig Zwangsbedingungen (constraints) für die Kamerabewegung und/oder die Szene formuliert, die zusätzliche Informationen bereitstellen und/oder bestimmte Parameter von vornherein festlegen. Man unterscheidet bei den Verfahren zur Kamerakalibrierung zudem, ob die internen Kameraparameter unbekannte Fixgrößen sind oder zumindest teilweise fortgesetzt variieren.

Zu den gängigsten Zwangsbedingungen für die Kamera selbst zählt, dass sie nur um ihr optisches Zentrum rotieren darf. In diesem Fall kann keine Tiefeninformation für die Szene aus der Bildsequenz extrahiert werden. Diese Kamerabewegung findet sich aber bei vielen Anwendungen, beispielsweise Videokonferenzsystemen. Typischerweise werden bei dieser Kamerabewegung Panoramen erzeugt (de Agapito, L.; Hartley, R.I; Hayman, E.: Linear Self-Calibration of a rotating and zooming Camera, IEEE Computer Society conference on Computer Visison and Pattern recognition, 1999, Volume 1, 23–25 Juni 1999, Seiten 15–21).

Eine andere Beschränkung zur vereinfachten Kalibrierung besteht in der Anwesenheit eines bekannten Referenzobjekts, z. B. eines Maßstabs mit bekannter Lage, in allen Bildern einer Kalibrierungssequenz. Dies stellt jedoch eine Anforderung an die Szene dar, die sich zumindest dann nicht immer erfüllen lässt, wenn eine automatische Selbstkalibrierung zu unbekannten, zukünftigen Zeitpunkten geplant oder sogar unvermeidlich ist, beispielsweise bei der Rekonstruktion von historischen Stätten.

Nur wenige Arbeiten befassen sich mit der Selbstkalibrierung frei bewegter Kameras, bei denen keine Bedingungen an die Szene gestellt werden, außer dass es sich um eine starre Szene handelt, und die Variation der internen Parameter möglich ist (z.B. M. Pollefeys, R. Koch, L. Van Gool: Self calibration and metric reconstruction in spite of varying and unknown internal camera parameters, In Proc. ICCV, p. 90–96, 1998). Diese Methoden sind technisch nachteilig, weil sie dazu neigen, aus leicht gestörten Bilddaten bereits stark gestörte Kalibrierungen zu berechnen bzw. keine sinnvollen Ergebnisse mehr zu liefern. Weiterhin gibt es in diesen Ansätzen kritische Kamerabewegungen, bei denen keine vollständige Kamerakalibrierung berechnet werden kann ohne dass das Auftreten dieser kritischen Situation erkannt wird, beispielsweise eine reine Verschiebung der Kamera.

Ein Vorschlag zur Kamerakalibrierung für grundsätzlich beliebige Kamerabewegungen und feste Kameraparameter ist aus der GB 2 261 566 A bekannt, wobei die Kamera auch notwendig verschoben und rotiert werden muss. Dieses Verfahren nutzt Kruppas Gleichungen zur iterativen Berechnung der Kameraparameter und stellt keine Anforderungen an die starre Szene. Allerdings ist der Algorithmus aufwendig und die gewonnenen Parameter eignen sich in vielen Fällen nicht oder nur bedingt zur Szenenrekonstruktion.

Es ist ferner bekannt, eine Kamera mit einem fest montierten Beschleunigungs-Gyro-Sensor auszustatten, um neben Bildern auch gleichzeitig die Rotation der Kamera aufzuzeichnen (z.B. Suya You, Ulrich Neumann, and Ronald Azuma: Orientation Tracking for Outdoor Augmented Reality Registration. IEEE Computer Graphics and Applications 19, 6 (Nov/Dec 1999), 36–42). Diese Daten werden bei der numerischen Rekonstruktion der abgebildeten Szene, aber nicht zur Kamerakalibrierung, benutzt, weil bislang kein geeignet formuliertes Verfahren hierfür bekannt ist.

Es ist deshalb Aufgabe der Erfindung, ein Verfahren zur Selbstkalibrierung einer Kamera anzugeben. Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1. Die Unteransprüche geben vorteilhafte Ausgestaltungen an.

Insbesondere ist es vorteilhaft mit fest montiertem Rotationssensor zu arbeiten, wobei die Sensor-Messdaten direkt in die Bestimmung der internen Kameraparameter einfließen, die selbst frei variieren dürfen.

Dabei wird vorausgesetzt, daß wenigstens eine Kamera und eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurden, sowie Messdaten der relativen Verdrehung wenigstens einer Kamera zwischen den einzelnen Aufnahmen vorhanden sind. Aus korrespondierenden Punkten in paarweise gewählten Bildern kann nun eine erste Matrix bestimmt werden, aus der relativen Verdrehung der wenigstens einen Kamera zwischen denselben gewählten Bildern kann dann eine zweite Matrix als Repräsentation der Verdrehung bestimmt werden, beide Matrizen können dann in eine Gleichung eingesetzt werden, die ein in den Kalibrierparametern lineares Gleichungssystem angibt, und weitere Matrizen sollten genauso aus weiteren Bildpaaren so lange bestimmt und eingesetzt werden, bis das lineare Gleichungssystem eindeutig lösbar ist und durch rechnerisches Lösen des Gleichungssystems alle Parameter des Kamerasystems bestimmt werden können.

Das Kamerasystem kann aus mehr als einer Kamera bestehen, wobei die festen Positionen und Orientierungen zueinander bekannt sind oder aus einer oder mehreren frei beweglichen und frei drehbaren Kameras bestehen. Vorteilhafterweise wird wenigstens eine der Kameras mit einem Rotationssensor zur Erfassung der relativen Verdrehung der Kamera zwischen zwei zeitlich getrennten Aufnahmen verbunden.

Durch Aufstellen einer statistischen Fehlerfunktion mit den Messdaten zur Kameraverdrehung, der aufgenommenen Bilder, der berechneten Kameraparameter und der Vorbedingungen und Optimieren dieser kann die Orientierungsmessung stabilisiert werden zur Fehlerkompensation des Orientierungsmesssystems.

Die Erfindung wird anhand von Figuren erläutert. Dabei zeigt:
1 eine Skizze zur Erklärung der Kamerabewegungen;
2 ein Schema des mathematischen Lochkameramodells;
3 eine erste Skizze zur Erläuterung der epipolaren Geometrie;
4 eine zweite Skizze zur Erläuterung der epipolaren Geometrie;
5 eine Skizze zur Erläuterung der Homographie bei rotierenden Kameras,
6 und b die Ergebnisse der Brennweitenkalibrierungen mit fester Brennweite (6a) und zoomender Kamera (6b)
7a zeigt die mittlere Brennweite, die durch die Selbstkalibrierung der verrauschten Bilder errechnet wird, in Abhängigkeit vom Verrauschungsgrad in Pixeln und Drehwinkel,
7b zeigt die zu 7a) gehörige Varianz der Brennweite
7c zeigt das mittlere Pixelseitenverhältnis.
7d zeigt die zu 7c) gehörige Varianz des Pixelseitenverhältnisses.
8a–8d die berechneten Ergebnisse analog zu 7.
9a und b den Vergleich mit und ohne statistischer Kalibrierung
10a und b die Varianz von f mit a) linearer Kalibrierung und b) statistischer Kalibrierung.
Zunächst wird das im Folgenden verwendete Kameramodell erläutert. Das einfachste Modell hierfür ist das einer Lochkamera. Im 3D-Weltkoordinatensystem bestimmt sich die Kameralage aus der Position des Kamerazentrums C und der Verdrehung R der optischen Kameraachse gegen die Koordinatenachsen, wie in 1 dargestellt. Im Fall frei beweglicher Kameras können sich beide mit der Zeit τ beliebig ändern. C ist ein dreidimensionaler Spaltenvektor im Weltkoordinatensystem, R ist eine orthogonale 3 × 3-Matrix, die die Koordinatenachsen (optische Achse, Achsen der Bildebene) des gedrehten Kamerakoordinatensystems im Weltkoordinatensystem enthält, mithin also eine Rotationsmatrix mit Determinante Eins.
Bei der Lochkamera wird das Kamerazentrum mit dem – im Modell idealen – Brennpunkt identifiziert, der wahlweise vor oder hinter der Bildebene liegen kann. Es ist heute üblich, von einer Bildebene vor dem Brennpunkt auszugehen, wie dies in 2 zu sehen ist. Im kamerafesten Koordinatensystem befindet sich der Brennpunkt im Ursprung, die optische Achse fällt mit der z-Achse zusammen und die Bildebene befindet sich bei z = f, wobei f die Brennweite bezeichnet. Man denkt sich die Bildebene nun belegt mit lichtempfindlichen, rechteckigen Pixeln der Kantenlängen dx und dy. Da man praktisch die Bildauswertung in Pixelkoordinaten durchführt, kann der Ursprung des Pixelkoordinatensystems anders liegen als der Durchstoßpunkt der optischen Achse durch die Bildebene, der sich bei c (Vektoren in Pixelkoordinaten sind durch kleine Buchstaben gekennzeichnet) befinden soll. Dieser wird als Hauptpunkt der Kamera bezeichnet.
Ein dreidimensionaler Szenenpunkt M in Weltkoordinaten wird nun über eine lineare Abbildung auf einen Bildpunkt m in kamerafeste Pixelkoordinaten abgebildet. Dabei ist es für eine einfache Darstellung der Abbildung zweckmäßig, den Punkten je eine weitere Koordinate (Eins) hinzuzufügen, etwa als M = (X, Y, Z, 1)^T und m = (x, y, 1)^T. Man kann dann schreiben m = PM (1)mit einer 3 × 4-Matrix P, die als Kamera-Projektionsmatrix bezeichnet wird. Sie ist für jede Kameraposition und -orientierung, d.h. zu festem Zeitpunkt τ, gegeben durch P = K[RT| – RTC] (2)mit R und C aus 1 und K als a priori unbekannter Matrix, welche die internen Kameraparameter enthält. Die reellwertige 3 × 3-Matrix K heißt Kamerakalibriermatrix. Sie hat
Die Kalibriermatrix repräsentiert die Eigenschaften des Aufnahmesensors bzw. -systems d.h. meist eines CCD-Chips. Sie enthält die fünf internen Kameraparameter:
f ist die Brennweite der Kamera in Pixeln. Ist dx die Breite eines Pixels in mm, dann ergibt fdx die Brennweite der Kamera in mm.
a ist das Seitenverhältnis der Pixel. Es wird definiert als a = dy/dx, wobei dx und dy die Ausdehnung der Pixel in x- und y-Richtung sind.
s beschreibt die Pixelscherung. Diese ist abhängig vom Winkel zwischen den Zeilen und Spalten des Aufnahmesensors.
c = (c_x, c_y) beschreibt mit zwei Parametern den Hauptpunkt der Kamera.
Die Bestimmung der Parameter in K ist die Aufgabe der Selbstkalibrierung. Es kann bei modernen Kameras oft von s = 0 in guter Näherung ausgegangen werden.
Die durch die Projektionsmatrix P beschriebene Abbildung ist nicht eindeutig umkehrbar. Vielmehr werden durch die Zentralprojektion der Kamera alle Objektpunkte einer Fluchtlinie auf denselben Bildpunkt abgebildet. Aus einem einzigen Bild lassen sich deshalb keine Entfernungen zu den Objektpunkten bestimmen. Hierfür sind wenigstens zwei Bilder aus verschiedenen Perspektiven (Orte bzw. Zeitpunkte τ1, τ2) desselben Objekts zur Triangulation nötig.
3 zeigt schematisch dieselbe Kamera zu Zeitpunkten τ1 und τ2 mit zueinander verschobenen und verdrehten Bildebenen. Dies ist äquivalent zum Szenario der Aufnahme mit zwei verschieden Kameras and den Orten τ1 und τ2, deshalb wird im Folgenden nur die Aufnahme zu verschieden Zeitpunkten diskutiert. Sind alle Kameraparameter gegeben, kann die Position eines Objektpunktes M aus seinen Bildpunkten m1 und m2 in den Bildebenen berechnet werden. Bei unbekannten Parametern sucht man zur Kalibrierung zunächst nach Punktkorrespondenzen. Bei gegebenem Bildpunkt ml weiß man aber vom Objektpunkt M nur, dass er sich auf der Linie L befindet. Als korrespondierender Bildpunkt m2 kommt somit jeder Punkt auf der Linie λ2 in Betracht. Zunächst einmal gibt es bei zueinander bewegten Kameras Punkt-Linienkorrespondenzen, wie 4 verdeutlicht. Jeder Objektpunkt M liegt in einer Ebene der dargestellten Ebenenschar, die wiederum durch beide Kamerazentren verlaufen muss. Die Ebenenschar wird in jeder Bildebene in je eine Linienschar abgebildet, von denen sich je ein Punkt auf λ1 und λ2 einander eindeutig zuordnen lassen. Besitzt M ein Bild in λ1, dann auch in λ2. Die Linienscharen schneiden sich in jedem Bild in genau einem Punkt (e1 oder e2), nämlich dem Abbild des jeweils anderen Kamerazentrums, der als Epipol bezeichnet wird.
Unter Verwendung der eingangs eingeführten dreidimensionalen Darstellung der zweidimensionalen Bildpunkte m1 = (m1_x, m1_y, 1)^T, e1 =(e1_x, e1_y, 1)^T, m2 = (m2_x, m2_y, 1)^T, e2 = (e2_x, e2_y, 1)^T kann man Vektorprodukte n1 = e1 × m1 und n2 = e2 × m2 bilden, und diese sind Normalenvektoren zur selben Ebene, mithin also identisch bis auf einen Faktor. Allerdings werden n1 und n2 noch in verschiedenen, zueinander verdrehten Koordinatensystemen dargestellt. Gleichwohl ist dadurch plausibel (und in der Fachliteratur wird dies auch bewiesen), dass es möglich ist, eine 3 × 3-Matrix aufzustellen, die für beliebige, korrespondierende Punkte in beiden Bildern die Bedingung m1TFm2 = 0 (4) erfüllt. Diese so genannte Fundamentalmatrix F enthält sowohl Informationen über die Verdrehung der Kameras zueinander bzw. die Verdrehung einer Kamera mit der Zeit als auch über die Verschiebung der Kameras bzw. die Translation einer Kamera in Form einer Vektorproduktbildung mit einem Epipol. Die Fundamentalmatrix ist berechenbar aus Punktkorrespondenzen, die mit gängiger Tracking-Software bestimmt werden können. Man kann wegen (4) o.B.d.A. eine ihrer Komponenten zu Eins setzen. Da insbesondere Fe2 = 0 gelten muss, besitzt die durch F repräsentierte Abbildung einen von Null verschiedenen Kern, d.h. F hat den Rang 2 und somit Determinante 0. Folglich sind nur sieben unabhängige Komponenten zu berechnen, wofür man sieben unabhängige Punktkorrespondenzen benötigt. Für weitere Erläuterungen zur Struktur und zu den Eigenschaften der Fundamentalmatrix sei erneut auf Fachliteratur verwiesen.
Die erfolgte Bestimmung von F aus Punktkorrespondenzen liefert noch nicht die gewünschten Kameraparameter. Vielmehr ist der Fachmann nun bestrebt, aus der Kenntnis von F auf die Projektionsmatrix P aus Gleichung (2) zu schließen. Diese Herangehensweise ist grundsätzlich nachteilig, weil in diesem Fall die Projektionsmatrix nicht eindeutig bestimmt werden kann. Ohne Kenntnis der Szene erhält man lediglich eine mit einer invertierbaren 4 × 4-Matrix transformierte Projektionsmatrix, wie allgemein in der Fachliteratur bewiesen wird.
Wenn aber zusätzliche Rotationsinformationen zur Verfügung stehen, lässt sich ein völlig anderer Weg verfolgen, der den Kern des erfindungsgemäßen Verfahrens ausmacht. Man kann nämlich zeigen, dass sich ein Gleichungssystem aufstellen lässt, das linear in den gesuchten Kameraparametern ist, die bis auf einen Skalierungsfaktor die einzigen Unbekannten darstellen. Zieht man also Punktkorrespondenzen ggf. aus mehreren Bildern heran, d.h. stellt man mehrere F_j,i aus den Forderungen mi^T F_j,i mj = 0 für Bildpaare i und j auf, so lassen sich die Parameter schnell gewinnen, und die obigen Nachteile des Zugangs über die Projektionsmatrizen treten nicht auf.
Das zu lösende Gleichungssystem lautet:
mit R_j,i als Rotationsmatrix, die die Kameraorientierung des Bildes j in die des Bildes i überführt, also insbesondere R_j,i = R_iR_j ^T oder auch R_j,i = R(τi)R^T(τj). Mit ρ_j,i wird der unbekannte Skalierungsfaktor bezeichnet, der beim Aufstellen der Fundamentalmatrizen nicht bestimmt werden kann. Die erste Matrix auf der rechten Seite von (5) beschreibt die Bildung des Vektorprodukts mit dem Epipol in Bild i, also dem Zielbild der Abbildung analog zur Definition von R_j,i.
Unter bestimmten Voraussetzungen ergeben sich Lösungen von Gleichung (5) in vorteilhafter Weise:
Sind die Hauptpunkte (c_i,x, c_i,y) und (c_j,x, c_j,y) bekannt, lassen sich die Brennweiten f_i und f_j, die Pixelseitenverhältnisse a_i und a_j und die Pixelscherungen s_i und s_j eindeutig aus zwei Bildpaaren bestimmen.
Sind Hauptpunkte und Pixelscherungen gegeben, können Pixelseitenverhältnisse und Brennweiten aus einer einzigen Fundamentalmatrix und den Rotationsinformationen berechnet werden.
Ein Sonderfall ist der einer rotierenden Kamera mit festem Zentrum, d.h. ohne Translation zwischen den Kamerazentren. Für Bilder, die bei einer reinen Drehung der Kamera entstehen, ist kein Epipol definiert, so dass Gleichung (5) nicht anwendbar ist.
Für rotierende Kameras lassen sich die Bildpunkte mi und mj eines Objektpunktes M in den zueinander gedrehten Bildern i und j eindeutig aufeinander abbilden, wie 5 verdeutlicht. Die zugehörige Abbildung wird als Homographie bezeichnet: mi = H∞ j,i mj. (6)
Dabei ist H^∞ _j,i eine 3 × 3-Matrix und die Vektoren m sind wie zuvor die dreidimensionalen Entsprechungen zu den Bildpunkten m in Pixelkoordinaten. H^∞ _j,i kann aus vier unabhängigen Punktkorrespondenzen bis auf einen Skalierungsfaktor bestimmt werden. Es gilt allgemein H∞ j,i = KiRj,i Kj –1 (7)mit denselben Matrizen K_i und R_j,i aus Gleichung (5), und durch Multiplikation von (7) mit K_j von rechts erhält man sofort
wobei der Faktor ρ_j,i als Unbekannte eingeführt wird, wenn man die aus Punktkorrespondenzen ermittelten Homographien in (8) einsetzt. Im Übrigen ist (8) wieder linear in den Kameraparametern, und die Analogie zu (5) ist offensichtlich.
Um in allen Fällen der Kamerabewegung eine vollständige Kalibrierung und eine gleichzeitige Fehlerkorrektur für die Sensordaten zu erreichen wird eine statistische Kalibrierung an die obigen Kalibrierverfahren angeschlossen. Das Ziel ist es, die wahrscheinlichsten Kameraparameter zu schätzen unter Maßgabe der aufgetretenen Messung (Bilder, Rotationsmessungen) und formulierten bekannten Vorbedingungen. Dazu wird ein Fehler minimiert der nur durch das Vorwissen, die Bilder und die Rotationsdaten bestimmt wird. Der Fehler setzt sich zusammen aus einem Term zur Bewertung der Kameraparameter bzgl. der Bilder (Maximum Likelihood), einem Term zur Bewertung der Rotationsdaten und mehreren Termen zur Bewertung des Einhaltens der Vorbedingungen. Die Bewertung der Kameraparameter anhand der Bilddaten erfolgt mit Hilfe der Formeln (6) und (4).
Der Term zur Bewertung der verbesserten Rotation verwendet das Fehlermodell des Rotationsmesssystems, um zu entscheiden, wie wahrscheinlich die aktuell geschätzte Rotation ist bei der aufgetreten Messung. Die weiteren Terme zur Formulierung des Vorwissens können zur Stabilisierung von schlecht bestimmbaren Parametern, wie dem Hauptpunkt benutzt werden. Diese Fehlerfunktion wird dann durch ein nichtlineares Minimierungsverfahren minimiert, um die wahrscheinlichsten Kameraparameter und Rotationsdaten zu bestimmen. Dabei werden die mit den obigen linearen Verfahren bestimmten Kameraparameter und die gemessenen Rotationsdaten als Startwerte benutzt.
Die statistische Kalibrierung berechnet somit eine vollständige Kalibrierung und eine korrigierte Rotationsinformation. Diese korrigierte Rotationsinformation wird benutzt, um die System- und Messfehler des Sensors zu kompensieren.
Im folgenden wird ein Beispiel gegeben:
Für einen Test der Kalibrierung an realen Daten wurden Stillbilder von einer rotierenden Kamera mit und ohne Einsatz des Zooms aufgenommen. In beiden Fällen wurden Hauptpunkt, Pixelscherung und Pixelseitenverhältnis der Kamera als bekannt vorausgesetzt. Die Rotation der Kamera wurde durch Rechnerbefehle gesteuert, so dass die Rotationsinformation aus den Programmvorgaben mit einer Unsicherheit von ca. 0,5° gegeben war. Eine Referenz für die tatsächliche Brennweiteneinstellung wurde manuell ermittelt. Die Brennweite variierte im Verlauf des Zoom-Experiments zwischen 875 und 1232 (gemessen in Pixel). Zoom-bedingte, radiale Bildverzerrungen wurden vor der Selbstkalibrierung korrigiert, was ohne Kenntnis der genauen Brennweite möglich ist.
Aus der Bildsequenz wurden mit Verfahren nach dem Stand der Technik die Homographien mit Hilfe von Gleichung (6) aufgestellt und durch Reprojektion überprüft. Hierbei wurde ein mittlerer Pixelfehler von 0,8 festgestellt.
Tripel von Bildern wurden für die Brennweitenkalibrierungen verwendet. Die Ergebnisse sind in 6 dargestellt. Die gestrichelten Linien geben die Referenzdaten, die soliden Linien die Ergebnisse der Selbstkalibrierungen wieder. Der gemittelte relative Fehler beträgt 3 % im Fall fester Brennweite (6a) und 7 % die zoomende Kamera (6b).
Weiter wurde die Robustheit gegenüber Rauschen untersucht:
Zur Einschätzung der Robustheit der Kalibrierung gegenüber Pixelfehlern und ungenauen Rotationsdaten wurden synthetische Daten erzeugt und gezielt verrauscht.
Für den Fall der rotierenden Kamera wurde eine virtuelle Kamera mit Zentrum im Koordinatenursprung um x- und y-Achse um bis 6° verdreht. Die Kamera beobachtete gleichförmig verteilte, in einem Kubus angeordnete Szenenpunkte und erzeugte berechnete Bilder von 512 × 512 Pixeln. Die Positionen der Bildpunkte wurden gleichförmig um bis zu Pixel verrauscht. Weiterhin wurde die Rotationsinformation um bis zu 2° pro Achse verrauscht. In der virtuellen Kamera waren alle Kameraparameter a priori bekannt, insbesondere wurden f = 415 und a = 1,1 festgelegt.
In den 7a zeigt sich bei einer mittleren Brennweite, die durch die Selbstkalibrierung der verrauschten Bilder errechnet wird, in Abhängigkeit vom Verrauschungsgrad in Pixeln und Drehwinkel. 7b) zeigt die zu 7a) gehörige Varianz der Brennweite. 7c) zeigt das mittlere Pixelseitenverhältnis und 7d) zeigt die zu 7c) gehörige Varianz des Pixelseitenverhältnisses.
Für die frei bewegte Kamera wurden sechs virtuelle Kameras auf einer Kugeloberfläche mit Blickrichtung ins Kugelinnere angeordnet. Die Szenenpunkte wurden zufällig im Kugelinneren verteilt und von den Kameras auf 512 × 512 Pixel abgebildet. Im Übrigen wurden die Bilder wie oben beschrieben verrauscht.
8 zeigt die berechneten Ergebnisse analog zu 7. Insbesondere gelten dieselben Beschreibungen der Einzelabbildungen.
Den 7 und 8 ist zu entnehmen, dass sich die berechneten Kalibrierparameter sehr robust gegenüber Variationen des Drehwinkels < 1° und Pixelfehlern < 1 Pixel verhalten. Die Abhängigkeit vom Winkelfehler ist durchgehend stärker als die vom Pixelfehler. Vergleicht man 7 und 8 direkt, z.B. insbesondere 7b) und 8b), sieht man zudem, dass der Einfluss von Pixelfehlern bei der frei bewegten Kamera größer ist als bei der rotierenden.
Dabei ergibt sich folgender Effekt der statistischen Kalibrierung:
Um den Effekt der statistischen Kalibrierung zu verdeutlichen, wurde die Robustheitsmessung anhand synthetischer Daten für die rotierende Kamera mit f = 415 wiederholt, wobei die y-Komponente des Hauptpunktes nun auf den Wert c_y = 201 (Bildzentrum) gesetzt wurde. Die lineare Kalibrierung berechnete aus den verrauschten Bildern keine robuste Schätzung für c_y, wie man an 9a) gut erkennt. Tatsächlich sind die Resultate für Winkelfehler > 0,5° fast zufällig. Ähnliche Störanfälligkeit zeigten auch die Parameter c_x und s (nicht dargestellt).
Bei der statistischen Kalibrierung wird eine Fehlerfunktion aufgestellt, die es zu minimieren gilt. Unter anderem enthält die Fehlerfunktion einen Summanden, der gegen Null strebt, je näher die Messwerte für den Hauptpunkt bei der jeweiligen Bildmitte liegen, wie es sein muss laut den gewählten Vorgaben. Schließt man die numerische Minimierung dieser Fehlerfunktion (mit Standardprogrammen) der linearen Parameterbestimmung an, so erhält man verbesserte Schätzwerte für die Kameraparameter. Dies soll unter der statistischen Kalibrierung verstanden werden. In vielen praktischen Anwendungen wird man aber auf diesen letzten Optimierungsschritt auch verzichten können, etwa wenn es nur um ein Update der Brennweite geht.
Die statistische Kalibrierung bestimmte den Hauptpunkt und die Pixelscherung auch aus verrauschten Bildern sehr robust, wie man exemplarisch anhand von 9b) im Vergleich zu 9a) gut erkennt. Zugleich wurden auch die ohnehin schon robusten Resultate für Brennweite und Pixelseitenverhältnis weiter stabilisiert. Dies wird z.B. deutlich an der Varianz von f in 10a) (Ergebnis lineare Kalibrierung) und 10b) (Ergebnis statistische Kalibrierung) im direkten Vergleich.

Claims

Verfahren zur Selbstkalibrierung eines Kamerasystems, umfassend wenigstens eine Kamera, nutzend eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurden, und Messdaten der relativen Verdrehung wenigstens einer Kamera zwischen den einzelnen Aufnahmen, wobei die Kameraparameter durch ein lineares Gleichungssystem ermittelt werden, dadurch gekennzeichnet, daß – aus korrespondierenden Punkten in paarweise gewählten Bildern eine erste durch eine Matrix beschreibbare lineare Transformation bestimmt wird, – aus der relativen Verdrehung der wenigstens einen Kamera zwischen denselben gewählten Bildern eine zweite durch eine Matrix beschreibbare lineare Transformation als Repräsentation der Verdrehung bestimmt wird, – beide Matrizen in eine Gleichung eingesetzt werden, die ein in den Kalibrierparametern lineares Gleichungssystem angibt, – weitere als Matrizen beschreibbare lineare Transformationen genauso aus weiteren Bildpaaren so lange bestimmt und eingesetzt werden, bis das lineare Gleichungssystem eindeutig lösbar ist, und – das Gleichungssystem für alle Parameter des Kamerasystems rechnerisch gelöst wird, wobei wenigstens eine Kamera mit einem Rotationssensor zur Erfassung der relativen Verdrehung der Kamera zwischen zwei zeitlich getrennten Aufnahmen verbunden ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Kamerasystem aus mehr als einer Kamera besteht, wobei die festen Positionen und Orientierungen zueinander bekannt sind.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Kamerasystem aus einer oder mehreren frei beweglichen und frei drehbaren Kameras besteht.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß durch Aufstellen einer statistischen Fehlerfunktion mit den Messdaten zur Kameraverdrehung, der aufgenommenen Bilder, der berechneten Kameraparameter und der Vorbedingungen und Optimieren dieser die Orientierungsmessung stabilisiert wird zur Fehlerkompensation des Orientierungsmesssystems.