DE112016000356T5

DE112016000356T5 - Selbstrektifizierung von Stereokameras

Info

Publication number: DE112016000356T5
Application number: DE112016000356.0T
Authority: DE
Inventors: Sylvain Bougnoux
Original assignee: IMRA Europe SAS
Current assignee: IMRA Europe SAS
Priority date: 2015-01-16
Filing date: 2016-01-18
Publication date: 2018-01-11
Also published as: WO2016113429A2; US20180007345A1; JP6769010B2; WO2016113429A4; JP2018508853A; WO2016113429A3

Abstract

In einem Verfahren zur Selbstrektifizierung einer Stereokamera umfasst die Stereokamera eine erste Kamera und eine zweite Kamera, wobei das Verfahren das Erzeugen mehrerer Bildpaare von mehreren ersten Bildern, die durch die erste Kamera aufgenommen werden, beziehungsweise mehreren zweiten Bildern umfasst, die durch die zweite Kamera aufgenommen werden, derart, dass jedes Bildpaar zwei Bilder umfasst, die im Wesentlichen zur selben Zeit durch die erste Kamera beziehungsweise die zweite Kamera aufgenommen werden, wobei das Verfahren für jedes Bildpaar das Erzeugen mehrerer Paare von übereinstimmenden Punkten von entsprechenden Punkten in den zwei Bildern von jedem Bildpaar (S01) umfasst, derart, dass jedes Paar von übereinstimmenden Punkten einen Punkt von dem ersten Bild des entsprechenden Bildpaars und einen Punkt von dem zweiten Bild des entsprechenden Bildpaars umfasst, für jedes Paar von übereinstimmenden Punkten eine Disparität berechnet wird (S03), derart, dass mehrere Disparitäten für jedes Bildpaar erzeugt werden, und die resultierenden Disparitäten zur Selbstrektifizierung berücksichtigt werden.

Description

Technisches Gebiet
Die Erfindung betrifft ein Verfahren zur Selbstrektifizierung einer Stereokamera sowie eine Vorrichtung, die ausgestaltet ist, um ein solches Verfahren durchzuführen, und ein Fahrzeug, das eine solche Vorrichtung umfasst.
In der Folge betrifft der Ausdruck „die Wiederherstellung” eine Schätzung der Parameter eines ausgewählten Rektifizierungsmodells. Die Rektifizierung ist das Äquivalent der Wiederherstellung der entsprechenden Pose P, die als P = [Rt] definiert ist, wobei R eine Drehung ist und t eine Positionskomponente ist, die eine entsprechende Pose zwischen zwei Kameras codiert. P ist eine 3×4-Matrix. H∞ steht für die Homographie einer Ebene im Unendlichen. Der Parameter fB ist das Produkt der Brennweite des rektifizierten Bildes und der Basis (dem Abstand zwischen den zwei Kameras). Ferner werden die horizontalen Winkel zwischen zwei optischen Achsen als der horizontale Schwenk (oder horizontale Schwenkwinkel) bezeichnet; dieser Winkel ist auch als das Gieren bekannt; diese Messung wird manchmal als der Vergenzwinkel des Stereokamerasystems bezeichnet.
Stand der Technik
Ein typisches Anwendungsgebiet für Stereokameras ist das Gebiet der Automobile und insbesondere der Kraftfahrzeuge, wie beispielsweise Personenwägen. Es ist in hohem Maße von Vorteil, wenn solche Stereokameras in der Lage sind, eine Art von Selbstrektifizierung durchzuführen, um die richtige Funktion der Stereokamera zu gewährleisten. Stereokameras in Fahrzeugen sind typischerweise mittels so genannter Stereo-Rigs an Fahrzeugen montiert. Selbstrektifizierung wird typischerweise vorgenommen, um die Kalibrierung/Geometrie eines Stereo-Rigs von seinen Beobachtungen unter natürlichen Bedingungen wiederherzustellen. Die Wiederherstellung kann für eine direkte Schätzung (d. h. nach dem Zusammenbau im Werk) erforderlich sein, oder weil die Kalibrierung aufgrund von unberechenbaren Faktoren, wie beispielsweise Stößen oder Temperatur, vom Werk abgewichen ist.
Selbstrektifizierung gilt indes als schwierig und viele Automobilhersteller haben aufgrund des Kalibrierungsproblems und der Schwierigkeit der Wiederherstellung der Kalibrierung (d. h. des Durchführens von Selbstrektifizierung auf eine zuverlässige Art und Weise) entweder damit aufgehört, Stereosehen zu verwenden, oder einen robusten Kamerarahmen hergestellt, was die Kosten des Systems drastisch erhöht hat. In der Literatur finden sich bestimmte Vorschläge hinsichtlich der Selbstrektifizierung, aber keiner davon ist zufriedenstellend genug, um eine Selbstrektifizierung auf robuste Art und Weise zu erreichen.
Zum Beispiel stellt DE 10 2008 008 619 A1 ein Verfahren zum Kalibrieren eines Stereokamerasystems in einem Fahrzeug vor. Es begrenzt indes das Modell auf drei Parameter. Der horizontale Schwenk wird unter Verwendung eines bekannten Abstands geschätzt. Es ist indes nicht möglich, sich in alltäglichen Fahrsituationen auf dieses Wissen zu verlassen, wodurch die Spannweite der Erfindung begrenzt ist. Es könnte durch Suchen eines Elements des Fahrzeugs (z. B. am Ende der Motorhaube) erfolgen, führt aber zu einem Abstand, der für eine genaue Berechnung zu klein ist.
US 2012 242806 A1 beschreibt ein Stereokamera-Kalibrierungssystem und schlägt vor, die Rektifizierung einfach über vertikale und horizontale Verschiebungen zu korrigieren. Dies eignet sich gut als eine grobe Schätzung. Es ist indes nicht genau genug und wird nicht allen Typen der Dekalibrierung gerecht.
EP 2 026 589 A1 offenbart eine Online-Kalibrierung von Stereokamerasystemen, die feine Vergenzbewegungen umfassen. Sie schlägt eine feine Vergenzkorrektur vor, verwendet aber Stellglieder auf der Stereokamera, wodurch die Spannweite der Erfindung begrenzt und der Rektifizierungsprozess kompliziert wird.
Zu lösende Aufgabe
Wie vorhergehend erwähnt, weisen die Selbstrektifizierungsverfahren für Stereokamerasysteme, die im Stand der Technik bekannt sind, verschiedene Unzulänglichkeiten auf. Insbesondere sind sie nicht sehr zuverlässig und ihre Ausführung in Fahrzeugen ist teuer. Es ist daher eine Aufgabe der Erfindung, ein Selbstrektifizierungsverfahren für Stereokamerasysteme bereitzustellen, das zuverlässig, präzise und in der Ausführung in Fahrzeugen nicht so teuer ist.
Lösung der Aufgabe
Die Aufgabe wird durch ein Verfahren zur Selbstrektifizierung einer Stereokamera gelöst, wobei die Stereokamera eine erste Kamera und eine zweite Kamera umfasst, wobei das Verfahren das Erzeugen mehrerer Bildpaare von mehreren ersten Bildern, die durch die erste Kamera aufgenommen werden, beziehungsweise mehreren zweiten Bildern umfasst, die durch die zweite Kamera aufgenommen werden, derart, dass jedes Bildpaar zwei Bilder umfasst, die im Wesentlichen zur selben Zeit durch die erste Kamera beziehungsweise die zweite Kamera aufgenommen werden. Der Ausdruck „im Wesentlichen zur selben Zeit” ist derart zu verstehen, dass jedes Bildpaar ein Bild, das durch die erste Kamera aufgenommen wird, und ein Bild umfasst, das durch die zweite Kamera aufgenommen wird, wobei die erste Kamera und die zweite Kamera derart synchronisiert sind, dass sie die zwei Bilder zur selben Zeit aufnehmen, wobei eine gewisse Synchronisierung nicht ausgeschlossen werden kann und in einem gewissen Maße akzeptabel ist. Dieses Verfahren zur Selbstrektifizierung umfasst ferner für jedes Bildpaar das Erzeugen mehrerer Paare von übereinstimmenden Punkten von entsprechenden Punkten in den zwei Bildern von jedem Bildpaar, derart, dass jedes Paar von übereinstimmenden Punkten einen Punkt von dem ersten Bild von dem entsprechenden Bildpaar und einen Punkt von dem zweiten Bild von dem entsprechenden Bildpaar umfasst. Mit anderen Worten, entsprechende Punkte in den zwei Bildern von jedem Bildpaar werden abgeglichen, um eine gewisse Anzahl von Paaren von übereinstimmenden Punkten für jedes Bildpaar zu erzeugen. In dieser Hinsicht kann der Ausdruck „Punkt” ein Subpixel oder ein Pixel bezeichnen. In diesem Verfahren der Selbstrektifizierung wird eine Disparität für jedes Paar von übereinstimmenden Punkten berechnet, derart, dass mehrere Disparitäten für jedes Bildpaar erzeugt werden, und die resultierenden mehreren Disparitäten werden in der Selbstrektifizierung berücksichtigt. Der Ausdruck „Disparität” ist hier als der entsprechende horizontale Versatz zwischen zwei Punkten eines bestimmten Paares von übereinstimmenden Punkten, gemessen in Pixeln, zu verstehen. Es ist von Vorteil, vor der Berechnung der Disparitäten eine Rektifizierung der Punkte durchzuführen, die Teil der Paare von übereinstimmenden Punkten bilden. Eine solche Rektifizierung ist ist ein herkömmlicher Prozess, der dem fronto-parallelen Drehen und vertikalen Ausrichten beider Bilder gleichkommt, indem auf jedes Bild eine spezifische Homographie angewandt wird, die von der entsprechenden Pose P abgeleitet wird. Angesichts dieser Rektifizierung ist der Begriff „Disparität” als der entsprechende horizontale (links-rechts) Versatz zwischen den zwei Punkten eines bestimmten Paars von übereinstimmenden Punkten, gemessen in Pixeln in den rektifizierten Bildern, zu verstehen, wobei „links” eine am weitesten links gelegene Kamera des Stereokamerasystems bezeichnet und „rechts” eine am weitesten rechts gelegene Kamera des Stereokamerasystems bezeichnet. Mit anderen Worten, die linke Kamera entspricht typischerweise einem linken Auge und die rechte Kamera entspricht typischerweise einem rechten Auge. Wenn zum Beispiel in die Vorwärtsfahrtrichtung eines Fahrzeugs geschaut wird, auf dem das Stereokamerasystem eingerichtet ist, derart, dass die zwei Kameras horizontal ausgerichtet sind, kann die am weitesten links gelegene Kamera als die linke Kamera bezeichnet werden und die am weitesten rechts gelegene Kamera kann als die rechte Kamera bezeichnet werden. Die Erfindung gründet auf dem Verständnis, dass die gegenwärtig verfügbaren Selbstrektifizierungsverfahren für Stereokameras nicht in der Lage sind, richtig zwischen Szenen im Unendlichen, die auch als Fernszenen bezeichnet werden, (das heißt zum Beispiel Landschaftszenen mit sichtbarem Horizont) und Nahszenen (das heißt, Szenen, die ein nahes Objekt, wie beispielsweise ein Fahrzeug, umfassen, das vor dem Fahrzeug fährt, an dem das Stereokamerasystem eingerichtet ist) zu unterscheiden, dass diese verfügbaren Selbstsrektifizierungsverfahren für Sterekoameras ferner nicht in der Lage sind, den horizontalen Schwenk richtig zu schätzen, dass die gegenwärtig verfügbaren Selbstrektifizierungsverfahren Zahlenprobleme bei der Schätzung der relevanten Parameter zur Selbstrektifizierung aufweisen und dass all diese Probleme besser durch Berechnen der Disparitäten und durch Berücksichtigen der resultierenden mehreren Disparitäten in dem Selbstrektifizierungsverfahren behandelt werden können. Typischerweise werden mindestens 100, vorzugsweise mindestens 200, noch mehr zu bevorzugen mindestens 500 Paare von übereinstimmenden Punkten für jedes Bildpaar erzeugt. Typischerweise werden mindestens 100, vorzugsweise mindestens 200, noch mehr zu bevorzugen mindestens 500 Bildpaare während des Verfahrens erzeugt.
In einer bevorzugten Ausführungsform wird für jedes Bildpaar ein Disparitätshistogramm von den mehreren Disparitäten erzeugt und die Selbstrektifizierung basiert auf diesem Disparitätshistogramm. Auf diese Weise wird für jedes Bildpaar ein Histogramm erzeugt, typischerweise mit Disparitätswerten auf der x-Achse und Größen von jedem Disparitätswert auf der y-Achse. Der Vorteil der Verwendung eines solchen Disparitätshistogramms ist, dass die mehreren Disparitäten für jedes Bildpaar auf eine standardisierte und strukturierte Art und Weise sortiert werden, wodurch die Effizienz und Zuverlässigkeit des Selbstrektifizierungsverfahrens verbessert wird. Die Verwendung eines Histogramms ist indes zwingend erforderlich. Es wäre auch möglich, die mehreren Disparitäten für jedes Bildpaar auf unterschiedliche Art und Weise zu analysieren, zum Beispiel durch direktes Anwenden statistischer Verfahren.
In einer bevorzugten Ausführungsform wird für jedes Bildpaar bestimmt, ob das entsprechende Disparitätshistogramm einen relevanten Spitzenwert an einem negativen Disparitätswert umfasst, wobei auch ein relevanter Spitzenwert an einem leicht positiven Disparitätswert vorzugsweise als ein Spitzenwert an einem negativen Disparitätswert interpretiert wird. In diesem Zusammenhang ist unter dem Ausdruck „relevanter Spitzenwert” ein „Spitzenwert” zu verstehen, „der eine relative Größe aufweist, die höher ist als die relativen Größen der anderen, und/oder eine absolute Größe aufweist, die über einem gewissen Größenschwellenwert liegt”. Vorzugsweise wird bei einer Unklarheit der am weitesten links gelegene Spitzenwert gewählt. Vorzugsweise wird ein Spitzenwert, der eine Größe aufweist, die mindestens 50%, vorzugsweise mindestens 75%, noch mehr zu bevorzugen mindestens 100% höher ist als die Größe des Spitzenwerts mit der zweithöchsten Größe, insbesondere in einem Bereich von negativen und/oder leicht positiven Disparitätswerten, als ein relevanter Spitzenwert betrachtet. In diesem Zusammenhang kann die Größe auch als die Energie bezeichnet werden, die z. B. durch die Population des Spitzenwerts gekennzeichnet ist, der möglicherweise mit einer Konfidenz gewichtet wird, die bei den Übereinstimmungen gewonnen wird. In diesem Zusammenhang ist ein leicht positiver Disparitätswert typischerweise ein Disparitätswert zwischen 0 und 0,6 Pixeln, vorzugsweise zwischen 0 und 0,4 Pixeln, noch mehr zu bevorzugen zwischen 0 und 0,2 Pixeln. Es ist indes auch möglich, lediglich Spitzenwerte an mathematisch negativen Disparitätswerten als Spitzenwerte an negativen Disparitätswerten zu interpretieren. Die Bestimmung von relevanten Spitzenwerten an negativen und/oder leicht positiven Disparitätswerten ist von Vorteil, da die mathematische Theorie, auf der das Selbstrektifizierungsverfahren gründet, im Prinzip kein Auftreten von negativen Disparitätswerten zulässt. Folglich ermöglicht es das Vorhandensein eines relativen Spitzenwerts an einem negativen Disparitätswert, Probleme und/oder Bildpaare, die sich nicht zur Verwendung in dem Selbstausrichtungsverfahren eignen und insbesondere nicht direkt zum Schätzen eines richtigen horizontalen Schwenkwinkels geeignet sind, ohne weitere Verarbeitung zu identifzieren. Mit anderen Worten: Ein Spitzenwert an einem negativen Disparitätswert bedeutet das Vorhandensein eines gewissen Fehlers. Daher kann eine direkte Schätzung des horizontalen Schwenks nicht angewandt werden, aber es ist möglich, den entsprechenden verschiedenen horizontalen Schwenkwert zu korrigieren, um seine Verwendung zur Schätzung eines Gesamtwinkels des horizontalen Schwenks zu ermöglichen. Es ist indes nicht absolut zwingend erforderlich, relevante Spitzenwerte an negativen Disparitätswerten zu identifizieren. Alternativ wäre es auch möglich, überhaupt keine negativen Disparitätswerte zu berücksichtigen oder alle Disparitätswerte zu berücksichtigen.
In einer bevorzugten Ausführungsform umfasst das Verfahren das Bestimmen eines verschiedenen horizontalen Schwenkwerts für jedes Bildpaar, woraus sich mehrere verschiedene horizontale Schwenkwerte ergeben, wobei das Verfahren das Erzeugen mehrerer korrigierter horizontaler Schwenkwerte von den mehreren verschiedenen horizontalen Schwenkwerten, vorzugsweise durch Korrigieren bestimmter verschiedener horizontaler Schwenkwerte und durch Nichtkorrigieren der übrigen verschiedenen horizontalen Schwenkwerte umfasst, und das Verfahren umfasst eine Schätzung eines Gesamtwinkels des horizontalen Schwenks von den mehreren korrigierten horizontalen Schwenkwerten. Mit anderen Worten: Von einer gewissen Menge von verschiedenen horizontalen Schwenkwerten wird eine gewisse Menge von korrigierten horizontalen Schwenkwerten festgestellt, und von dieser Menge von korrigierten horizontalen Schwenkwerten wird ein Gesamtwinkel des horizontalen Schwenks geschätzt. Dies hat den Vorteil, dass die Schätzung des Gesamtwinkels des horizontalen Schwenks statistisch solide gemacht wird. Es wäre indes theoretisch auch möglich, den Gesamtwinkel des horizontalen Schwenks nur von einem verschiedenen horizontalen Schwenkwert und/oder dem korrigierten horizontalen Schwenkwert zu bestimmen. Vorzugsweise werden mindestens 10, noch mehr zu bevorzugen mindestens 100, am meisten zu bevorzugen mindestens 500 verschiedene horizontale Schwenkwerte zum Erzeugen der mehreren korrigierten horizontalen Schwenkwerte und/oder zum Schätzen des Gesamtwinkels des horizontalen Schwenks verwendet. Vorzugsweise ist die Schätzung des Gesamtwinkels des horizontalen Schwenks ein andauernder Prozess in dem Verfahren und/oder der Gesamtwinkel des horizontalen Schwenks wird immer wieder und/oder wiederholt und/oder in einer im Wesentlichen unendlichen Schleife geschätzt.
In einer bevorzugten Ausführungsform wird, wenn ein relevanter Spitzenwert an einem negativen Disparitätswert detektiert wurde, der verschiedene horizontale Schwenkwert des entsprechenden Bildpaars korrigiert, und/oder, wenn kein relevanter Spitzenwert an einem negativen Disparitätswert detektiert wurde, wird der verschiedene horizontale Schwenkwert des entsprechenden Bildpaars nicht korrigiert. Eine Korrektur des horizontalen Schwenks ist im Großen und Ganzen einer translatorischen Bewegung des Bildes gleichwertig. Daher kann jeder verschiedene horizontale Schwenkwert derart korrigiert werden, dass der Spitzenwert im Unendlichen sich an der Disparität 0 befindet. Eine solche Korrektur der verschiedenen horizontalen Schwenkwerte von Bildpaaren, die relevante Spitzenwerte an negativen Disparitätswerten aufweisen, hat den Vorteil, dass die Schätzung des horizontalen Schwenks präziser gemacht wird, da fehlerhafte Daten beseitigt und/oder korrigiert werden. Vorzugsweise wird ein Histogramm von verschiedenen horizontalen Schwenkwerten erzeugt und/oder zur Korrektur der verschiedenen horizontalen Schwenkwerte und/oder zum Schätzen des Gesamtwinkels des horizontalen Schwenks erzeugt.
in einer bevorzugten Ausführungsform wird ein mathematisches Modell, das zum Durchführen des Verfahrens verwendet wird, für jedes Bildpaar aus einer Gruppe von möglichen Modellen ausgewählt, wobei die mehreren Disparitäten berücksichtigt werden, wobei vorzugsweise das Disparitätshistogramm berücksichtigt wird. Die Tatsache, dass die Auswahl des Modells auf den mehreren Disparitäten und/oder dem Disparitätshistogramm basiert, ist von Vorteil, da die Disparitätsverteilung eines Bildpaares verwendet werden kann, um zu bestimmen, ob das Bildpaar eine Nahszene oder eine Fernszene betrifft, und somit kann ein zweckmäßiges Modell für jeden Szenentyp ausgewählt werden. Es ist theoretisch indes auch möglich, ein und dasselbe Modell für jeden Szenentyp zu verwenden und/oder kein adaptives Modell zu verwenden, zum Beispiel in Fällen, in denen Kameras mit spezifischen technischen Parametern und/oder technisch ausgeklügelte Kameras verwendet werden. Vorzugsweise wird ein Modell mit drei Parametern für eine Fernszene ausgewählt und ein Modell mit fünf Parametern wird für eine Nahszene ausgewählt.
In einer weiteren bevorzugten Ausführungsform wird ein mathematisches Modell, das eine Positionskomponente umfasst, von der Gruppe von Modellen ausgewählt, wenn das Histogramm mindestens eine gewisse Menge an großen Disparitäten aufweist, und ein mathematisches Modell ohne Positionskomponente wird von der Gruppe von Modellen ausgewählt, wenn das Histogramm weniger als die gewisse Menge an großen Disparitäten umfasst. Vorzugsweise beträgt diese gewisse Menge mindestens 20%, vorzugsweise mindestens 30%, noch mehr zu bevorzugen mindestens 50% aller Disparitäten und/oder mindestens 50, vorzugsweise mindestens 100, noch mehr zu bevorzugen mindestens 200 Disparitäten. Vorzugsweise wird eine Disparität mit einer Größe von mindestens vier Pixeln, vorzugsweise mindestens sechs Pixeln, mehr zu bevorzugen mindestens zehn Pixeln als eine „große Disparität” betrachtet. Das Basieren der Auswahl des Modells auf der Menge an großen Disparitäten ist von Vorteil, da ein Bild, das eine Nahszene zeigt, typischerweise eine vergleichsweise hohe Menge an großen Disparitäten umfasst. Es ist indes auch möglich, die Modelle auf verschiedene Art und Weise auszuwählen und/oder überhaupt kein adaptives Modell zu verwenden.
In einer bevorzugten Ausführungsform umfasst das Verfahren das Bestimmen eines verschiedenen vertikalen Schwenkwerts für jedes Bildpaar, was mehrere verschiedene vertikale Schwenkwerte ergibt, und das Verfahren umfasst ferner eine Schätzung eines Gesamtwinkels des vertikalen Schwenks von den mehreren verschiedenen vertikalen Schwenkwinkeln. Vorzugsweise umfasst das Verfahren ferner das Bestimmen eines verschiedenen Rollwerts für jedes Bildpaar, was mehrere verschiedene Rollwerte ergibt, und/oder das Verfahren umfasst ferner eine Schätzung eines Gesamtrollwinkels von den mehreren verschiedenen Rollwerten. Darin wird der Gesamtwinkel des vertikalen Schwenks vorzugsweise vor dem Gesamtwinkel des horizontalen Schwenks geschätzt und/oder bevor der Gesamtrollwinkel geschätzt wird, und der Gesamtwinkel des horizontalen Schwenks wird vorzugsweise geschätzt, bevor der Gesamtrollwinkel geschätzt wird. Es ist von Vorteil, zuerst den Gesamtwinkel des vertikalen Schwenks zu bestimmen, da seine Berechnung einfach ist. Es ist von Vorteil, den Gesamtwinkel des horizontalen Schwenks vor dem Gesamtrollwinkel zu bestimmen, da eine Kompensation von Fehlern in der Schätzung des horizontalen Schwenkwinkels unter Berücksichtigung der Disparitäten möglich ist, und so kann der Gesamtwinkel des horizontalen Schwenks zuverlässiger geschätzt werden als der Gesamtrollwinkel und das Bestimmen des Gesamtrollwinkels zum Schluss kann man sich somit als die Einführung des kleinstmöglichen Fehlers vorstellen. Vorzugsweise ist die Schätzung des Gesamtwinkels des vertikalen Schwenks, des Gesamtwinkels des horizontalen Schwenks und/oder des Gesamtrollwinkels ein andauernder Prozess in dem Verfahren und/oder der Gesamtwinkel des vertikalen Schwenks, der Gesamtwinkel des horizontalen Schwenks und/oder der Gesamtrollwinkel wird immer wieder und/oder wiederholt und/oder in einer im Wesentlichen unendlichen Schleife geschätzt. In einer bevorzugten Ausführungsform wird eine Kompensationstabelle für die Selbstrektifizierung berücksichtigt, wobei die Kompensationstabelle mehrere Flusskompensationswerte umfasst, wobei jeder Flusskompensationswert eine Flusskompensation angibt, die potenziell auf einen Punkt von jedem Paar von übereinstimmenden Punkten anzuwenden ist. Die Kompensationstabelle spiegelt typischerweise einen systematischen Fehler der Stereokamera wider. Ein Flusskompensationswert entspricht typischerweise einem vertikalen Versatz von einem bestimmten Punkt in einem Bild, wobei der Versatz entweder positiv oder negativ ist. Die Verwendung einer solchen Kompensationstabelle weist den Vorteil auf, dass ein systematischer Fehler, der während der Rektifizierung auftritt, auf eine besonders einfache und effiziente Art und Weise beseitigt werden kann, wodurch die Qualität der Selbstrektifizierung verbessert wird.
In einer bevorzugten Ausführungsform wird die Flusskompensation lediglich auf ein Bild von jedem Bildpaar, vorzugsweise das rechte Bild von jedem Bildpaar, angewandt, wobei die Flusskompensation den Schritt zur Tessellation des Bildes, auf das die Flusskompensation anzuwenden ist, als ein Raster, vorzugsweise ein 16×12-Raster, wodurch mehrere Zellen, vorzugsweise 192 Zellen, erzeugt werden, wodurch bewirkt wird, dass jeder Punkt des Bildes, auf das die Flusskompensation angewandt wird, in eine bestimmte Zelle fällt, wobei jede Zelle einem Flusskompensationswert der Kompensationstabelle entspricht, und den Schritt zum Anwenden der durch den entsprechenden Flusskompensationswert angegebenen Flusskompensation auf jeden Punkt in jeder Zelle umfasst. Das Ausführen der Flusskompensation auf diese Art und Weise ist von Vorteil, da sie einen guten Kompromiss zwischen Schnelligkeit und Genauigkeit bietet.
In einer bevorzugten Ausführungsform umfasst das Verfahren das Bestimmen eines verschiedenen geometrischen Werts für jedes Bildpaar, wobei der verschiedene geometrische Wert kein horizontaler Schwenkwinkel und kein Rollwinkel und kein vertikaler Schwenkwinkel ist, wobei der verschiedene geometrische Wert vorzugsweise ein Translationswert ist, der mehrere verschiedene geometrische Werte, vorzugsweise Translationswerte, ergibt, und das Verfahren das Schätzen eines geometrischen Gesamtwerts, vorzugsweise einer Gesamttranslation, von den mehreren verschiedenen geometrischen Werten umfasst. Vorzugsweise wird der geometrische Gesamtwert dann während der Selbstausrichtung verwendet. Das Arbeiten mit geometrischen Werten, die weder horizontale Schwenke, noch vertikale Schwenke, noch Rollbewegungen sind, weist den Vorteil auf, dass in dem Fall, in dem eine Kalibrierung, die auf einer Korrektur des horizontalen Schwenks und/oder einer Korrektur des Rollens und/oder einer Korrektur eines vertikalen Schwenks basiert, nicht den gewünschten Effekt aufweist, zusätzliche Kalibrierungsmöglichkeiten geboten werden.
In einer bevorzugten Ausführungsform umfasst das Verfahren eine Prozedur zum Erzeugen der Kompensationstabelle, wobei die Prozedur zum Erzeugen der Kompensationstabelle einen Schritt zum Definieren interner Parameter der Stereokamera mittels einer starken Kalibrierungsprozedur, insbesondere einer Kalibrierungsprozedur umfasst, die ein 3D-Raster und/oder ein Schachbrett verwendet, und vorzugsweise entweder einen Schritt zum Finden eines Bezugswinkels für den horizontalen Schwenk und/oder eines geometrischen Bezugswerts, vorzugsweise einer translatorischen Bewegung, unter Verwendung von 3D-Bezugsabständen, oder einen Schritt zum Finden des Bezugswinkels für den horizontalen Schwenk und/oder des geometrischen Bezugswerts durch Anwenden eines der vorhergehend beschriebenen Schritte zur Selbstrektifizierung, vorzugsweise eines der vorhergehend beschriebenen Schritte zur Korrektur des horizontalen Schwenkwinkels. Das Erzeugen der Kompensationstabelle auf diese Art und Weise weist den Vorteil auf, dass es die Auswahl der besten verfügbaren Kalibrierung zum Erzeugen der Kompensationstabelle ermöglicht. In diesem Zusammenhang bezeichnet der Begriff „Schachbrett” ein Kalibrierungsraster und der Begriff „3D-Bezugsabstände” bezeichnet die Verwendung eines Objekts in einem bekannten Abstand von der Vorrichtung. Dieser bekannte Abstand wird dann mit dem (von dem Stereoalgorithmus) rekonstruierten verglichen und die Kalibrierungsparameter werden derart angepasst, dass der rekonstruierte Abstand passt.
Eine erfindungsgemäße Vorrichtung, insbesondere ein Stereokamerasystem, ist ausgestaltet, um ein erfindungsgemäßes Verfahren durchzuführen. Eine solche Vorrichtung umfasst typischerweise mindestens zwei Kameras, eine Recheneinheit, ein Bussystem, einen Befestigungsabschnitt und/oder ein wasserdichtes Gehäuse.
Ein erfindungsgemäßes Fahrzeug umfasst mindestens eine erfindungsgemäße Vorrichtung.
Ein erfindungsgemäßes Verfahren zum Kompensieren systematischer Fehler in einem nichtlinearen System umfasst einen Schritt zum Lernen systematischer Residuen des nichtlinearen Systems und Speichern entsprechender Kompensationswerte in einer Kompensationstabelle, und einen Schritt zum Verwenden der Kompensationswerte, um die systematischen Fehler beim Schätzen einer Lösung des nichtlinearen Systems lokal zu beseitigen. In diesem Zusammenhang bedeutet der Ausdruck „Lernen systematischer Residuen”, dass trotz der Verwendung der bestmöglichen Parameter eines Modells, an einigen Punkten des Beobachtungsraums eine Zielfunktion ein systematisches Residuum messen kann. Aus diesem Grund ist es möglich, dieses Residuum zu erlernen und zu beseitigen, um zu vermeiden, dass dieses zu einer Verzerrung führt.
In einer bevorzugten Ausführungsform wird ein Beobachtungsraum des nichtlinearen Systems tesselliert, vorzugsweise derart, dass mehrere Zellen erzeugt werden. Eine solche Tessellation weist den Vorteil auf, dass sie einen systematischen, standardisierten und effizienten Ansatz zum Durchführen der Kompensation bietet.
FIGUREN
In der Folge wird die Erfindung mittels Diagrammen und Zeichnungen im Detail beschrieben; es zeigen:
1: eine Zeichnung, die die Parameter „vertikaler Schwenk”, „horizontaler Schwenk” und „Rollen” bildlich veranschaulicht,
2a: ein typisches Flussdiagramm für den horizontalen Schwenk,
2b: ein typisches Flussdiagramm für den vertikalen Schwenk,
2c: ein typisches Flussdiagramm für das Rollen,
3: ein Disparitätshistogramm für ein bestimmtes Bildpaar,
4a: einen Graphen, der verschiedene horizontale Schwenkwerte für mehrere Bildpaare anzeigt,
4b: einen Graphen, der mehrere korrigierte horizontale Schwenkwerte anzeigt,
5: ein Ablaufdiagramm, das eine typische Ausführungsform des erfindungsgemäßen Verfahrens bildlich veranschaulicht, und
6: ein tesselliertes Bild, das mit der erfindungsgemäßen Kompensationstabelle zu verwenden ist.
Beschreibung bevorzugter Ausführungsformen
In einer typischen Ausführungsform des Selbstrektifizierungsverfahrens für ein Stereokamerasystem, das zwei Kameras umfasst, werden die internen Parameter der Kameras als bekannt und konstant betrachtet. In der Praxis trifft dies nicht vollständig zu, aber diese Annahme reicht für die Zwecke der Erfindung aus. Der Grund dafür ist, dass das Anpassen der Parameter der entsprechenden Pose P der Kameras für das Kompensieren kleiner Abweichungen der internen Parameter aufgrund von Überanpassung als ausreichend betrachtet werden kann. Die internen Parameter umfassen klassische lineare Parameter, wie beispielsweise Brennweite, Seitenverhältnis, Bitversatz, Hauptpunkte und die nichtlineare Verzerrung (bei egal welchem ausgewählten Modell, z. B. radial, tangential, äquidistant...). Die Rektifizierung des Stereokamerasystems hängt von diesen Parametern und der entsprechenden Pose P der Kameras ab. Die genaue Art der Durchführung der Rektifizierung wird hier nicht ausdrücklich erwähnt; im Stand der Technik sind viele Algorithmen bekannt. Aber die meisten davon sind abhängig von diesen Koeffizienten oder einer Rekombination davon. Es ist praktisch, die folgende essentielle Matrix E zu verwenden: E = t^R, die die essentielle Geometrie kennzeichnet (die das Gegenstück zur Epipolargeometrie im euklidischen Raum ist) und wobei t eine Positionskomponente darstellt und R eine Drehung darstellt.
Um richtig zu verstehen, wie Stereokameras typischerweise rektifiziert werden, ist es vor allem wichtig, zu verstehen, dass drei Hauptparameter in Stereokamerasystemen vorhanden sind, nämlich das Rollen, der vertikale Schwenk und der horizontale Schwenk. Diese Parameter sind in 1 bildlich veranschaulicht. 1 zeigt ein Modell der Drehung R mit 3 eulerschen Winkeln, wie im Bezugsrahmen der ersten Kamera gesehen, mit einer herkömmlichen Schreibweise für beide Kameras. P₀ = [I₃0₃], und P₁ = P = [Rt].
Wobei P₀ eine 3×4-Matrix ist, die die Pose der rechten Kamera codiert, I₃ die Einheitsmatrix in
^3 ist, O₃ der Nullvektor in
^3 ist, P₁ eine 3×4-Matrix ist, die die Pose der linken Kamera in dem Bezugsrahmen der rechten Kamera codiert, die Drehung R eine 3×3-Matrix in O⁺ (
^3) ist und die Positionskomponente t ein Vektor in
^3 ist.
Basierend auf 1 kann die Drehung R wie folgt ausgedrückt werden: R = R(roll, z)·R(tilt, x)·R(pan, y), wo R(roll, z) die Drehung des Rollwinkels um die z-Achse ist, R(tilt, x) die Drehung des vertikalen Schwenkwinkels um die x-Achse ist und R(pan, y) die Drehung des horizontalen Schwenkwinkels um die y-Achse ist.
Da die Norm der Positionskomponente t nicht durch epipolare Randbedingungen wiederhergestellt werden kann (da sie für die Wahl des Maßstabs der 3D-Rekonstruktion steht), beschreiben zwei Parameter die Positionskomponente t und global fünf Parameter beschreiben eine essentielle Matrix E. Die Norm der Positionskomponente t ist die Basis B; es handelt sich um einen Parameter, von dem ausgegangen wird, dass er fest und bekannt ist.
Der Algorithmus, der in dieser bevorzugten Ausführungsform verwendet wird, besteht in der Erfassung von Bildern von dem Stereokamerasystem; er extrahiert einige Punkte in jedem Bild, gleicht sie ab und sammelt sie möglicherweise von Rahmen zu Rahmen. Nachdem genügend Übereinstimmungen gesammelt wurden und ihre 2D-Verteilung ausreichend ist, werden diese Übereinstimmungen basierend auf der Kenntnis der internen Parameter an den euklidischen Raum gesendet und dann wird die essentielle Matrix E geschätzt. Typischerweise sollte die essentielle Matrix E die epipolaren Randbedingungen m_i0 ^tEm_i1 = 0 erfüllen, wobei m_ij die Übereinstimmung i im entsprechenden Bild 0 oder 1 ist, die in projektiven Koordinaten ausgedrückt ist, d. h. ein Vektor mit der Form (x, y, 1)^t, wobei (x, y) die Koordinate der entsprechenden Achse x und y ist.
vom Bild 0 zum Bild 1 für jede Übereinstimmung i; diese Randbedingungen werden typischerweise mittels des Verfahrens der Quadratsumme der Residuen (Sum of Square Residuals – SSR) minimiert. Dieser Schritt des Verfahrens umfasst ein herkömmliches robustes Schema zum Beseitigen der Ausreißer der Übereinstimmungen.
Bis hier ist der durch das Verfahren verwendete Algorithmus bekannt und kann als herkömmlich betrachtet werden. Aber die resultierende essentielle Matrix E ist zu verrauscht für eine genaue Abstandsschätzung. Die Erfinder haben herausgefunden, dass dieses Rauschen auf mindestens drei Fehlerquellen zurückzuführen ist:

1. Die Auswahl des Modells: Die Erfindung gründet auf dem Verständnis, dass die Auswahl eines zweckmäßigen mathematischen Modells in Verfahren zur Selbstrektifizierung von Stereokamerasystemen äußerst wichtig ist. Die Literatur, z. B. auf dem Gebiet der Automobile, modelliert indes lediglich die Drehung R aber nicht die Positionskomponente t. Die Erfindung gründet ferner auf dem Verständnis, dass dies theoretisch für Szenen im Unendlichen, das heißt Fernszenen, zweckmäßig ist, aber dass für nähere Szenen, z. B. beim Einparken oder bei der Annäherung an ein anderes Fahrzeug, die Positionskomponente t (abhängig vom Parameter fB – Brennweite, Basis) wichtig ist, und durch ihre Vernachlässigung die Wiederherstellung anderenfalls verzerrt wird. Wenn in eine nähere Umgebung eingetreten wird, z. B. statistisch in der Innenstadt oder zu Hause, ist die erhaltene Rektifizierung nicht optimal und kann einen Fehler bei der Wahrnehmung des Abstands zur Folge haben.

Mit anderen Worten: Das Modell der essentiellen Matrix E sollte mit Sorgfalt ausgewählt werden. Tatsächlich stellen die Übereinstimmungen, immer wenn sie in der Ferne liegen, Randbedingungen bereit, die lediglich zur Schätzung der Drehkomponente R der essentiellen Matrix E nützlich sind, und die Positionskomponente t kann nicht geschätzt werden, da keine Translationskomponente unter Betrachtung im Unendlichen geschätzt werden kann und t^R eine Lösung für eine Positionskomponente t ist. Aus diesem Grund sollte das Modell in Abhängigkeit von der Szenensituation drei Parameter (d. h. lediglich die Drehung R) oder fünf Parameter (d. h. die Drehung R und die Positionskomponente t) aufweisen.

2. Die Schwierigkeit der Schätzung des horizontalen Schwenks: Diese Schwierigkeit beruht auf der Verwendung der Epipolargeometrie (siehe unten). Der horizontale Schwenk ist wichtig, da er sich direkt auf die Schätzung der Abstände auswirkt. Im Allgemeinen wird dieses Problem in dem generischen Rektifizierungsverfahren außerhalb der Automobilbranche nicht (und manchmal noch nicht einmal in dieser Branche) angegangen. Tatsächlich verletzt in der ersten Ordnung eine Änderung des horizontalen Schwenks nicht die epipolare Randbedingung, daher die Schwierigkeit. Dies kann in 2a, 2b und 2c beobachtet werden, die Flüsse von herkömmlichen Drehungen zeigen, d. h. wohin die Punkte (die kleinen Punkte) des Bildes (des Rechtecks) unter einer gegebenen Drehung gehen (das Ende der gegebenen Vektoren). Die Drehungen sind ein horizontaler Schwenk/ein vertikaler Schwenk beziehungsweise ein Rollen von 0,1 rad in 2a/2b/2c. Ein Fehler in der Kalibrierung erzeugt einen Fluss; die Frage ist, zu wissen, ob dieser Fluss unter Verwendung des epipolaren Residuums beobachtet werden kann. In 2a sind die Flüsse des horizontalen Schwenks hauptsächlich parallel zu den Zeilen des Bildes (d. h. zu den Epipolarlinien in einem rektifizierten Bildpaar, Beispiel in Rot); aus diesem Grund verletzen in der ersten Ordnung die Flüsse die epipolaren Randbedingungen nicht. Umgekehrt sind für den vertikalen Schwenk (in 2b), die Flüsse hauptsächlich vertikal und aus diesem Grund hauptsächlich orthogonal zu Epipolarlinien und können somit leichter beobachtet werden. In 2c können für das Rollen die Flüsse in Abhängigkeit von der Stelle (nicht in den mittleren oberen y-|unteren x-Bereichen, wo sie hauptsächlich horizontal ist, aber in den zentralen linken x-|rechten y-Bereichen, wo sie hauptsächlich vertikal ist) beobachtet werden. Die Literatur schreibt eine Sicht der Unendlichkeit vor, z. B. durch Fahren lediglich auf Schnellstraßen, die es ermöglicht, die Drehung R als H∞ zu sehen. Dies ändert die epipolare Randbedingung (Punkt zu Linie) als eine Homographie-Randbedingung (Punkt zu Punkt). Aber was passiert, wenn der Horizont, z. B. durch ein anderes Fahrzeug, verborgen wird, ist nicht klar. Dieses Problem verzerrt die bekannten Selbstrektifizierungsverfahren stark.

Mit anderen Worten: Der horizontale Schwenk (der auch als der Vergenzwinkel oder das Gieren bezeichnet wird), ist schwierig zu bekommen, da eine Änderung des horizontalen Schwenks nicht die epipolaren Randbedingungen verletzt (siehe 2).

3. Die Zahlenprobleme: Diese Probleme entstehen in der Schätzung der betroffenen Parameter, da alle diese Parameter nicht orthogonal sind (sie beeinflussen einander) und da sie in manchen Fällen bedeutungslos sind (Überanpassungsproblem). Die Literatur schlägt trotz der Minimierung einer Kostenfunktion (im Allgemeinen der quadratische Mittelwert (engl. Root Mean Square – RMS) oder als Äquivalent ein SSR) der Residuen der epipolaren Randbedingungen oder der Residuen von H∞ oder der Reprojektionsfehler) oder eines Kalman–Filters kein dediziertes numerisches Schema vor. Insbesondere bestehen die folgenden Typen von Zahlenproblemen:
- – Die epipolare Randbedingung ist die einzige universelle Randbedingung, da sie nicht auf starr (statisch) oder eine Szene im Unendlichen begrenzt ist; aus diesem Grund ist ihre Verwendung weit verbreitet. Sie ist indes nicht unterscheidend genug für die feine Schätzung des horizontalen Schwenks, da in der ersten Ordnung eine Störung des horizontalen Schwenks die epipolare Randbedingung einer rektifizierten Kamera (horizontale Verschiebung – seltener vertikaler Fluss) nicht verletzt – siehe 2.
- – Die Residuen von H∞ sind auf die entfernte Umgebung begrenzt, z. B. auf Schnellstraßen, oder erfordern ein robustes Schema zum Sortieren in nahe/entfernte Umgebung, insbesondere da die Grenze zwischen nah und entfernt nicht definiert ist.
- – Die Reprojektionsfehler (unter Verwendung einer herkömmlichen Bündelblockausgleichungstechnik) erfordert zeitlichen Abgleich, Posenschätzungen und ihre Ausregelung ist komplex, um nicht zu sagen umständlich. Sie führen eine weitere erhebliche Fehlerquelle ein und die Qualität des Abgleichs hängt von der Umgebung ab. Aus diesem Grund gestaltet sich die Verwendung dieser Technik in alltäglichen Situationen als schwierig.
- – Das Kalaman-Filter ist nicht immer sachdienlich, da weder das Modell noch die Beobachtungen linear sind, aber auch, da für den Belief des Zustands nicht die gaußsche Verteilung gilt; dies sind alles theoretische Voraussetzungen einer solchen Technik. Die Verzerrungen (z. B. aufgrund potentiell falscher interner Parameter und der übereinstimmenden Ausreißer) stören intuitiv die Fähigkeit des Filters, insbesondere, da die verschiedenen Parameter in hohem Maße korreliert sind.

Das numerische Schema ist ein Kernpunkt, da der horizontale Schwenk nicht genau wiederhergestellt werden kann. Aus diesem Grund kann, da die Parameter einander leicht kompensieren können, die Wiederherstellung in die Irre geführt werden und die Interpretation von Statistiken, wie beispielsweise RMS oder Flüssen, wird schwieriger.
Mit anderen Worten: Das numerische Schema sollte angepasst werden, da die Energie flach und voller lokaler Minima ist, da die Parameter einander in Abhängigkeit von Verzerrungen beim Abgleich oder unter der Hypothese bekannter interner Parameter kompensieren können.
5 gibt einen Überblick über eine bevorzugte Ausführungsform der Erfindung. Sie zeigt ein Ablaufdiagramm, das ein typisches Selbstrektifizierungsverfahren für ein Stereokamerasystem bildlich darstellt. Die Selbsrektifizierungsfunktion kann fortlaufend (z. B. mittels einer Endlosschleife) in dem Stereokamerasystem ausgeführt werden oder kann auf Aufforderung oder in bestimmten Intervallen ausgeführt werden.
Nachdem das Selbstrektifizierungsverfahren gestartet wurde, werden im Schritt S01 Paare von übereinstimmenden Punkten basierend auf jeweiligen entsprechenden Punkten in einem durch eine erste Kamera aufgenommenen Bild und einem durch eine zweite Kamera aufgenommenen Bild erzeugt. Diese Bilder werden am im Wesentlichen selben Zeitpunkt durch die zwei Kameras aufgenommen und bilden ein Bildpaar. Im Schritt S02 werden die größten Ausreißer von diesen Paaren von übereinstimmenden Punkten entfernt. Im Schritt S03 wird dann entschieden, ob die gegenwärtige Szene, d. h. die Szene, die dem gegenwärtigen Bildpaar entspricht, eine Fernszene oder eine Nahszene ist. Dies erfolgt z. B. durch Berechnung einer Disparität für jedes Paar von übereinstimmenden Punkten, durch Erzeugen eines Disparitätshistogramms basierend auf den berechneten Disparitäten, durch Entscheiden, dass die Szene eine Nahszene ist, wenn mindestens 50% aller Disparitäten größer als zehn Pixel sind, und durch Entscheiden, dass die Szene eine Fernszene ist, wenn weniger als 50% aller Disparitäten größer als zehn Pixel ist.
Im Schritt S04 wird ein Modell einer essentiellen Matrix E basierend auf der in Schritt S03 getroffenen Entscheidung ausgewählt. Insbesondere wird ein Modell mit drei Parametern (d. h. lediglich die Drehung R) ausgewählt, wenn eine Fernszene behandelt wird, und ein Modell mit fünf Parametern (d. h. die Drehung R und die Positionskomponente t) wird ausgewählt, wenn eine Nahszene behandelt wird.
Mit anderen Worten, in den Schritten S03 und S04 wird das Modell an drei oder fünf Parameter angepasst. Wenn drei Parameter ausgewählt werden, ist indes immer noch eine Positionskomponente t erforderlich. Es ist entweder möglich, die gegenwärtige Schätzung (d. h. die Schätzung, die in der vorhergehenden Iteration des Selbstrektifizierungsverfahrens verwendet wurde) zu behalten oder eine künstliche zu verwenden, wie beispielsweise: t = sqrt(R)·(–B,0,0)^t, die über die Fähigkeit verfügt, Bildbilddeformation beim Rektifizieren der Bilder zu minimieren. Die Wahl des Modells ist abhängig von der Verteilung der Disparität (zwischen den linken & rechten Bildern). Wenn diese Verteilung genügend große Disparitäten enthält, dann muss die Positionskomponente t in das Modell aufgenommen werden, anderenfalls muss es entfernt werden. Dazu wird die Population der großen Disparitäten mit einem gegebenen Schwellenwert verglichen. Im Schritt S05 wird die essentielle Matrix E dann robust geschätzt, was bedeutet, dass erneut einige Ausreißer festgestellt und beseitigt werden können. Im Schritt S06 wird geprüft, ob die Anzahl der Paare von übereinstimmenden Punkten des gegenwärtigen Bildpaars höher als ein gegebener Schwellenwert ist. Wenn nicht genügend Übereinstimmungen vorhanden sind, wird die gegenwärtige Iteration der Selbstrektifizierungsfunktion gestoppt.
Wenn genügend Übereinstimmungen vorhanden sind, werden die Schritte S07 bis S29 ausgeführt. Da der vertikale Schwenk der stabilste Parameter ist (da die erzeugen Ströme direkt orthogonal zu den Epipolarlinien sind – siehe 2), wird er zuerst, nämlich in den Schritten S07 bis S08, geschätzt. Dazu wird der vertikale Schwenk für das gegenwärtige Bildpaar geschätzt (siehe Schritt S07) und seine Schätzung wird von Rahmen zu Rahmen und/oder von Bildpaar zu Bildpaar in ein Histogramm kumuliert, siehe Schritt S08. Immer wenn ein Spitzenwert in diesem Histogramm erscheint, das heißt, wenn der Gültigkeitstest in Schritt S09 zutrifft, wird der Wert dieses Spitzenwerts als die Schätzung des vertikalen Schwenks tilt0 im Schritt S10 akzeptiert. Anderenfalls wird die gegenwärtige Schätzung des vertikalen Schwenks tilt0 beibehalten, das heißt, sie wird nicht aktualisiert. Dann wird hintereinander eine Schätzung der essentiellen Matrix E mit dem gegebenen vertikalen Schwenk neu berechnet (d. h. es sind dann, je nachdem, ob die Positionskomponente t verwendet wird oder nicht, 4 oder 2 Parameter vorhanden).
Dann wird der vertikale Schwenk in den Schritten S12 bis S13 geschätzt. Dies erfolgt auf die folgende Art und Weise: Für die gegenwärtige essentielle Matrix E wird die Verteilung der Disparitäten der Paare von übereinstimmenden Punkten analysiert, insbesondere mittels eines Disparitätshistogramms. 3 zeigt ein Beispiel eines solchen Disparitätshistogramms. Insbesondere zeigt 3 ein Beispiel eines Histogramms der Disparität um d = 0 (die x-Achse ist die Disparität, die y-Achse ist die Population). Um d = –1,3 ist ein Spitzenwert bei der Population vorhanden, was nicht aktzeptabel ist. Die Population auf der linken Seite des Spitzenwerts beruht auf einem kleinen Fehler bei der Übereinstimmung, die Population auf der rechten Seite kann als die verschiedenen Objekte der Szene interpretiert werden. Tatsächlich offenbart diese Population statistisch einen Spitzenwert um 0. Nun wird die Tatsache genutzt, dass wir für eine Disparität d d ≥ 0 haben müssen. Wenn die Stelle des Spitzenwerts unter 0 (d. h. auf der negativen Seite) ist, dann ist er nicht akzeptabel und der horizontale Schwenk kann derart korrigiert werden, dass dieser Spitzenwert zu 0 gelangt. Dies kann durch translatorische Verschiebung der Disparität, z. B. durch Addieren eines Versatzes, erfolgen, was gleichwertig wie die Addition eines Versatzes x_offset horizontal zu den Punkten des Bildes ist. Da wir es mit kleinen Winkeln zu tun haben, ist in der ersten Ordnung die horizontale translatorische Verschiebung entlang von x gleichwertig wie eine vertikale Drehung entlang y. Aus diesem Grund ist es möglich, eher den horizontalen Schwenk anstatt die Disparität zu korrigieren. Diese findet sich mit der Brennweite f: Pan_offset ≅ x_offset/f, wobei x_offset der Versatz ist, der erforderlich ist, um den Spitzenwert des Unendlichen translatorisch auf 0 zu verschieben, f die Brennweite und pan_offset die Korrektur zum Anpassen des horizontalen Schwenks ist.
Die vorherige Schätzung des horizontalen Schwenks wird dann unter Verwendung von pan_new ← pan_old + pan_offset korrigiert, wobei hier pan_old die gegenwärtige Schätzung des horizontalen Schwenks für dieses bestimmte Bildpaar ist und pan_new der korrigierte horizontale Schwenk ist, d. h. derjenige, der zu einem Spitzenwert der Disparität bei 0 führt. Dadurch wird eine vorteilhafte Verzerrung in der Population der geschätzten horizontalen Schwenke eingeführt. Wenn zum Beispiel der geschätzte horizontale Schwenk um seinen wahren Wert herum läge, dann würde dieses Schema die Population der guten horizontalen Schwenke stark verstärken. Es sei auch erwähnt, dass, wenn x_offset ≥ 0, die Szene derart interpretiert werden kann, dass sie ein nahes Objekt aufweist. In dieser Situation wird der horizontale Schwenk nicht korrigiert, er ist akzeptabel, aber es besteht immer noch eine zweideutige Situation (in dem Sinne, dass der horizontale Schwenk ungenau bleiben kann, doch dies bleibt unbekannt).
Mit anderen Worten, im Schritt S12 wird ein verschiedener horizontaler Schwenkwert für das gegenwärtige Bildpaar bestimmt. Da die Funktion von 5 immer wieder wiederholt wird, werden somit mehrere verschiedene horizontale Schwenkwerte erzeugt. Ferner werden von diesen verschiedenen horizontalen Schwenkwerten (die in 4a für unterschiedliche Bildpaare gezeigt sind), mehrere korrigierte horizontale Schwenkwerte (die in 4b gezeigt sind), vorzugsweise unter Verwendung des vorhergehend umrissenen Verfahrens zur Korrektur des horizontalen Schwenks erzeugt. Zum Durchführen der Korrektur wird, immer noch im Schritt S12, ein Disparitätshistogramm, wie in 3 gezeigt, für das gegenwärtige Bildpaar erzeugt. Wenn dieses Disparitätshistogramm einen relevanten Spitzenwert an einem negativen Disparitätswert zeigt (z. B. einen Wert von –1,3, wie in 3 gezeigt), dann wird der verschiedene horizontale Schwenkwert des gegenwärtigen Bildpaares korrigiert und dieser korrigierte verschiedene horizontale Schwenkwert wird während der Schätzung des Gesamtwinkels des horizontalen Schwenks, insbesondere durch Addieren dieses korrigierten verschiedenen horizontalen Schwenkwerts zu den mehreren korrigierten horizontalen Schwenkwerten, berücksichtigt. In einer bevorzugten Ausführungsform werden auch Spitzenwerte in dem Disparitätshistogramm an leicht positiven Disparitätswerten, zum Beispiel Disparitätswerten von bis zu 0,5 Pixeln, als Spitzenwerte an negativen Disparitätswerten interpretiert. Mit anderen Worten: Auch wenn für ein bestimmtes Bildpaar ein Spitzenwert an einem leicht positiven Disparitätswert vorhanden ist, kann es von Vorteil sein, eine Korrektur des entsprechenden verschiedenen horizontalen Schwenkwerts vorzunehmen und den resultierenden korrigierten horizontalen Schwenkwert zu den mehreren korrigierten horizontalen Schwenkwerten zu addieren.
Diese Art der Schätzung des horizontalen Schwenks gründet auf dem Verständnis, dass die Schätzung des horizontalen Schwenks größtenteils instabil ist. Statistisch befahren Fahrzeuge, wenn sie fahren, Orte mit Sichtbarkeit in die Ferne (aber es kann sein, dass diese Situationen, dass heißt, zum Beispiel wenn sie auftreten, nicht bewusst sind). In diesem Sinne wurde herausgefunden, dass die Population der Paare von übereinstimmenden Punkten sich häufig im Unendlichen akkumuliert (theoretisch ist die Unendlichkeit nicht zugänglich, aber die zahlenmäßige Unendlichkeit, d. h. Übereinstimmungen mit sehr geringer Disparität, liegt, je nach Parameter fB, bei 20, 50 oder 100 m).
Im Schritt S13 wird von den mehreren korrigierten horizontalen Schwenkwerten ein Gesamtwinkel für den horizontalen Schwenk geschätzt. Das heißt, auf ähnliche Weise wie bei der Schätzung des vertikalen Schwenks, wird die Schätzung des horizontalen Schwenks von Rahmen zu Rahmen und/oder von Bildpaar zu Bildpaar in einem Histogramm akkumuliert. Immer wenn ein Spitzenwert in diesem Histogramm erscheint, das heißt, wenn der Gültigkeitstest in Schritt S14 zutrifft, wird der Wert dieses Spitzenwerts als die Schätzung des horizontalen Schwenks pan0 im Schritt S15 akzeptiert. Anderenfalls wird die gegenwärtige Schätzung des vertikalen Schwenks pan0 beibehalten, das heißt, sie wird nicht aktualisiert.
Dann wird im Schritt S16 die essentielle Matrix E mit dem gegebenen vertikalen Schwenk und horizontalen Schwenk für das Rollen neu berechnet und die Rollwerte werden in einem Histogramm akkumuliert (Schritte S17 und S18). Wenn ein Spitzenwert auftritt, wird dieser Wert als eine Schätzung des Rollens angenommen (Schritte S19 und S20). In diesem Stadium wurde ein neuer Kandidat für die Drehung R erhalten und die essentielle Matrix E wird im Schritt S21 neu zusammengesetzt. Dann wird in den Schritten S22 bis S25 eine neue Positionskomponente t basierend auf der Drehung R geschätzt, wenn erforderlich – das heißt, wenn die gegenwärtige Szene im Schritt S03 als eine Nahszene eingestuft wurde – und wenn herausgefunden wurde, dass die Positionskomponente t gültig ist (siehe Schritt S24), werden die gegenwärtig verwendete Positionskomponente t0 und die gegenwärtig verwendete essentielle Matrix im Schritt S25 aktualisiert. Die Positionskomponente t wird z. B. durch Zusammensetzen eines linearen Systems in der Positionskomponente t von den epipolaren Randbedingungen und unter Verwendung der bekannten Drehung R geschätzt. Die neue (R, t) erzeugt einen neuen Kandidaten für die essentielle Matrix E. Dieser neue Kandidat für die essentielle Matrix E wird im Schritt S26 mit der alten essentiellen Matrix E (d. h. dem gegenwärtigen Belief) verglichen. Wenn statistisch, z. B. durch Zählen über aufeinander folgende Rahmen, die neue essentielle Matrix E hinsichtlich der epipolaren Residuen besser ist als die alte, dann wird die neue essentielle Matrix E angenommen und wird in den Schritten S27 und S28 das gegenwärtige Belief. Im Schritt 29 werden die gesammelten Ausreißer von den möglicherweise gesammelten Übereinstimmungen beseitigt.
In der vorhergehend dargestellten Ausführungsform wird das Problem daher unter Verwendung eines adaptiven Modells und durch statistisches Bewerten des horizontalen Schwenks unter Nutzung der Randbedingung d ≥ 0 gelöst. Statistisch bedeutet dies, dass der horizontale Schwenk nicht auf jedem Rahmen sondern auf einer Reihe von Rahmen bewertet wird, sobald genügend entfernte Punkte beobachtet werden können. „Entfernt” ist abhängig von dem Rig, kann aber zum Beispiel 20 m oder 40 m bedeuten. Ferner wird ein numerisches Schema verwendet, das die beteiligten Parameter hierarchisch aufeinander folgend bewertet.
Genauer gesagt, werden ein adaptives Modell, das sich selbst gemäß der Szene anpasst und die Spezifizitäten des Rigs verwendet. Das adaptive Modell wählt automatisch für jeden Rahmen die optimalen Parameter in Abhängigkeit von der Situation. Es gründet auf der Bewertung der Verteilung der Disparität. Wenn die Population an großen Disparitäten stark genug ist, wird die Positionskomponente t hinzugefügt; anderenfalls wird sie beseitigt und z. B. durch eine künstliche Positionskomponente t ersetzt.
Ferner wird eine statistische Lösung für die Schätzung des horizontalen Schwenks verwendet, die in allen „epipolaren Verfahren”, insbesondere für Rigs mit kleiner Basis, eine große Schwierigkeit darstellt. Dies erfolgt durch Suchen nach dem Spitzenwert der Population der Disparität im Unendlichen. Durch Identifizieren dieses Spitzenwerts erzeugt sie eine andere Schätzung des horizontalen Schwenks. Dann ermöglicht die Nutzung der Randbedingung d ≥ 0 (die Disparität ist in der Theorie immer positiv und negative Werte deuten auf mögliche Fehler hin) das statistische Korrigieren der Schätzung des horizontalen Schwenks und das Einführen einer vorteilhaften Verzerrung in der Population ihrer Schätzung.
Ferner wird ein kohärentes numerisches Schema mit hierarchischen Bewertungen der Parameter angewandt. Die Parameter spielen weder dieselbe Rolle, noch leiden sie unter denselben Schwierigkeiten. Eine Möglichkeit ist die aufeinander folgende Schätzung von zuerst dem vertikalen Schwenk, dann dem horizontalen Schwenk, dann dem Rollen und dann möglicherweise der Positionskomponente t. Bei jedem Schritt muss eine ausreichende Akkumulierung der kohärenten Schätzung gesammelt werden. Letztendlich wird die Lösung beibehalten, die statistisch das beste Residuum aufweist.
Zur Optimierung der Qualität der erfindungsgemäßen Selbstrektifizierung ist es ferner möglich, einen gewissen systematischen Fehler zu berücksichtigen, der durch eine gewisse Unzulänglichkeit des angewandten Modells eingeführt werden kann. In der Tat haben die Erfinder überraschenderweise herausgefunden, dass es unter gewissen Umständen möglich ist, dass, wenn das vorhergehend beschriebene Verfahren eingesetzt wird, bestimmte systematische vertikale Verschiebungen oder Versatze zwischen den zwei Punkten von einigen Paaren von übereinstimmenden Punkten auftreten können. Die vertikalen Verschiebungen werden auch einfach als „Fluss” bezeichnet (wohingegen die horizontalen Versatze als „Disparitäten” bezeichnet werden) und weisen einen in hohem Maße negativen Effekt auf die Qualität der Selbstrektifizierung auf. Es ist aus diesem Grunde wünschenswert, diese systematischen Flussfehler zu beseitigen.
Um die systematischen Flussfehler zu korrigieren, wird eine Kompensationstabelle während der Residualbewertung festgelegt, das heißt die systematischen Fehler des Systems werden erlernt und entsprechende Versatzwerte, die als Flusskompensationswerte bezeichnet werden, werden in die Kompensationstabelle geschrieben. Durch Kompensation der systematischen Fehler über die Verwendung der Flusskompensationswerte wird das Signal-Rausch-Verhältnis der Residuen erhöht. Daher ist die Selbstrektifizierung stabiler.
Das Beseitigen der systematischen Fehler mittels einer solchen Kompensationstabelle ist in der Folge mit mehr Details beschrieben.
Die Flusskompensation gründet auf dem Gedanken, dass, wenn die meisten der übrigen vertikalen Flüsse lokal systematisch sind, es möglich ist, diese zu untersuchen, mit anderen Worten, sie zu „erlernen”, und dann etwaige weitere Schätzungen der Residuen zu kompensieren.
Zuerst wird das Bild, in dem die Flusskompensation durchzuführen ist, als ein 16×12-Raster tesselliert. Jedes Feld wird eine Zelle genannt. Diese Tessellation ist nur im Bezugsbild (dem rechten) wirksam; die Disparität im linken Bild wird im Vergleich zur Breite der Zelle als allgemein klein erachtet. Aus diesem Grund fällt als eine erste Annäherung irgendein Paar von übereinstimmenden Punkten in die durch seine rechte Komponente im rechten Bild definierte Zelle. In jeder Zelle werden die Paare von übereinstimmenden Punkten (oder die Punkte von jedem Paar von übereinstimmenden Punkten, die dem rechten Bild entsprechen) einer vollständigen Sequenz gesammelt und die lokalen Residuen werden untersucht. Der Medianwert wird als das lokale Modell der Residuen genommen. Wenn die Standardabweichung der Residuen zu stark ist oder wenn der Median sich zu sehr von denjenigen in seiner Nachbarschaft unterscheidet, wird diese Zelle übersprungen. Deshalb muss eine triviale Sprungtabelle, d. h. die Identifikation von einigen Zellen, wo Übereinstimmungen abgelehnt werden, eingeführt werden. Dies ist in 6 bildlich dargestellt, wo ein Bild, das die Sprungtabelle gelesen hat, gezeigt ist, und Zellen, die zu überspringen sind, mit einem Kreuz markiert sind. Es sei erwähnt, dass die übersprungenen Zellen auf den fernen Rand fallen, wo der Bildkreis beobachtet werden kann, (in diesem Fall) falsche Punkte von Interesse erzeugen kann. Für die anderen Zellen, die vollständig durch das Bild bedeckt sind, wird angenommen, dass die Qualität des Projektionsmodells abseits des Mittelpunkts grob wird. Es wird auch eine Zentralsymmetrie vorgeschrieben. Es sei erwähnt, dass beim Umgang mit Fischaugenlinsen die Epipole sich innerhalb oder in der Nähe des Bildes befinden können und nahe gelegene Punkte während des Rektifizierungsprozesses entlang der y-Richtung ins Unendliche gesendet werden, wodurch ihre entsprechenden Residuen oder ihre y-Flüsse unverwendbar werden. Dies erklärt allgemein ihre Verwerfung. Nachdem die Sprungtabelle festgelegt wurde, wird die Kompensationstabelle selbst festgestellt, indem der angenommene mediane y-Fluss pro Zelle gespeichert wird. Wenn später irgendwelche epipolaren Randbedingungen zum Schätzen der essentiellen Geometrie bewertet werden, werden die Residuen durch eine vertikale Translationsbewegung jedes Punktes mit dem entsprechenden erlernten Fluss kompensiert. Es sei erwähnt, dass die Kompensationstabelle in diesem Stadium von der ausgewählten Kalibrierung abhängig ist.
Durch die Verwendung der Kompensationstabelle wird die Schätzung des horizontalen Schwenks (und der anderen Winkel) typischerweise stabiler als ohne deren Verwendung. Es ist schwierig, die Stabilität quantitativ zu messen, z. B. weil die Standardabweichung nicht robust ist und durch isolierte starke Fehler in die Irre geführt wird.
Die Erfinder haben indes auch inkohärente horizontale Schwenke pan₀ und pan_∝ beobachtet. Tatsächlich wurde nach der Anwendung der Kompensationstabelle eine Diskrepanz von etwa 0,8° zwischen diesen zwei horizontalen Schwenken festgestellt. Deshalb ist die Frage natürlich die folgende: „Welcher ist der richtige?”
Es ist sinnvoll, Kohärenz zu erwarten. Gemäß dem 3D-Abstand ist der horizontale Schwenk pan_∝ richtig. Gemäß der starken Kalibrierungsprozedur ist indes der horizontale Schwenk pan₀ richtig. Da dies schwierig zu entscheiden ist, kann die folgende Interpretation gegeben werden.
Es ist schwierig, einen Parameter derart abzustimmen, dass der horizontale Schwenk pan₀ der horizontale Schwenk pan_∝ wird. Umgekehrt ist es einfach, einen Parameter derart abzustimmen, dass der Abstand bewahrt wird und dass der horizontale Schwenk pan_∝ der horizontale Schwenk pan₀ wird. Tatsächlich waren die Erfinder wie viele andere bislang davon ausgegangen, dass die internen Parameter als fest und bekannt betrachtet werden können. Viele Autoren nehmen an, dass für eine erfolgreiche Schätzung der Überanpassung bei epipolaren Systemen das System auf die Schätzung von E reduziert werden muss, oder, mit anderen Worten, dass E einen großen Teil der Verformungen des Stereo-Rigs bewältigen kann. Dies kann für einige Ausgestaltungen der Fall sein, aber nicht für diejenige, die der vorliegenden Erfindung zugrunde liegt. Wenn hier ein Bild leicht in horizontaler Richtung translatorisch verschoben wird und der horizontale Schwenk in die entgegengesetzte Richtung geändert wird, können diese zwei Verformungen in der ersten Ordnung kompensiert werden. Die Hauptpunkte, insbesondere die Komponente u₀ (die einer horizontalen translatorischen Bewegung ihres Bildes entspricht), scheint ein guter Kandidat zur Bewältigung dieser Verformung zu sein.
Gemäß der Zentralprojektion tanθ = x/f gilt somit in der ersten Ordnung für kleine Winkel θ = x/f. Daher werden, wenn wir u₀ mit: u₀' ← u₀ + fΔθ ändern, der horizontale Schwenk pan₀ und der horizontale Schwenk pan_∞ kohärent und der 3D-Abstand wird bewahrt (hier stammt das u₀ von der linken Kamera und Δθ = θ_∝ – θ₀, wenn das u₀ der rechten Kamera geändert werden soll, muss das Vorzeichen umgekehrt werden). Tatsächlich ist die Schätzung des horizontalen Schwenks pan₀ auf den ersten Blick nicht wirklich abhängig von kleinen horizontalen translatorischen Bewegungen eines Bildes. Umgekehrt ist dies beim horizontalen Schwenk pan_∝ der Fall, da er direkt von den beobachteten Disparitäten abhängt.
Tatsächlich ist es, wenn eine Wärmewirkung berücksichtigt wird (z. B. wie in „Fiedler, D. & Müller, H. Impact of thermal and environmental conditions an the kinect sensor. LNCS 7854: 21–31, 2013” vorgeschlagen), das Auftreten einer Verformung des u₀ so wahrscheinlich wie eine Änderung der relativen Ausrichtung oder sogar der Brennweite. In Abhängigkeit von der Qualität der Montage kann irgendeine Art von Veränderung auftreten. Wenn das Bild durch Wärmeverformung translatorisch bewegt wird und das heißt, das diese translatorische Bewegung besser durch das u₀ modelliert wird, wenn der Spitzenwert der Unendlichkeit auf der negativen Seite liegt, dann kann eine Abstimmung der Rektifizierung lediglich mit E (je nach erwarteter Genauigkeit) ausreichen; wenn der Spitzenwert indes auf der positiven Seite liegt, könnte es besser sein, stattdessen das u₀ abzustimmen. Dies veranschaulicht die Schwierigkeit der feinen Schätzung der Rektifizierung. Die Schwierigkeit besteht in der Auswahl der Parameter für den Ausgleich zwischen unter/überangepassten Systemen. Es sei erwähnt, dass diese Auswahl von der Verformung und von den Szeneninhalten abhängig ist (z. B. kann das t nicht für Punkte in der Ferne geschätzt werden).
Da zwei u₀ vorhanden sind, nämlich eins pro Bild, besteht eine Frage darin, welches bewegt werden soll. Wie kleine Veränderungen behandelt werden (die Rede ist auch hier von ein paar Zehntel Pixeln und auch hier wird ein Problem der Überanpassung erörtert), ist es möglich, einen davon beliebig zu bewegen; oder beide werden mit der Hälfte der erforderlichen Veränderung erledigt; oder derjenige, der sich in Richtung der Bildmitte bewegt; oder derjenige, der weiter entfernt liegt, oder irgendein anderer.
Wie vorhergehend erwähnt, zählt die gewählte Kalibrierung, wenn die Kompensationstabelle erlernt wird. Da diese Tabelle zum Schätzen der Kalibrierung (oder eines Teils davon) eingeführt wird, haben wir hier das Problem „des Huhns & des Eis”.
Um dieses Problem zu behandeln, wird das folgende Verfahren zum Erstellen der Kompensationstabelle verwendet:

#1 Es werden die internen Parameter genommen, wie durch ein starkes Kalibirerungsverfahren, d. h. unter Verwendung eines 3D-Rasters/Schachbretts, vorgeschlagen.
#2 Es wird ein horizontaler Schwenk pan_ref unter Verwendung von 3D-Abständen gefunden. Es kann sein, dass es sich dabei nicht um den „richtigen” horizontalen Schwenk handelt, aber es handelt sich um die beste Schätzung, die in diesem Stadium verfügbar ist.
#3 Es wird eine sich bewegende Sequenz mit vielen Paaren von übereinstimmenden Punkten, insbesondere entfernt gelegenen, hergestellt (z. B. ein paar 100k, das heißt z. B. 500000 Paare von übereinstimmenden Punkten).
#4 Schätzen der „besten” Parameter (horizontaler Schwenk, vertikaler Schwenk, Rollen & t) über die Sequenz, sowie des horizontalen Schwenks pan_∝ (wobei diese Parameter die vorhergehend eingeführten Parameter, wie in 5 beschrieben, betreffen). Wenn der horizontale Schwenk pan_∝ ausreichend klar ist, wird überprüft, ob er mit dem horizontalen Schwenk pan_ref kohärent ist. Wenn nicht, wird derjenige genommen, dem am meisten vertraut wird (in Abhängigkeit von den verschiedenen Fehlerquellen vom Versuchsaufbau). Dann wird die Inkohärenz zwischen den zwei horizontalen Schwenken Δθ bewertet und der u₀ entsprechend aktualisiert, wie vorhergehend erklärt.
#5 Rektifizierung aller Übereinstimmungen mit der identifizierten Kalibrierung (aktualisiertes u₀, „beste” Parameter).
#6 Lernen des übrigen Flusses, wie vorhergehend erklärt.
#7 Nur zur Überprüfung, erneuter Start der vollständigen Schätzung auf der Sequenz unter Verwendung der Kompensationstabelle. Dabei sollte ein stabilisierter horizontaler Schwenk beobachtet werden.
#8 Wenn sich die stabilisierte Schätzung des horizontalen Schwenks zu sehr von dem bei #5 verwendeten horizontalen Schwenk unterscheidet, kann von der Stufe #5 zum Lernen des Flusses mit diesem neuen horizontalen Schwenk, möglicherweise mit dem neuen u₀, geschaltet werden.

Was die vorhergehend erwähnte Tessellation betrifft, kann ein normales 16×12-Raster verwendet werden, was für eine 720P-Auflösung zu 80×60 Pixeln pro Zelle führt. Dieses Raster sollte nicht zu fein sein, um ein statistisches Lernen des übrigen Flusses zu ermöglichen. Derweil haben die Erfinder mit dieser Spezifikation auch eine sich wiederholende Struktur in dem übrigen Fluss (d. h. in dem systematischen Fehler) beobachtet. Tatsächlich kann pro Zelle eine zentrifugale Verteilung des übrigen Flussvorzeichens (d. h. positiv oder negativ) beobachtet werden. Diese sich wiederholende Struktur beweist, dass:

• In der Kompensationstabelle eine globale Tendenz/Stetigkeit vorhanden ist.
• Diese 16×12-Auflösung etwas zu grob ist, um die Kompensation genau abzutasten.

Die Analyse wurde nicht weiter vertieft; obgleich sie nicht optimal ist, ermöglicht diese Auflösung Schätzungen des horizontalen Schwenks, die genau genug sind. Derweil wurde bemerkt, dass diese Struktur beim Aufdecken eines guten vertikalen Schwenks helfen könnte. Tatsächlich erzeugte ein unterschätzter vertikaler Schwenk einen negativen Fluss auf der linken oberen Ecke und einen positiven Fluss auf der rechten oberen Ecke des Bildes; und umgekehrt auf der Grundlinie. Aus diesem Grund kann, wenn dieses Farbmuster horizontal ausgeglichen ist, ein guter Schwenk erwartet werden. Ferner wurde ein zweites Muster in den systematischen Fehlern beobachtet: Bei der Betrachtung einer Spalte von Zellen auf den Bildseiten können zwei Cluster (nämlich positive und negative Flusspopulationen) beobachtet werden, die größtenteils durch eine gerade Linie getrennt sind. Wenn diese Linie nach links gebogen ist, ist der horizontale Schwenk unterschätzt; wenn umgekehrt diese Linie nach rechts gebogen ist, ist der horizontale Schwenk überschätzt. Eine vertikale Linie bewertet die gute Schätzung des horizontalen Schwenks. Selbstverständlich ist dies ein subjektives und qualitatives Kriterium, aber es hat sich in der Praxis als interessant erwiesen.
Die Erfinder haben ferner herausgefunden, dass das zugrunde liegende Konzept der vorhergehend erwähnten Kompensationstabelle, die während der Selbstrektifizierung einer Stereokamera verwendet wird, verallgemeinert werden kann.
Tatsächlich besteht der Hauptgedanke unseres Verfahrens darin, zu sagen, dass ein gewisser Abschnitt der Residuen einen Teil der relevanten Informationen verbirgt. In der Tat beruhen Residuen auf Rauschen in den Beobachtungen (z. B. den Übereinstimmungen), falschen Parameterwerten (denjenigen, die der Problemlöser abstimmt, z. B. die E-Parameter) und der Wahl eines falschen Modells (z. B. der Wahl der internen Parameter). Mit anderen Worten, wenn ein falsches Modell sich zu nachteilig auswirkt, besteht die beste Lösung nicht im Minimum der Zielfunktion (z. B. dem RMS). Das Verfahren, das hier vorgeschlagen wird, verringert die Bedeutung der Frage der Ausreißer, der gewählten Norm, der Konvergenz oder des Vorhandenseins eines lokalen Minimums im Vergleich zur Frage der Auswahl des Modells. Die Schwierigkeiten bei der Auswahl solcher Systeme beruhen eher auf einer falschen Auswahl des Modells. Die Auswahl eines guten Modells ist indes schwierig. Es bestehen typischerweise einige Schwierigkeiten bei der Verwendung von AIC, insbesondere, wenn die Frage der Unter/Überanpassung von den Beobachtungen abhängt. Eine falsche Wahl des Modells (im vorliegenden Fall des internen Kalibrierungsmodells) erzeugt zu starke Residuen, die die Lösung zu sehr beeinflussen. Da dieser Einfluss von den Beobachtungen abhängig ist (z. B. dem Ort der Übereinstimmungen), ist es möglich, eine instabile Lösung (z. B. eine instabile epipolare Geometrie) zu beobachten. Zum Beispiel werden mehr Übereinstimmungen in der linken oberen Ecke im Vergleich zur rechten oberen Ecke des Bildes in Abhängigkeit von der Genauigkeit des Modells dazu tendieren, den horizontalen Schwenk zu unter/überschätzen.
Eine generische Lösung besteht im Lernen dieser systematischen Residuen und in ihrer lokalen Beseitigung in weiteren Schätzungen. Diese Lösung wird immer funktionieren, wenn der Beobachtungraum tesselliert werden kann (wie vorhergehend für das Zellenraster beschrieben) und ein systematisches Residuum statistisch geschätzt werden kann (wie vorhergehend für den Median beschrieben). In diesem Fall kann dieses systematische Residuum lokal erlernt werden und bei zukünftigen Schätzungen lokal beseitigt werden.
Dies erklärt auch, warum einige synthetische Modelle häufig viel besser funktionieren als die realen Situationen. Weil in den synthetischen Modellen die Residuen selten aufgrund einer falschen Auswahl des Modells eingeführt werden. In den Residuen ist ein Signal-Rausch-Verhältnis vorhanden; herkömmlicherweise führen die Beobachtungen ein (z. B. weißes oder gaußches) Zufallsrauschen ein, aber der Fehler in dem Modell führt ein systematisches Rauschen ein, wodurch die Lösung verzerrt wird. Wenn die Beobachtungen sich bewegen, sind die Verzerrungen unterschiedlich, was eine instabile Lösung zur Folge hat. Durch Beseitigung dieses systematischen Rauschens erhöhen wir einfach das Signal-Rausch-Verhältnis der Residuen und erhalten eine stabilere Lösung.

Claims

Verfahren zur Selbstrektifizierung einer Stereokamera, a) wobei die Stereokamera eine erste Kamera und eine zweite Kamera umfasst, b) wobei das Verfahren das Erzeugen mehrerer Bildpaare von mehreren ersten Bildern, die durch die erste Kamera aufgenommen werden, beziehungsweise mehreren zweiten Bildern umfasst, die durch die zweite Kamera aufgenommen werden, derart, dass jedes Bildpaar zwei Bilder umfasst, die im Wesentlichen zur selben Zeit durch die erste Kamera beziehungsweise die zweite Kamera aufgenommen werden, c) wobei das Verfahren für jedes Bildpaar das Erzeugen mehrerer Paare von übereinstimmenden Punkten von entsprechenden Punkten in den zwei Bildern von jedem Bildpaar umfasst (S01), derart, dass jedes Paar von übereinstimmenden Punkten einen Punkt von dem ersten Bild des entsprechenden Bildpaars und einen Punkt von dem zweiten Bild des entsprechenden Bildpaars umfasst, dadurch gekennzeichnet, dass d) für jedes Paar von übereinstimmenden Punkten eine Disparität berechnet wird (S03), derart, dass mehrere Disparitäten für jedes Bildpaar erzeugt werden, und die resultierenden mehreren Disparitäten für die Selbstrektifizierung berücksichtigt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für jedes Bildpaar ein Disparitätshistogramm von den mehreren Disparitäten erzeugt wird (S03) und die Selbstrektifizierung auf diesem Disparitätshistogramm basiert (S03, S12).
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für jedes Bildpaar bestimmt wird, ob das entsprechende Disparitätshistogramm einen relevanten Spitzenwert an einem negativen Disparitätswert umfasst (S12), wobei auch ein relevanter Spitzenwert an einem leicht positiven Disparitätswert vorzugsweise als ein Spitzenwert an einem negativen Disparitätswert interpretiert wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass: a) das Verfahren das Bestimmen eines verschiedenen horizontalen Schwenkwerts für jedes Bildpaar umfasst (S12), was mehrere verschiedene horizontale Schwenkwerte ergibt, b) das Verfahren das Erzeugen mehrerer korrigierter horizontaler Schwenkwerte von den mehreren verschiedenen horizontalen Schwenkwerten, vorzugsweise durch Korrigieren gewisser verschiedener horizontaler Schwenkwerte und durch Nichtkorrigieren der übrigen verschiedenen horizontalen Schwenkwerte (S12), umfasst, und c) das Verfahren eine Schätzung eines Gesamtwinkels für den horizontalen Schwenk von den mehreren korrigierten horizontalen Schwenkwerten umfasst (S13).
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass wenn ein relevanter Spitzenwert an einem negativen Disparitätswert detektiert wurde, der verschiedene horizontale Schwenkwert des entsprechenden Bildpaars korrigiert wird, und/oder, wenn kein relevanter Spitzenwert an einem negativen Disparitätswert detektiert wurde, der verschiedene horizontale Schwenkwert des entsprechenden Bildpaars nicht korrigiert wird (S12).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein mathematisches Modell, das zum Durchführen des Verfahrens verwendet wird, für jedes Bildpaar aus einer Gruppe von möglichen Modellen ausgewählt wird (S04), wobei die mehreren Disparitäten berücksichtigt werden, wobei vorzugsweise das Disparitätshistogramm berücksichtigt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass: a) ein mathematisches Modell, das eine Positionskomponente (t) umfasst, von der Gruppe von Modellen ausgewählt wird, wenn das Histogramm mindestens eine gewisse Menge an großen Disparitäten umfasst (S04), und b) ein mathematisches Modell ohne eine Positionskomponente (t) von der Gruppe von Modellen ausgewählt wird, wenn das Histogramm weniger als die gewisse Menge an großen Disparitäten umfasst (S04).
Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass: a) das Verfahren das Bestimmen eines verschiedenen vertikalen Schwenkwerts für jedes Bildpaar umfasst (S07), was mehrere verschiedene vertikale Schwenkwerte ergibt, und b) das Verfahren eine Schätzung eines Gesamtwinkels für den vertikalen Schwenk von den mehreren verschiedenen vertikalen Schwenkwerten umfasst (S07), c) das Verfahren das Bestimmen eines verschiedenen Rollwerts für jedes Bildpaar umfasst, was mehrere verschiedene Rollwerte ergibt (S12), und/oder d) das Verfahren eine Schätzung eines Gesamtrollwinkels von den mehreren verschiedenen Rollwerten umfasst (S12), e) wobei der Gesamtwinkel des vertikalen Schwenks vorzugsweise vor dem Gesamtwinkel des horizontalen Schwenks und/oder vor dem Schätzen des Gesamtrollwinkels geschätzt wird, und f) wobei der Gesamtwinkel des horizontalen Schwenks vorzugsweise geschätzt wird, bevor der Gesamtrollwinkel geschätzt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Kompensationstabelle für die Rektifizierung berücksichtigt wird, wobei die Kompensationstabelle mehrere Flusskompensationswerte umfasst, wobei jeder Flusskompensationswert eine Flusskompensation angibt, die potenziell auf einen Punkt von jedem Paar von übereinstimmenden Punkten anzuwenden ist.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Flusskompensation nur auf ein Bild von jedem Bildpaar, vorzugsweise das rechte Bild von jedem Bildpaar, angewandt wird, wobei die Flusskompensation die folgenden Schritte umfasst: a) Tessellieren des Bildes, auf das die Flusskompensation anzuwenden ist, als ein Raster, vorzugsweise ein 16×12-Raster, wodurch mehrere Zellen, vorzugsweise 192 Zellen, erzeugt werden, wodurch bewirkt wird, dass jeder Punkt des Bildes, auf den die Flusskompensation angewandt wird, in eine bestimmte Zelle fällt, wobei jede Zelle einem Flusskompensationswert der Kompensationstabelle entspricht, b) Anwenden der durch den entsprechenden Flusskompensationswert angegebenen Flusskompensation auf jeden Punkt in jeder Zelle.
Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass das Verfahren das Bestimmen eines verschiedenen geometrischen Werts für jedes Bildpaar umfasst, wobei der verschiedene geometrische Wert kein horizontaler Schwenkwinkel und kein Rollwinkel und kein vertikaler Schwenkwinkel ist, wobei der verschiedene geometrische Wert vorzugsweise ein Translationswert ist, der mehrere verschiedene geometrische Werte, vorzugsweise Translationswerte, ergibt, und das Verfahren das Schätzen eines geometrischen Gesamtwerts, vorzugsweise einer Gesamttranslation, von den mehreren verschiedenen geometrischen Werten umfasst.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass das Verfahren eine Prozedur zum Erzeugen der Kompensationstabelle umfasst, wobei die Prozedur zum Erzeugen der Kompensationstabelle die folgenden Schritte umfasst: a) Definieren interner Parameter der Stereokamera mittels einer starken Kalibrierungsprozedur, insbesondere einer Kalibrierungsprozedur, die ein 3D-Raster und/oder ein Schachbrett verwendet, und vorzugsweise b) entweder Finden von einem Bezugswinkel für den horizontalen Schwenk und/oder einem geometrischen Bezugswert, vorzugsweise eine translatorische Bewegung unter Verwendung von 3D-Bezugsabständen, oder c) Finden des Bezugswinkels für den horizontalen Schwenk und/oder des geometrischen Bezugswerts durch Anwenden der Schritte nach einem der Ansprüche 1 bis 8.
Vorrichtung, insbesondere ein Stereokamerasystem, die ausgestaltet ist, um ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Fahrzeug, das eine Vorrichtung nach Anspruch 13 umfasst.
Verfahren zum Kompensieren systematischer Fehler in einem nichtlinearen System, wobei das Verfahren die folgenden Schritte umfasst: a) Erlernen systematischer Residuen des nichtlinearen Systems und Speichern entsprechender Kompensationswerte in einer Kompensationstabelle, b) Verwenden der Kompensationswerte zum lokalen Beseitigen der systematischen Fehler beim Schätzen einer Lösung des nichtlinearen Systems.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass ein Beobachtungsraum des nichtlinearen Systems tesselliert wird, vorzugsweise derart, dass mehrere Zellen erzeugt werden.