DE102010005265A1

DE102010005265A1 - Verfahren zur überlagerten Darstellung korrespondierender Bilder und Bildaufnahmevorrichtung

Info

Publication number: DE102010005265A1
Application number: DE102010005265A
Authority: DE
Inventors: Matthias 79117 Schmieder
Original assignee: Testo SE and Co KGaA
Current assignee: Testo SE and Co KGaA
Priority date: 2010-01-20
Filing date: 2010-01-20
Publication date: 2011-07-21

Abstract

Bei dem Verfahren zur überlagerten Darstellung korrespondierender, in unterschiedlichen Spektralbereichen von einer Szene aufgenommenen Bilder (7, 8) ist vorgesehen, in den aufgenommenen Bildern (7, 8) lokale Merkmale zu extrahieren, die extrahierten Merkmale zu jeweils unterschiedlichen Bildern (7, 8) zu vergleichen und so zuzuordnen, dass eine optimale Übereinstimmung besteht, und aus den ermittelten Zuordnungen (11) eine Überführungsfunktion zu berechnen, durch welche diejenigen Bildbereiche (9, 10) der Bilder (7, 8), für welche die Zuordnungen (11) Paarungen der extrahierten Merkmale beschreiben, zur Deckung gebracht werden (4).

Description

Die Erfindung betrifft ein Verfahren zur überlagerten Darstellung korrespondierender Bilder, wobei von einer Szene ein erstes Bild in einem ersten Spektralbereich und ein zweites Bild in einem zweiten Spektralbereich aufgenommen werden, wobei der erste Spektralbereich von dem zweiten Spektralbereich verschieden ist.
Die Erfindung betrifft weiter eine Bildaufnahmevorrichtung mit einer ersten Aufnahmeeinrichtung, die zur Aufnahme eines ersten Bildes in einem ersten Spektralbereich ausgebildet ist, und einer zweiten Aufnahmeeinrichtung, die zur Aufnahme eines zweiten Bildes in einem zweiten Spektralbereich ausgebildet ist, wobei der erste Spektralbereich verschieden von dem zweiten Spektralbereich ist.
Es ist bekannt, bei Wärmebildkameras zusätzlich zu dem IR-Sensorfeld eine VIS-Kamera für Aufnahmen im sichtbaren Bereich vorzusehen, mit welcher das tatsächlich von der Wärmebildkamera erfasste IR-Messfeld kontrolliert werden kann. Um diese Kontrolle zu ermöglichen, werden üblicherweise die optischen Achsen der IR-Messeinrichtung und der VIS-Kamera sorgfältig so zueinander ausgerichtet, dass Bildbereiche der mit der VIS-Kamera aufgenommenen VIS-Bilder zu entsprechenden Bildbereichen in den mit dem IR-Sensorfeld aufgenommenen, korrespondierenden IR-Bildern zugeordnet werden können. Dies verlangt eine aufwendige mechanische Feineinstellung der optischen Aufnahmeeinrichtungen. Da die optischen Achsen notwendig gegeneinander versetzt sind, kann die Zuordnung nur für einen begrenzten Bereich des Aufnahmeabstands gültig sein.
Der Erfindung liegt die Aufgabe zugrunde, ein bildgebendes Verfahren bereitzustellen, welches eine einfache Kontrolle des tatsächlich mit einer Wärmebildkamera erfassten Szenenausschnitts ermöglicht.
Zur Lösung dieser Aufgabe ist erfindungsgemäß bei einem Verfahren der eingangs genannten Art vorgesehen, dass in dem ersten Bild und dem zweiten Bild jeweils wenigstens ein Bildbereich ausgewählt wird, dass zu den ausgewählten Bildbereichen jeweils wenigstens ein Merkmal extrahiert wird, dass die zu dem ersten Bild extrahierten Merkmale mit den zu dem zweiten Bild extrahierten Merkmalen verglichen werden und Paare von Merkmalen gebildet werden, wobei jedes Paar ein Merkmal zu dem ersten Bild und ein Merkmal zu dem zweiten Bild enthält und wobei die Paare eine Zuordnung von Merkmalen des ersten Bildes zu Merkmalen des zweiten Bildes beschreiben, für welche in dem Merkmalsvergleich eine optimale Übereinstimmung ermittelt wurde, dass eine Überführungsfunktion zwischen dem ersten Bild und dem zweiten Bild berechnet wird, welche Überführungsfunktion für die gebildeten Paare die Bildbereiche des ersten und des zweiten Bildes, aus denen jeweils die Merkmale extrahiert wurden, einander zuordnet, und dass die Überführungsfunktion zur überlagerten Darstellung des ersten und des zweiten Bildes auf das erste und/oder das zweite Bild angewendet wird. Die Überführungsfunktion definiert somit eine Zuordnung von korrespondierenden Bildbereichen, insbesondere Bildpunkten, der beiden Bilder zueinander, durch welche die Bilder zur Deckung gebracht werden können.
Erfindungsgemäß können die Bildbereiche jeweils aus einem einzelnen Bildpunkt bestehen oder eine Umgebung mit einer Vielzahl von Bildpunkten umfassen.
Unter einem Merkmal (feature) wird hierbei ein Satz charakteristischer, invarianter Daten verstanden, die mit Methoden der Bild- und/oder Signalverarbeitung aus den aufgenommenen und digital bereitgestellten Bildern abgeleitet sind. In diesem Sinne können die Merkmale auch als Merkmalsvektoren mit einer Mehr- oder Vielzahl von Daten vorliegen. Beispielsweise können Merkmale als Kanten, geometrische Formen, Muster, Bildausschnitte und dergleichen gegeben sein.
Die Extraktion von Merkmalen kann mit Deskriptoren, wie zum Beispiel SIFT (Scale-Invariant Feature Transform, Skaleninvariante Merkmalstransformation), SURF (Speed Up Robust Features-Algorithmus), LaplacianOfGaussian, DifferenceOfGaussian oder einfachen Korrelationsverfahren wie der (normierten) Kreuzkorrelation, erfolgen.
Die Erfindung bietet den Vorteil, dass eine Überlagerung von an sich in unterschiedlichen Spektralbereichen aufgenommenen Bildern automatisiert ohne aufwendige manuelle Nachbearbeitung erstellt werden kann.
Beispielsweise kann vorgesehen sein, dass als erster Spektralbereich ein infraroter Spektralbereich verwendet wird. Es kann weiter vorgesehen sein, dass als zweiter Spektralbereich ein sichtbarer Spektralbereich verwendet wird. Von Vorteil ist dabei, dass das erfindungsgemäße Verfahren somit in Wärmebildkameras mit zusätzlicher VIS-Kamera eingesetzt werden kann. Es kann auch umgekehrt als erster Spektralbereich ein sichtbarer und als zweiter Spektralbereich ein infraroter Spektralbereich verwendet werden.
Dadurch, dass die Erfindung die Extraktion von Merkmalen aus Bildbereichen vorsieht, kann die Berechnung der Entsprechung zwischen den beiden Bildern lokal erfolgen, und es können als Überführungsfunktion auch nicht-starre Transformationsvorschriften (sogenannte non-rigid deformations) berechnet werden. Für die ausgewählten Bildbereiche, die auch nur jeweils ein einzelnes Pixel umfassen können, werden somit Stützstellen für die Überführungsfunktion ermittelt. Die Überführungsfunktion kann anschließend in einem Interpolations- und/oder Anpassungsverfahren ermittelt werden. Hierdurch können auch Effekte der Tiefenstaffelung und der Parallaxe in der aufzunehmenden Szene sowie optische Abbildungsfehler und Verzerrungen korrekt berücksichtigt werden.
Um verlässliche Ergebnisse zu erzielen, kann vorgesehen sein, dass für das erste Bild und/oder für das zweite Bild wenigstens ein Pixelwertebereich vorgegeben wird, wobei nur Bildbereiche verarbeitet werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen. Somit können kontrastarme Bildbereiche von der Berechnung der Überführungsfunktion ausgenommen werden, was die Fehlerrate reduziert. Es können auch beispielsweise nur solche Bildbereiche zur Berechnung der Überführungsfunktion herangezogen werden, für welche die Temperaturwerte des IR-Bildes in einem vorgegebenen Wertebereiche liegen, um nur die aktuell für eine Messung interessierenden Bildbereiche zu überlagern.
Es kann auch vorgesehen sein, dass für das erste Bild und/oder für das zweite Bild wenigstens ein Pixelwertebereich vorgegeben wird, wobei nur Bildbereiche in der überlagerten Darstellung überlagert dargestellt werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen. Von Vorteil ist dabei, dass uninteressante Bildbereiche von der Überlagerung ausgenommenen werden können, wobei in diesen Bildbereichen nur eines der zwei Bilder ohne Überlagerung dargestellt werden kann.
Um die Überlagerung weitestgehend automatisiert berechnen zu können, kann vorgesehen sein, dass die Bildbereiche mit einem Merkmalsanalysealgorithmus derart ausgewählt werden, dass für die ausgewählten Bildbereiche jeweils wenigstens ein signifikantes Merkmal extrahierbar ist. Der Benutzer muss in diesem Fall nicht einmal bei der Auswahl der Bildbereiche eingreifen, für welche die Stützstellen für die Überführungsfunktion ermittelt werden sollen.
Eine Lösung der Aufgabe von eigenständiger Bedeutung kann bei einem Verfahren der eingangs genannten Art vorsehen, dass in dem ersten Bild und in dem zweiten Bild jeweils ein erster Bildbereich ausgewählt wird, dass im ersten Bildbereich für die Überlagerung des ersten Bildes mit dem gegenüber dem ersten Bild mit einer Transformation transformierten zweiten Bild der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als ein erster Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass ein zweiter Bildbereich festgelegt wird, der von dem ersten Bildbereich verschieden ist, dass im zweiten Bildbereich für die Überlagerung des ersten Bildes mit dem gegenüber dem ersten Bild mit einer Transformation transformierten zweiten Bild der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als zweiter Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass in einem Interpolationsverfahren weitere Parameter für zwischen dem ersten und zweiten Bildbereich liegende weitere Bildbereiche ermittelt und diesen weiteren Bildbereichen zugeordnet werden und dass die Überlagerung des ersten Bildes mit dem zweiten Bild erzeugt wird, indem eine Überführungsfunktion mit den ausgewählten bzw. ermittelten, lokalen Parametern berechnet und als lokale Transformation auf das erste Bild und/oder das zweite Bild angewendet wird. Hierbei werden somit zunächst die ersten Bildbereiche als Bildbereiche ausgewählt, und es werden weitere Bildbereiche ausgewählt, indem wenigstens einer der ersten Bildbereiche wie beschrieben durch eine lokale Transformation transformiert wird. Anschließend werden die Bildinhalte der ausgewählten Bildbereiche verglichen, indem für die jeweilige Überlagerung der Wert einer Gütefunktion berechnet wird. Wenn diese Gütefunktion einen optimalen Wert annimmt, so wird eine optimale Übereinstimmung der betrachteten Bildbereiche erkannt, und es ergibt sich aus den zugehörigen Parametern der lokalen Transformation eine Stützstelle für die letztendlich benötigte Überführungsfunktion. Diese kann nun für einige und/oder alle verbleibenden Bildpunkte berechnet werden. Diese Überführungsfunktion beschreibt wegen der lokalen Berechnungen im Allgemeinen eine nicht-starre Transformation. Somit ist es möglich, auch Effekte einer Parallaxe, der Tiefenstaffelung und/oder von Abbildungsfehlern in den Bildern zu berücksichtigen und zu korrigieren. Durch eine zusätzliche Beschränkung auf lokale affine Transformationen kann der bei den Berechnungen benötigte Parameterraum beträchtlich verkleinert werden, wodurch die Rechenzeit und der Rechenaufwand verringert werden kann.
Erfindungsgemäß kann vorgesehen sein, dass für das Interpolationsverfahren die ermittelten Stützstellen einem Bildpunkt in dem jeweiligen Bildbereich zugeordnet werden.
Die Gütefunktion kann hierbei eine Kreuzkorrelation, insbesondere zwischen den Bildinhalten, errechnen.
Es kann vorgesehen sein, dass an den Stützstellen des Interpolationsverfahrens als Überführungsfunktion eine Homographie evaluiert wird.
Ein besonders resourcensparendes Verfahren kann vorsehen, dass als Transformationen jeweils lokale Verschiebungstransformationen ausgeführt werden, insbesondere wobei als Parameter jeweils Verschiebungsvektoren verwendet werden.
Um eine möglichst genaue Übereinstimmung der korrespondierenden Bilder in der Überlagerung zu erreichen, kann vorgesehen sein, dass die weiteren Bildbereiche als jeweils ein Bildpunkt ausgewählt werden. Es ist somit eine pixelgenaue Berechnung der Überführungsfunktion möglich.
Insbesondere bei Verwendung nicht-punktförmiger Bildbereiche kann vorgesehen sein, dass im ersten Bildbereich und/oder im zweiten Bildbereich weitere Bildbereiche für das Interpolationsverfahren ausgewählt werden. Von Vorteil ist dabei, dass die Überführungsfunktion auch in denjenigen Bildbereichen, für welche zunächst die Stützstellen berechnet wurden, modifiziert werden kann, wenn dies zur Verbesserung der Qualität der Überlagerung erforderlich ist.
Es kann vorgesehen sein, dass im Interpolationsverfahren ein Parameter- oder Verschiebungsvektorfeld ermittelt wird. Hierbei wird unter einem Parameter- oder Verschiebungsvektorfeld die Zuordnung eines (möglicherweise variierenden) Parameters bzw. Verschiebungsvektors zu jedem Bildpunkt verstanden. Somit kann die Überführungsfunktion sogar sub-pixelgenau definiert werden.
Besonders günstig ist es, wenn das erste Bild und das zweite Bild gleichzeitig aufgenommen werden. Somit sind die Abweichungen in den jeweils aufgenommenen Szenen voneinander möglichst gering, wodurch optimale Überlagerungen erstellt werden können.
Es kann vorgesehen sein, dass der erste Bildbereich und/oder der zweite Bildbereich nach Aufnahme des ersten Bildes und/oder des zweiten Bildes festgelegt werden. Von Vorteil ist dabei, dass die Auswahl auf den jeweils aufgenommen Bildinhalt abgestimmt werden kann.
Alternativ oder zusätzlich kann vorgesehen sein, dass der erste Bildbereich und/oder der zweite Bildbereich mit einem hinterlegten Auswahlalgorithmus automatisch festgelegt werden. Dies kann beispielsweise durch die Vorgabe von Pixelwertebereichen und/oder durch Identifikation von Bildbereichen, für welche signifikante Merkmale extrahiert werden können, erfolgen.
Hierbei kann vorgesehen sein, dass während der Ausführung des Auswahlalgorithmus ein Merkmalserkennungsalgorithmus an dem ersten Bild und/oder dem zweiten Bild durchgeführt wird.
Ein besonders einfaches Verfahren ergibt sich, wenn bei der Berechnung der Werte der Gütefunktionen für die Überlagerungen im ersten Bildbereich und die Überlagerungen im zweiten Bildbereich dieselbe Gütefunktion verwendet wird.
Es kann vorgesehen sein, dass beim Interpolationsverfahren ein Spline-Algorithmus verwendet wird. Beispielsweise kann ein thin plate spline-Algorithmus verwendet werden, bei welchem die Interpolation anhand einer Analogie zu der Verformung eines dünnen Metallblechs berechnet wird.
Es kann vorgesehen sein, dass eine vorzugsweise gitterförmige Unterteilung des ersten und/oder zweiten Bildes in Bildbereiche verwendet wird, wobei für jeden Bildbereich der Unterteilung ein zu einem optimalen Wert einer Gütefunktion zugeordneter Parameter oder Verschiebungsvektor ausgewählt wird.
Spannen die optischen Achsen der Aufnahmevorrichtungen für das erste und das zweite Bild näherungsweise oder sogar exakt eine Epipolarebene auf, so kann vorgesehen sein, dass zur Berechnung der Werte der Gütefunktion in einem Bildbereich nur parallel zu einer Vorzugsrichtung, insbesondere parallel zu einer Epipolarlinie, ausgerichtete Verschiebungsvektoren verwendet werden. Somit kann der zur Berechnung der Überführungsfunktion benötigte Parameterraum nochmals reduziert werden, wodurch die erforderliche Rechenkapazität nochmals vermindert werden kann.
Alternativ kann vorgesehen sein, dass während des Interpolationsverfahrens Verschiebungsvektoren mit beliebiger Ausrichtung zugelassen werden. Somit lassen sich auch Abbildungsfehler und optische Verzerrungen besonders einfach berücksichtigen.
Für eine leicht erfassbare Darstellung kann vorgesehen sein, dass die Überlagerung mit einem alpha-Wert erzeugt wird. Vorzugsweise ist der alpha-Wert, also das Mischungsverhältnis der überlagerten Bilder, variabel eingerichtet und kann für eine optimale Darstellung variiert werden.
Es kann vorgesehen sein, dass der Alpha-Wert in Abhängigkeit von Pixelwerten der Bildpunkte gewählt wird. Beispielsweise kann vorgesehen sein, dass nur Bildbereiche überlagert dargestellt werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen, während für andere Bildbereiche nur das erste oder das zweite Bild dargestellt wird.
Besonders gute Resultate können erreicht werden, wenn für die Berechnung der Werte der Gütefunktion eine Energiefunktion ausgewertet wird.
Es kann zusätzlich oder alternativ vorgesehen sein, dass die Überlagerung mit einer Falschfarbendarstellung erzeugt wird. Besonders günstig ist es dabei, wenn die Falschfarbendarstellung, also die verwendete Farbskala, variabel an die jeweiligen Bedürfnisse eines Benutzers angepasst wird.
Zur Lösung der Aufgabe ist erfindungsgemäß bei einer eingangs genannten Bildaufnahmevorrichtung, insbesondere Wärmebildkamera, vorgesehen, dass ein Datenverarbeitungsmittel ausgebildet ist, welches zur Ausführung eines erfindungsgemäßen Verfahrens eingerichtet, insbesondere dimensioniert und programmiert, ist.
Es kann auch vorgesehen sein, mit einer Wärmebildkamera Bilder zu aufzunehmen und diese in einem PC mit dem erfindungsgemäßen Verfahren auszuwerten. In diesem Fall umfasst die Bildaufnahmevorrichtung die Wärmebildkamera und den PC.
Besonders günstig ist es, wenn die Bildaufnahmevorrichtung als Handgerät, insbesondere als Wärmebildkamera, ausgebildet ist.
Die Erfindung wird nun anhand eines Ausführungsbeispiels näher beschrieben, ist aber nicht auf dieses Ausführungsbeispiel beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale der Ansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Ausführungsbeispiels.
Es zeigt
1 eine erfindungsgemäß ausgestaltete Bildaufnahmevorrichtung in einer Ansicht von vorn,
2 die Bildaufnahmevorrichtung gemäß 1 in einer Ansicht von hinten,
3 die Extraktion von Merkmalen bei einem erfindungsgemäßen Verfahren,
4 die Zuordnung von korrespondierenden Merkmalen zur Bildung von Paaren bei einem erfindungsgemäßen Verfahren,
5 ein Gitternetz eines Bildes und
6 das Gitternetz gemäß 5 nach Anwendung einer Überführungsfunktion in einem erfindungsgemäßen Verfahren.
1 zeigt eine im Ganzen mit 1 bezeichnete Bildaufnahmevorrichtung in einer Ansicht von vorn, während 2 diese Bildaufnahmevorrichtung 1 in einer Ansicht von hinten wiedergibt.
Die Bildaufnahmevorrichtung 1 weist eine erste Aufnahmevorrichtung 2 auf, welche zur Aufnahme eines Bildes im infraroten Spektralbereich ausgebildet ist.
Ferner ist eine zweite Aufnahmevorrichtung 3 vorgesehen, mit welcher VIS-Bilder im Sichtbaren Spektralbereich aufgenommen werden können.
Die Bildaufnahmevorrichtung 1 ist somit eine Wärmebildkamera.
An der Bildaufnahmevorrichtung 1 ist weiter ein Anzeigemittel 4 vorgesehen, mit welchem die aufgenommenen IR- und VIS-Bilder angezeigt werden können.
Im Inneren der Bildaufnahmevorrichtung 1 ist ein nicht weiter ersichtliches Datenverarbeitungsmittel 5 angeordnet, welches zur Ausführung eines erfindungsgemäßen, im Folgenden zu 3 bis 6 näher erläuterten Verfahrens eingerichtet ist.
Wie aus den nachstehenden Erläuterungen deutlich wird, kann mit dem Datenverarbeitungsmittel 5 eine Überlagerung eines aufgenommenen IR-Bildes mit einem aufgenommenen VIS-Bild erzeugt und an dem Anzeigemittel 4 angezeigt werden, bei welcher Überlagerung korrespondierende Inhalte der Bilder zur Deckung gebracht werden.
Es sei ferner noch erwähnt, dass die Bildaufnahmevorrichtung 1 als Handgerät ausgebildet ist und somit einen Griff 6 aufweist. Im vorliegenden Ausführungsbeispiel ist die Energieversorgung der Bildaufnahmevorrichtung 1 in diesen Griff 6 integriert.
3 zeigt schematisch ein mit der ersten Aufnahmevorrichtung 2 im infraroten Spektralbereich als IR-Bild aufgenommenes erstes Bild 7.
3 zeigt weiter ein mit der zweiten Aufnahmevorrichtung 3 als VIS-Bild im sichtbaren Spektralbereich aufgenommenes zweites Bild 8.
Erstes Bild 7 und zweites Bild 8 wurden von der selben Szene zur gleichen Zeit aufgenommen.
Um zu verdeutlichen, dass beide Bilder 7, 8 wegen der unterschiedlichen Spektralbereiche unterschiedliche Darstellungen dieser Szene ergeben, wurde das abgebildete Motiv zur Erläuterung gespiegelt dargestellt. Selbstverständlich unterscheiden sich IR-Bilder und VIS-Bilder in bekannter Weise auf andere Art, nämlich durch in jeweils einem Bild nicht ersichtliche beziehungsweise deformiert oder mit veränderten Konturen dargestellte Details oder durch unterschiedliche Auflösungen.
Mit einem in dem Datenverarbeitungsmittel 5 eingerichteten Merkmalsanalysealgorithmus werden nun in beiden Bildern 7, 8 jeweils Bildbereiche 9, 10 identifiziert und ausgewählt, für welche sich Merkmale extrahieren lassen.
3 zeigt beispielhaft einige mit FP₁, FP₂, ... beziehungsweise FP₁', FP₂', ... bezeichnete derartige Bildbereiche 9, 10.
Diese Bildbereiche 9, 10 können punktförmig ausgebildet sein und somit einzelne Bildpixel umfassen oder sie können durch Umgebungen mit einer Vielzahl von Bildpixeln gegeben sein.
Im vorliegenden Beispiel gemäß 3 hat der Merkmalsanalysealgorithmus Bildbereiche 9, 10 ausgewählt, an denen Kanten oder sonstige Stellen mit starker Helligkeitsänderung erkennbar sind.
Für diese Bildbereiche 9, 10 werden nun jeweils Merkmale extrahiert und zu Merkmalsvektoren gruppiert.
Nun werden die für die Bildbereiche 9 jeweils extrahierten Merkmale mit den für die Bildbereiche 10 extrahierten Merkmale verglichen, und es wird eine optimale Übereinstimmung ermittelt.
Für die so ermittelte optimale Übereinstimmung ergibt sich eine Gruppierung der Merkmale in Paare, wobei jedes Paar ein Merkmal, welches aus dem ersten Bild 7 extrahiert wurde, und ein Merkmal, welches aus dem zweiten Bild 8 extrahiert wurde, enthält. Diese Paare ergeben eine Zuordnung von Merkmalen des ersten Bildes 7 zu Merkmalen des zweiten Bildes 8, zu welcher eine in 4 ebenfalls mit 11 bezeichnete Zuordnung der Bildbereiche 9, 10 gehört, aus denen die Merkmale des jeweiligen Paares extrahiert wurden.
So ergibt die Übereinstimmung bei dem in 4 beispielhaft und nur schematisch gezeigten Fall eine Zuordnung 11 des mit FP₃ bezeichneten Bildbereichs 9 des ersten Bildes 7 zu dem mit FP₄' bezeichneten Bildbereich 10 des zweiten Bildes.
Ebenso wird der Bildbereich 9 FP₁ dem Bildbereich 10 FP₁' und der Bildbereich 9 FP₄ dem Bildbereich 10 FP₂' zugeordnet.
Für die Bildbereiche 9 mit den Bezeichnungen FP₂, FP₅ und FP₆ konnte dagegen keine Übereinstimmung mit Merkmalen aus dem zweiten Bild 8 festgestellt werden. Für diese Bildbereiche 9 ergibt sich somit keine Zuordnung 11.
Mit Hilfe der Zuordnungen 11 wird nun in dem Datenverarbeitungsmittel 5 eine Überführungsfunktion derart berechnet, dass nach Anwendung der Überführungsfunktion auf das erste Bild 7 oder das zweite Bild 8 als Transformationsvorschrift in einer pixelweisen Überlagerung der erhaltenen Bilder einander mit einer Zuordnung 11 zugeordnete Bildbereiche 9, 10 zur Deckung gebracht sind. Somit sind Bildbereiche 9, 10 mit korrespondierendem Bildinhalt zur Deckung gebracht.
In Spezialfällen wird die Überführungsfunktion eine globale Transformation, beispielsweise eine Verschiebung und/oder eine Rotation und/oder eine Streckung oder Stauchung, beschreiben. Im Allgemeinen wird die Überführungsfunktion jedoch eine lokale, nicht-starre Transformation beschreiben.
5 und 6 zeigen beispielhaft den Effekt der Anwendung einer solchen nicht-starren Überführungsfunktion auf ein Bild 7, 8.
Zur Verdeutlichung soll das Bild lediglich ein Gitternetz 12 darstellen.
5 zeigt hierbei das Gitternetz 12 vor Anwendung der Überführungsfunktion, während 6 das transformierte Gitternetz 13 nach Anwendung der Überführungsfunktion darstellt.
Es ist ersichtlich, dass bei dem gezeigten Beispiel der Randbereich des transformierten Bildes 14 unverändert geblieben ist, während die Bildmitte einer nicht-starren Transformation unterworfen wurde.
Die Überführungsfunktion wurde hierbei in einem Interpolationsverfahren berechnet, wobei die gemäß den Zuordnungen 11 zur Deckung zu bringenden Bildbereiche 9, 10 als Stützstellen für die Interpolation verwendet wurden.
Zur Ermittlung der Zuordnungen 11 kann vorgesehen sein, dass die Bildbereiche 9, 10 jeweils Umgebungen mit mehreren Bildpixeln umfassen, und dass die ausgewählten Bildbereiche 9, 10 mit affinen Transformationen so gegeneinander verschoben, rotiert und/oder skaliert werden, bis eine Gütefunktion einen optimalen Wert annimmt. Durch die Transformationen werden daher eine Vielzahl von Bildbereichen 9, 10 ausgewählt, und die Zuordnungen 11 beschreiben diejenigen Parameter der Transformationen, für welche die Gütefunktion den optimalen Wert angenommen hat.
Hierbei kann die durch das Gitternetz 12 gegebene Unterteilung gemäß 5 in rechteckige Bildbereiche 9 beziehungsweise 10 als Ausgangspunkt verwendet werden, wobei weitere Bildbereiche dadurch ausgewählt werden, dass die Bildbereiche 9, 10 mit affinen Transformationen verschoben werden.
Dadurch, dass für jeden Bildbereich 9, 10 dieser gitterförmigen Unterteilung jeweils ein Parametersatz zu einem optimalen Wert einer Gütefunktion bestimmt wird, ergibt sich eine Vielzahl von Stützstellen 16 in den Bildbereichen 9, 10 des Gitternetzes 12, die für die Berechnung der Überführungsfunktion im Interpolationsverfahren verwendet werden können.
Die Bildaufnahmevorrichtung 1 weist ferner Bedienelemente 15 auf, mit welchen die Art der Darstellung, insbesondere der alpha-Wert der Überlagerung oder die Farbskala einer Falschfarbendarstellung variiert werden können, um unterschiedlichen Anforderungen gerecht zu werden.
Mit den Bedienelementen 15 sind auch Bildbereiche im ersten Bild 7 beziehungsweise im zweiten Bild 8 auswählbar, welche der Berechnung der Überführungsfunktion zugrunde gelegt werden sollen. Es können mit den Bedienelementen 15 auch Pixelwertebereiche vorgegeben werden, wobei zur Berechnung der Überführungsfunktion nur solche Bildbereiche verarbeitet werden, für welche die Pixelwerte innerhalb beziehungsweise außerhalb des eingestellten Pixelwertebereichs liegen.
Bei dem Verfahren zur überlagerten Darstellung korrespondierender, in unterschiedlichen Spektralbereichen von einer Szene aufgenommenen Bilder 7, 8 ist vorgesehen, in den aufgenommenen Bildern lokale Merkmale zu extrahieren, die extrahierten Merkmale zu jeweils unterschiedlichen Bildern 7, 8 zu vergleichen und so zuzuordnen, dass eine optimale Übereinstimmung besteht, und aus den ermittelten Zuordnungen 11 eine Überführungsfunktion zu berechnen, durch welche diejenigen Bildbereiche 9, 10 der Bilder 7, 8, für welche die Zuordnungen 11 Paarungen der extrahierten Merkmale beschreiben, zur Deckung gebracht werden.

Claims

Verfahren zur überlagerten Darstellung korrespondierender Bilder, wobei von einer Szene ein erstes Bild (7) in einem ersten Spektralbereich und ein zweites Bild (8) in einem zweiten Spektralbereich aufgenommen werden, wobei der erste Spektralbereich von dem zweiten Spektralbereich verschieden ist, dadurch gekennzeichnet, dass in dem ersten Bild (7) und dem zweiten Bild (8) jeweils wenigstens ein Bildbereich (9, 10) ausgewählt wird, dass zu den ausgewählten Bildbereichen (9, 10) jeweils wenigstens ein Merkmal extrahiert wird, dass die zu dem ersten Bild (7) extrahierten Merkmale mit den zu dem zweiten Bild (8) extrahierten Merkmalen verglichen werden und Paare von Merkmalen gebildet werden, wobei jedes Paar ein Merkmal zu dem ersten Bild (7) und ein Merkmal zu dem zweiten Bild (8) enthält und wobei die Paare eine Zuordnung (11) von Merkmalen des ersten Bildes (7) zu Merkmalen des zweiten Bildes (8) beschreiben, für welche in dem Merkmalsvergleich eine optimale Übereinstimmung ermittelt wurde, dass eine Überführungsfunktion zwischen dem ersten Bild (7) und dem zweiten Bild (8) berechnet wird, welche Überführungsfunktion für die gebildeten Paare die Bildbereiche (9, 10) des ersten (7) und des zweiten Bildes (8), aus denen jeweils die Merkmale extrahiert wurden, einander zuordnet, und dass die Überführungsfunktion zur überlagerten Darstellung des ersten (7) und des zweiten Bildes (8) auf das erste (7) und/oder das zweite Bild (8) angewendet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als erster Spektralbereich ein infraroter Spektralbereich verwendet wird und/oder dass als zweiter Spektralbereich ein sichtbarer Spektralbereich verwendet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für das erste Bild (7) und/oder für das zweite Bild (8) wenigstens ein Pixelwertebereich vorgegeben wird, wobei nur Bildbereiche verarbeitet und/oder in der überlagerten Darstellung überlagert dargestellt werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bildbereiche (9, 10) mit einem Merkmalsanalysealgorithmus derart ausgewählt werden, dass für die ausgewählten Bildbereiche (9, 10) jeweils wenigstens ein signifikantes Merkmal extrahierbar ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in dem ersten Bild (7) und in dem zweiten Bild (8) jeweils ein erster Bildbereich (9, 10) ausgewählt wird, dass im ersten Bildbereich (9, 10) für die Überlagerung des ersten Bildes (7) mit dem gegenüber dem ersten Bild (7) mit einer Transformation transformierten zweiten Bild (8) der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als ein erster Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass ein zweiter Bildbereich (9, 10) festgelegt wird, der von dem ersten Bildbereich (9, 10) verschieden ist, dass im zweiten Bildbereich (9, 10) für die Überlagerung des ersten Bildes (7) mit dem gegenüber dem ersten Bild (7) mit einer Transformation transformierten zweiten Bild (8) der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als zweiter Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass in einem Interpolationsverfahren weitere Parameter für zwischen dem ersten und zweiten Bildbereich liegende weitere Bildbereiche ermittelt und diesen weiteren Bildbereichen zugeordnet werden und dass die Überlagerung des ersten Bildes (7) mit dem zweiten Bild (8) erzeugt wird, indem eine Überführungsfunktion mit den ausgewählten bzw. ermittelten, lokalen Parametern berechnet und als lokale Transformation auf das erste Bild (7) und/oder das zweite Bild (8) angewendet wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass an Stützstellen des Interpolationsverfahrens als Überführungsfunktion eine Homographie evaluiert wird und/oder dass als Transformationen jeweils lokale Verschiebungstransformationen ausgeführt werden, insbesondere wobei als Parameter jeweils Verschiebungsvektoren verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die weiteren Bildbereiche als jeweils ein Bildpunkt (16) ausgewählt werden und/oder dass im ersten Bildbereich (9, 10) und/oder im zweiten Bildbereich (9, 10) weitere Bildbereiche für das Interpolationsverfahren ausgewählt werden.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass im Interpolationsverfahren ein Parameter- oder Verschiebungsvektorfeld ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das erste Bild (7) und das zweite Bild (8) gleichzeitig aufgenommen werden und/oder dass der erste Bildbereich (9, 10) und/oder der zweite Bildbereich (9, 10) nach Aufnahme des ersten Bildes (7) und/oder des zweiten Bildes (8) festgelegt werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der erste Bildbereich (7) und/oder der zweite Bildbereich (8) mit einem hinterlegten Auswahlalgorithmus automatisch festgelegt werden und/oder dass während der Ausführung des Auswahlalgorithmus ein Merkmalserkennungsalgorithmus an dem ersten Bild (7) und/oder dem zweiten Bild (8) durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass bei der Berechnung der Werte der Gütefunktionen für die Überlagerungen im ersten Bildbereich (9, 10) und die Überlagerungen im zweiten Bildbereich (9, 10) dieselbe Gütefunktion verwendet wird und/oder dass beim Interpolationsverfahren ein Spline-Algorithmus, insbesondere ein thin plate spline-Algorithmus, verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass eine vorzugsweise gitterförmige Unterteilung (12) des ersten (7) und/oder zweiten Bildes (8) in Bildbereiche (9, 10) verwendet wird, wobei für jeden Bildbereich (9, 10) der Unterteilung ein zu einem optimalen Wert einer Gütefunktion zugeordneter Verschiebungsvektor ausgewählt wird.
Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass zur Berechnung der Werte der Gütefunktion in einem Bildbereich (9, 10) nur parallel zu einer Vorzugsrichtung, insbesondere parallel zu einer Epipolarlinie, ausgerichtete Verschiebungsvektoren verwendet werden und/oder dass während des Interpolationsverfahrens Verschiebungsvektoren mit beliebiger Ausrichtung zugelassen werden.
Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Überlagerung mit einem vorzugsweise variablen alpha-Wert erzeugt wird und/oder dass die Überlagerung mit einer vorzugsweise variablen Falschfarbendarstellung erzeugt wird.
Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass für die Berechnung der Werte der Gütefunktion eine Energiefunktion ausgewertet wird.
Bildaufnahmevorrichtung (1) mit einer ersten Aufnahmeeinrichtung (2), die zur Aufnahme eines ersten Bildes (7) in einem ersten Spektralbereich ausgebildet ist, und einer zweiten Aufnahmeeinrichtung (3), die zur Aufnahme eines zweiten Bildes (8) in einem zweiten Spektralbereich ausgebildet ist, wobei der erste Spektralbereich verschieden von dem zweiten Spektralbereich ist, dadurch gekennzeichnet, dass ein Datenverarbeitungsmittel (5) ausgebildet ist, welches zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 15 eingerichtet ist.