-
Die
Erfindung betrifft eine Bilderfassungseinheit zur Fusion von mit
Sensoren unterschiedlicher Wellenlängenempfindlichkeit
erzeugten Bildern gemäß dem Oberbegriff des Anspruchs
1.
-
Im
Infrarotbereich haben Objekte ein völlig anderes Emissions-,
Reflektions- und Transmissionsverhalten als im sichtbaren Wellenlängenbereich.
Es ist daher für viele Anwendungen des maschinellen Sehens von
offensichtlichem Vorteil, neben bildgebenden Sensoren für
den sichtbaren und nahen Infrarotbereich, das ist ein Wellenlängenbereich
bis etwa 1,2 μm, detaillierter ein Wellenlängenbereich
von ungefähr 0,4 μm bis 1,2 μm, im folgenden
kurz Bildsensoren genannt, auch entsprechende Sensoren für
den langwelligen Infrarotbereich, das ist ein Wellenlängenbereich
bis etwa 14 μm, detaillierter ein Wellenlängenbereich
von ungefähr 8 μm bis 12 μm, zu Prüf-,
Mess- und Überwachungszwecken heranzuziehen.
-
Letztere
Sensoren werden üblicherweise als Wärmebildsensoren
bezeichnet, da mit ihnen vorwiegend die von einem Zielobjekt emittierte
Wärmestrahlung gemessen wird. Die Bilder heißen
entsprechend thermographische Bilder oder einfach Wärmebilder.
-
Eine
der Schwächen von Wärmebildern liegt in der örtlichen
Auflösung, das heißt, es ist schwierig, wichtige
Details im Bild genau zu identifizieren und zu lokalisieren.
-
Diese
Einschränkung ist bedingt durch mehrere Faktoren:
- 1. Wärmebildsensoren haben, bedingt
durch den Herstellprozess, bei weitem nicht die Anzahl von Pixel, die
von Bildsensoren her bekannt sind. Der Stand der Technik im Jahre
2006 in diesem Punkt ist: 640×480 Pixel.
- 2. Wärmebildsensoren sind extrem teuer. Daher besteht
aus Kostengründen oft der Zwang, auf Varianten mit einer
niedrigen Auflösung, zum Beispiel 160×120 Pixel,
auszuweichen.
-
Bei
Technologien, die eine kostengünstige Herstellung versprechen,
ist die bisher erreichte Auflösung noch geringer, nämlich
maximal 32×32 Pixel.
- 3. Zusätzlich
zur Emission von Strahlung wird Wärmeenergie auch mittels
Wärmeleitung abgegeben. Bedingt durch diesen Wärmeausgleich
mit der Nachbarschaft werden Objekte im Wärmebild nur unscharf
dargestellt.
- 4. Die Wärmestrahlung realer Körper ist abhängig
vom Emissionsgrad. Daher können im Wärmebild Artefakte
entstehen, hervorgerufen durch unterschiedliche Arten von Oberflächen.
-
Wegen
der aufgeführten Gründe wird heute die Auswertung
von Wärmebildern mit Bildern von Bildsensoren, die im sichtbaren
Bereich arbeiten, kombiniert. Die von im sichtbaren Bereich arbeitenden Bildsensoren
stammenden Bilder, im folgenden kurz als Sichtbilder bezeichnet,
bieten mehr Auflösung, Schärfe und Kontrast und
lassen daher eine präzise Lage- und Größenbestimmung
der im Wärmebild detektierten Objekte zu.
-
Das
Kombinieren von Wärmebild- und Sichtbildsensor wird beispielsweise
im Dokument
EP 0 973
137 A1 beschrieben, ohne dass dabei auf spezielle Methoden
und Ausführungen eingegangen wird.
-
Der
Nutzen einer Kombination zwischen Wärme- und Sichtbild
besteht konkret darin, eine Zuordnung zwischen den unterschiedlich
dargestellten Bildobjekten herzustellen.
-
Meistens
ist dies für einen menschlichen Beobachter relativ einfach.
Er vergleicht beide Bilder und trifft aufgrund seiner Kenntnis der
gezeigten Szene entsprechende Zuordnungen.
-
In
diesem Fall macht es nichts aus, wenn Bildsensor und Wärmebildsensor
räumlich verschiedene Positionen und unterschiedliche Blickrichtungen
haben.
-
Soll
dieser Vergleich jedoch automatisch geschehen, ist es notwendig,
dass das Wärme- und das Sichtbild möglichst kongruent
zueinander sind. Nur so können beide Bilder in einfacher
Weise mittels lokaler Operatoren verknüpft werden. Ansonsten
müssten diffizile Methoden zur modellbasierten Objekterkennung eingesetzt
werden.
-
Es
ist also notwendig, dass die zwei Bilder, die mit zwei nach unterschiedlichen
Prinzipien arbeitenden bildgebenden Sensoren erzeugt werden, zur
Deckung gebracht werden.
-
Deckungsgleiche,
zum Beispiel zweidimensionale, Bilder einer beliebigen räumlichen
Anordnung können mit zwei unterschiedlichen Sensoren zum
Beispiel dadurch erstellt werden, dass die Position und die Blickrichtung
der Sensoren wenigstens in etwa übereinstimmen.
-
Hierzu
sind neben improvisierten Lösungen, bei denen nacheinander
eine Wärmebildkamera und eine zweite, mit einem Bildsensor
ausgestattete Kamera auf das identische Gesichtsfeld und die identische
Perspektive ausgerichtet wird, aus Firmenveröffentlichungen
Wärmebildkameras bekannt, die ein zusätzliches Sensormodul
für den sichtbaren Bereich integriert haben.
-
Als
Beispiele für solche Firmenveröffentlichungen
seien genannt:
- 1. Fluke Switzerland GmbH: „Neue
Thermografie-Technologie: Wartungsproblemen schneller auf der Spur", polyscope
18/06, S. 28–30 [1].
- 2. Roger Schmidt of Fluke Thermography, „Benefits
of IR/Visible Fusion", 2007 [2].
- 3. K. Johnson, T. McManus und R. Schmidt, Infrared Solutions,
Inc., "Commercial fusion camera", Proc. of SPIE
Volume 6205 62050H, Thermosense XXVIII, 17 April 2006, ISBN 9780819462619
[3].
-
Da
auch der Erfindungsgedanke von einer Einrichtung mit mindestens
zwei gleichzeitig aktiven Sensoren ausgeht, werden nachfolgend die
Zusammenhänge, bezogen auf die geometrische Optik, genauer
erläutert:
Bilder entstehen durch eine perspektivische
Projektion der Außenwelt auf die Bildebene, auch Zentralprojektion
genannt. Da die Zentralprojektion keine affine Abbildung ist, ist
es nicht möglich, durch irgendwelche linearen Operationen
wie Strecken oder Verschieben beide Bilder zur Deckung zu bringen,
wenn die sogenannten äußeren Kameraparameter beider
Sensoren nicht übereinstimmen. Diese Parameter beschreiben
die 3D-Lage (engl. Pose) eines Kamerakoordinatensystems relativ
zu einem Weltkoordinatensystem. Als äußere Kameraparameter
bezeichnet der Fachmann hierbei
- a) die Position
des optischen Zentrums (engl. Nodal Point) im Raum. Hier gibt es
drei Freiheitsgrade;
- b) die Richtung der optischen Achse, der Hoch- und der Querachse.
Auch hier gibt es drei Freiheitsgrade;
-
Die
Gleichungen der perspektivischen Projektion lauten dabei:
-
Der
Index IR gibt an, dass der Wärmebildsensor gemeint ist.
f steht für die Brennweite, hier für den Wärmebildsensor.
-
Die 1 verdeutlicht
diese optischen Verhältnisse. Es ist dort ein Kameramodell
gezeigt, das die Zentralprojektion veranschaulicht.
-
Analog
zu entsprechenden Lehrbüchern, beispielsweise Hanspeter
A. Mallot, „Sehen und die Verarbeitung visueller Information,
Eine Einführung", Vieweg Verlagsgesellschaft,
2. Auflage, Januar 2000, ISBN 3-528-15659-7, S. 32–34,
ist der Wärmebildsensor in der 1 für
eine Vereinfachung der Sachlage als Lochkameramodell ausgeführt.
-
Wie
die 1 zeigt, trifft die optische Achse, die durch
das optische Zentrum N → geht, die Bildebene im Abstand fIR und
zwar im Bildhauptpunkt H. Dabei fällt das orthogonale Sensorkoordinatensystem
des Wärmebildsensors mit dem Ursprung in N →, zur Vereinfachung
der Sachlage, mit dem Weltkoordinatensystem zusammen, in dem der
Punkt P → angegeben ist. Der Punkt P → hat somit in beiden Koordinatensystemen
dieselben Koordinaten (x, y, z)T. Er wird
auf den Bildpunkt P →IR in der Bildebene des Wärmebildsensors
abgebildet.
-
Würde
der Punkt P → in einem anderen Sensorkoordinatensystem beobachtet,
verschöbe sich dessen Bildpunkt, und zwar in Bezug auf P →IR perspektivisch
verzerrt.
-
Wäre
zum Beispiel ein Bildsensor, nachfolgend gekennzeichnet durch den
Index VIS, in einer Entfernung a in x-Richtung verschoben angebracht,
würde sich zwar für die y-Komponenten nur eine
Skalierung im Verhältnis der Brennweiten ergeben (Gleichung
2b), die x-Komponente dagegen würde abhängig von
der Entfernung z des Punktes P → transformiert werden (Gleichung 2a).
-
-
Weitere
Transformationen, wie zum Beispiel eine Verschiebung in z-Richtung
oder Drehungen, werden hier nicht betrachtet, weil sie beim Anmeldungsgegenstand
nicht notwendigerweise vorkommen.
-
Das
Erzeugen deckungsgleicher Bilder besteht also darin, für
alle Punkte P →IR im Wärmebild die dort gemessene Bestrahlungsstärke
EIR mit der im gemäß den
Gleichungen 2a, b berechneten Punkt P →VIS gemessenen Beleuchtungsstärke
EVIS zu einem zweidimensionalen Pixel zusammenzufassen.
-
Als
Visualisierungshilfe kann das Ergebnis dieser Operation so gesehen
werden, dass in einem HSI-Farbraum die Helligkeit durch den Wert
EVIS und der Farbton durch den Wert EIR bestimmt wird, und dass die Farbsättigung
für das Mischungsverhältnis der beiden Werte steht.
Diese Pixel-Repräsentation dient aber, wie schon gesagt,
nur der Veranschaulichung. Für eine maschinelle Bildauswertung
ist sie nicht geeignet.
-
Der
additive Term in der Gleichung 2a ist in der Stereometrie als Disparität
bezeichnet.
-
Werden
in die Gleichungen 2a, b das durch den Aufbau des Bildsensors gegebene
Pixelrastermaß d
VIS und entsprechend
für den Wärmebildsensor der Pixelabstand d
IR eingeführt, ergeben sich mit
die Gleichungen 3a, b mit
den dimensionslosen Pixelkoordinaten X
VIS,
Y
VIS, X
IR, Y
IR und den auf die jeweiligen Pixelrastermaße
normierten Brennweiten F
VIS und F
IR:
oder aufgelöst
nach X
IR, Y
IR -
Die
einzelnen Pixelkoordinatenkomponenten XVIS,
YVIS, XIR, YIR sind ganzzahlige Variablen. Ihr Wertebereich
richtet sich nach der Pixelanzahl. Hat der Bildsensor zum Beispiel
die Größe 640×480 Pixel, was der sogenannten
VGA-Auflösung entspricht, dann gibt es 640×480
Pixel P →VIS(XVIS,
YVIS) mit {XVIS| – 320,
..., 319} und {YVIS| – 240, ...,
239}.
-
Aus
den Transformationsgleichungen 3a und 4a lassen sich als Sonderfälle
zwei einfache Szenarien für kongruente Bilder ableiten,
die aber jeweils für sich ein spezielles Problem mit sich
bringen.
-
1. Sonderfall:
-
Die
Objekte befinden sich praktisch in einer unendlichen Entfernung.
-
Beispiele:
-
Thermographiebilder
von entfernten Objekten wie zum Beispiel Gebäuden, Silos
oder Tanks.
-
In
diesem Fall geht die Disparität gegen Null und die Gleichungen
3a, 4a sind, wie vorher schon die Gleichungen 3b, 4b, nur eine Skalierung
der beiden Koordinatensysteme.
-
Dieser
Sonderfall tritt ein, wenn die Pixelauflösung nicht mehr
ausreicht, die Disparität zu messen. Es wird dafür üblicherweise
der halbe Pixeldurchmesser als Grenze angesetzt. Die Auflösungsgrenze
wird bestimmt von dem Sensor, der die kleinere normierte Brennweite
hat, also wegen der eingangs bereits aufgeführten Gründe
in der Regel der Wärmebildsensor.
-
Anders
wäre es, wenn dieser eine extrem lange Brennweite hätte.
Bei ziviler Nutzung kommt dies jedoch in der Praxis nicht vor.
-
Aus
der Gleichung 4a ergibt sich damit: z∞ ≥ 2·a·FIR. (Gl.
5)
-
Es
ist für den Fachmann klar, dass eine absichtliche Herbeiführung
dieses Sonderfalls, also die Reduzierung von z∞, durch
Verringerung von FIR aus Praxisgründen
nicht herbeigeführt wird, weil sich dadurch die Auflösung
allgemein verschlechtert.
-
2. Sonderfall:
-
Alle
interessierenden Objekte sind in der Natur sehr flach und befinden
sich in einer einzigen Ebene z = z0, „frontoparallele
Ebene” genannt.
-
Beispiele:
-
Messung
der Wärmeverteilung auf einer bestückten Leiterplatte; Überwachung
von Vorgängen am Boden durch einen an der Decke befestigten
Präsenzsensor.
-
Hierbei
wird aus der Zentralprojektion eine Parallelprojektion. Es muss „nur
noch” z0 bestimmt und in Gleichung
3a oder 4a eingesetzt werden.
-
Eine
Möglichkeit zur Bestimmung von z0 bietet
das Abbesche Projektionsgesetz, das heißt, die so genannte
und in der Fachwelt als solche bekannte Linsengleichung, aufgelöst
nach der Gegenstandsweite z0.
-
-
In
der Gleichung 6 ist b0 die am Objektiv einzustellende
Bildweite, wenn auf ein Objekt in der Entfernung z0 scharfgestellt
wird. Die Messung des Drehwinkels des Scharfstellrings reicht also
aus, um aus b0 auf die Entfernung z0 zu schließen.
-
Wie
bereits in Kreisen von Hobbyfotografen bekannt ist, werden weit
entfernte Objekte unabhängig von ihrem Abstand scharf abgebildet.
Das heißt im Umkehrschluss, dass sich die Bestimmung von
z0 mit Hilfe von b0 außerhalb
des Nahbereichs nicht anwenden lässt. Die Grenze des Nahbereichs
liegt bei der Hälfte der sogenannten hyperfokalen Entfernung
zh. Siehe hierzu: Oliver Jennrich, „Ein
Blick auf die Schärfentiefe", Version 0.2, 22.
November 1999.
-
-
In
dieser Gleichung ist K
IR die Blendenzahl
und
der Blendendurchmesser des
Infrarotobjektivs.
-
Die
Disparität an der Grenze des Nahbereichs ergibt sich daraus
durch Einsetzen in die Gleichung 4a:
-
Werden
die Gleichungen 5 und 7 zusammengefasst, ist zu erkennen, dass der
Bereich
DIR·FIR < z < 2·a·FIR nicht durch die in [3] angegebene
Lösung abgedeckt ist. Die Disparität fällt
vielmehr abstandsabhängig von dem Wert
gemäß der
Gleichung 8 nach Null ab.
-
Aufgabe
der vorliegenden Erfindung ist, ausgehend von einer Bilderfassungseinheit
der eingangs genannten Art, diese in der Weise technisch zu verbessern,
dass nicht nur die Transformationen gemäß den
Gleichungen 3a, b oder 4a, b maschinell möglich ist, sondern
weiter auch maschinell eine anwendungsspezifische Bildauswertung
bezüglich von mit der Bilderfassungseinheit erhaltener
Bilder.
-
Diese
Aufgabe wird erfindungsgemäß gelöst durch
eine Bilderfassungseinheit, die die Merkmale im kennzeichnenden
Teil des Anspruchs 1 aufweist.
-
Die
erfindungsgemäße Anordnung weist einen Wärmebildsensor
auf zusammen mit einem ersten und einem zweiten Bildsensor.
-
Mittels
dieser Anordnung kann der Abstand z stereometrisch bestimmt werden,
und zwar individuell für jedes Pixel des Sichtbildes. Damit
wird nicht nur eine unter anderen Umständen mögliche
einschränkende Forderung nach einem konstanten Abstand überflüssig,
sondern es ergeben sich aus der möglichen Rücktransformation
in die Weltkoordinaten neue Qualitäten im Hinblick auf
die Beurteilung des Messergebnisses. Bei der erfindungsgemäßen
Anordnung werden anstelle der Gleichung 4a die nachfolgend hergeleiteten Transformationsgleichungen
10 berücksichtigt. Dabei wird folgendermaßen vorgegangen:
Aus
der erfindungsgemäßen Anordnung ergeben sich für
einen Punkt P → die nach den Gleichungen 9a, b, c zu berechnenden Weltkoordinaten
(x, y, z)T. Die Herleitung der Koordinaten
in allgemeiner Form ist zum Beispiel beschrieben in: Thomas
Luhmann, „Nahbereichsphotogrammetrie, Grundlagen, Methoden
und Anwendungen", Wichmann Verlag, 2003, ISBN 3-87907-398-6,
S. 310–313.
-
-
Darin
gehören die Bildkoordinaten X
VIS und
Y
VIS zum ersten Bildsensor und X'
VIS zum zweiten Bildsensor. Wird die Gleichung
9c in die Gleichung 4a eingesetzt, wird die Beziehung zwischen X
VIS und X
IR erhalten in
der Form:
-
In
der Gleichung 10 ist im Ausdruck (XVIS – X'VIS) das sogenannte Korrespondenzproblem
versteckt enthalten.
-
Kern
des Korrespondenzproblems ist, in den Bildern der eingesetzten Bildsensoren
die sich jeweils entsprechenden Pixel und damit ihre x-Koordinaten
zu finden. Dafür werden heute meist in Theorie und Praxis bewährte
Korrelationsverfahren, zum Beispiel sogenannte Stereo-Matching-Algorithmen,
verwendet. Siehe hierzu zum Beispiel: Karsten Mühlmann, „Design
und Implementierung eines Systems zur schnellen Rekonstruktion dreidimensionaler
Modelle aus Stereobildern", Dissertation Universität
Mannheim, 2002, S. 7–19.
-
Gemäß der
Gleichung 10 werden dann zu jedem Pixel des ersten Bildsensors das
entsprechende Pixel im Wärmebild und dessen zugehöriger
Intensitätswert gesucht. Als Ergebnis hat man damit drei
Größen pro Pixel:
- a) die
IR-Bestrahlungsstärke;
- b) die sichtbare Beleuchtungsstärke; und
- c) den Ortsvektor P → im Außenraum.
-
Die
Gleichung 10 unterscheidet sich von der Gleichung 4a noch insofern,
als dass der absolute Abstand a zwischen Wärmebildsensor
und erstem Bildsensor nicht mehr vorkommt, sondern nur noch die
relative Entfernung 2 zum zweiten Bildsensor. Das bedeutet, dass
die Gleichung 10 gültig ist, solange die Abstände ausschließlich
proportional verändert werden.
-
Der
damit verbundene Vorteil besteht darin, dass ein entsprechendes
Firmwareprogramm, beziehungsweise die zum Beispiel in einem sogenannten
FPGA implementierte Realisierung, dazu nicht verändert werden
muss.
-
Die
erfindungsgemäße Bilderfassungseinheit weist folgende
Vorteile auf:
- a) Durch die Rücktransformation
in den Außenraum können der Oberfläche
von 3D-Objekten Temperaturen zugeordnet werden;
- b) Durch die Rücktransformation in den Außenraum
kann unterschieden werden, ob die Wärmequelle ein 3-dimensionaler
Kör per ist oder aber flächig ist. Ein Beispiel
ist eine Stelle, an der sich vorher ein warmer Körper befunden
hat;
- c) Durch die Rücktransformation in den Außenraum
lässt sich die Entfernung eines heißen Objekts
von gefährdeten Körpern messen und damit das Unterschreiten
von Sicherheitsabständen feststellen;
- d) Es ist eine Unterscheidung zwischen reflektierter Strahlung
und Eigenstrahlung eines Objekts möglich, im Prinzip wie
im Zusammenhang mit der Gleichung 2c. Dabei ist für Werte λ > 2 die Verwendung des
zweiten Bildsensors von Vorteil, weil sich wegen des größeren
Abstands zum Wärmebildsensor genauere Messungen ergeben.
-
Insgesamt
können mit Hilfe der erfindungsgemäßen
Bilderfassungseinheit nicht nur die Transformationen gemäß den
Gleichungen 3a, b oder 4a, b maschinell durchgeführt werden,
sondern kann auch maschinell eine anwendungsspezifische Bildauswertung
bezüglich von mit der Bilderfassungseinheit erhaltenen
Bildern erfolgen.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand von Unteransprüchen.
-
Danach
ist die Signalverarbeitungseinheit entweder ein digitaler Signalprozessor
oder vorzugsweise ein mit den Transformationsgleichungen programmierter
Logikbaustein (FPGA), die platzsparend, schnell rechnend und kostengünstig
sind.
-
Der
Abstandssensor kann zum Beispiel ein Ultraschallentfernungssensor
oder ein auf der sogenannten PMD- oder MSM-Technik beruhender optischer
Abstandssensor sein, die ohne weiteres zur Verfügung stehen.
-
Die
Abmessungen der Bilder können gleich oder unterschiedlich
sein.
-
Das
oben angesprochene Pixelpaar wird einer anwendungsspezifischen weiteren
Bildverarbeitungseinheit zugeführt werden, die in den Figuren
aber nicht näher dargestellt ist. Diese Bildverarbeitungseinheit kann
anhand der ihr mit den entsprechenden Pixelpaaren bekannten Bilder,
nämlich das des Sichtbildes und das des Wärmebildes,
maschinell eine anwenderspezifische Auswertung der Objekte in den
Bildern vornehmen. Dies ist möglich, weil eine klare Zuordnung
von Stellen des einen Bildes zu entsprechend zugehörigen Stellen
des anderen Bildes möglich ist, so dass die bezüglich
betreffender Stellen aus den jeweiligen Bildern hervorgehenden spezifischen
Informationen miteinander verknüpft und bewertet werden
können.
-
Nachfolgend
wird ein Ausführungsbeispiel der Erfindung anhand einer
Zeichnung näher erläutert. Darin zeigen:
-
1 eine
schematische Darstellung eines Kameramodells zur Veranschaulichung
der Zentralprojektion gemäß dem Stand der Technik,
und
-
2 eine
schematische Darstellung einer Bilderfassungseinheit gemäß der
Erfindung.
-
Die 1 ist
weiter oben bereits besprochen worden. Sie wird daher an dieser
Stelle nicht nochmals besprochen. Vielmehr wird an dieser Stelle
auf die frühere Beschreibung verwiesen.
-
Die 2 zeigt
schematisch die erfindungsgemäße Bilderfassungseinheit 1 zur
Fusion von mit einer ersten optischen Einheit 2 für
Sichtbilder und einer zweiten optischen Einheit 3 für
Wärmebilder erzeugte Bilder.
-
Die
erste optische Einheit 2 weist eine erste Fokuseinrichtung 4 und
einen Bildsensor 5 für Sichtbilder auf. Der Bildsensor 5 wiederum
weist eine erste optische Achse 6 auf.
-
Die
zweite optische Einheit 3 weist eine zweite Fokuseinrichtung 7 und
einen Wärmebildsensor 8 für Wärmebilder
auf. Der Wärmebildsensor 8 wiederum weist eine
zweite optische Achse 9 auf.
-
Die
Wellenlängenempfindlichkeit des Bildsensors 5 liegt
in einem ersten Wellenlängenbereich von ungefähr
0,4 μm bis 1,2 μm und damit eben im sichtbaren
Wellenlängenbereich.
-
Die
Wellenlängenempfindlichkeit des Wärmebildsensors 8 liegt
in einem zweiten Wellenlängenbereich von ungefähr
8 μm bis 12 μm und damit eben im nicht sichtbaren
Infrarotbereich.
-
Mit
dem Bildsensor 5 wird ein erstes Bild mit ersten Strahlen 10 im
Bereich der ersten Wellenlängenempfindlichkeit und damit
mit einer ersten Wellenlänge erfasst.
-
Mit
dem Wärmebildsensor 8 wird ein zweites Bild mit
zweiten Strahlen 11 im Bereich der zweiten Wellenlängenempfindlichkeit
und damit mit einer zweiten Wellenlänge erfasst.
-
Mit
der ersten Fokuseinrichtung 4 werden die ersten Strahlen 10 eines
Bildes auf dem ersten Bildsensor 5 der ersten optischen
Einheit 2 mit einer ersten optischen Auflösung
abgebildet.
-
Mit
der zweiten Fokuseinrichtung 7 werden die zweiten Strahlen 11 eines
Bildes auf den zweiten Bildsensor 8 der zweiten optischen
Einheit 3 mit einer zweiten optischen Auflösung
abgebildet.
-
Vom
Grundsatz her können die erste und die zweite optische
Auflösung gleich groß sein, es kann aber auch
die erste oder die zweite optische Auflösung gegenüber
der jeweils anderen optischen Auflösung kleiner sein.
-
In
der Regel ist aber die Auflösung des Wärmebildes
kleiner als die Auflösung des Sichtbildes.
-
Die
Bilderfassungseinheit 1 weist ferner eine der ersten optischen
Einheit (2) entsprechende dritte optische Einheit (12)
zur Erfassung eines dritten Bildes mit dritten Strahlen (13)
im Bereich der ersten Wellenlängenempfindlichkeit auf.
Die dritte optische Einheit (12) mit einer dritten optischen
Achse (14) hat eine dritte Fokuseinrichtung (15)
zum Abbilden der dritten Strahlen (13) auf einem zweiten
Bildsensor (16) der dritten optischen Einheit (12).
Die zweite optische Einheit (3) hat von der ersten optischen
Einheit (2) die Entfernung a. Die dritte optische Einheit
(12) hat von der ersten optischen Einheit (2)
die Entfernung λ·a. Die zweite optische Einheit
(3) ist auf der Verbindungslinie zwischen der ersten und
der dritten optischen Einheit (2; 3) zwischen der
ersten und der dritten optischen Einheit (2; 3)
angeordnet.
-
Außerdem
weist die Bilderfassungseinheit 1 eine Signalverarbeitungseinheit 17 auf.
-
Die
Signalverarbeitungseinheit 17 ist in eine erste Signalverarbeitungseinheit 18 für
die erste optische Einheit 2, in eine zweite Signalverarbeitungseinheit 19 für
die zweite optische Einheit 3 und in eine dritte Signalverarbeitungseinheit 20 für
die dritte optische Einheit 12 aufgeteilt.
-
Die
erste, zweite und dritte Signalverarbeitungseinheit 18, 19, 20 sind
auf einer ersten und zweiten Leiterplatte 21, 22 platziert.
Die einzelnen Signalverarbeitungseinheiten können aber
auch auf jede andere Anzahl von Leiterplatten platziert sein.
-
Die
Signalverarbeitungseinheit 17 ist mit der ersten, zweiten
und der dritten optischen Einheit 2, 3, 12 in
der Weise verbunden, dass die Signalverarbeitungseinheit 17 von
der ersten, der zweiten und der dritten optischen Einheit (2; 3; 12 pro
einem jeweiligen Bildpunkt (x, y) des Bildes datentechnisch verarbeitbare
Signale (XIR, YIR;
XVIS, YVIS) erhält
und diese zumindest ausgehend von einem Sichtbild in entsprechen de
Signale (XIR, YIR)
des Wärmebildes unter Berücksichtigung entsprechender
Weltkoordinaten, die weiter oben näher angegeben sind,
umrechnet.
-
Gemäß dem
vorliegenden Ausführungsbeispiel ist die Signalverarbeitungseinheit 17 durch
einen digitalen Signalprozessor realisiert. Sie kann aber auch durch
einen mit den Transformationsgleichungen programmierten Logikbaustein
realisiert sein.
-
Der
Signalverarbeitungseinheit 17 der Bilderfassungseinheit 1 ist
eine anwendungsspezifische Bildverarbeitungseinheit nachgeschaltet,
die die von der Signalverarbeitungseinheit 17 errechneten
datentechnisch verarbeitbaren Signale (XIR,
YIR; XVIS, YVIS) pro jeweiligem Bildpunkt eines betreffenden
Bildes übernimmt und anwendungsspezifisch weiter verarbeitet.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- - Fluke Switzerland
GmbH: „Neue Thermografie-Technologie: Wartungsproblemen
schneller auf der Spur”, polyscope 18/06, S. 28–30
[1] [0016]
- - Roger Schmidt of Fluke Thermography, „Benefits of
IR/Visible Fusion”, 2007 [2] [0016]
- - K. Johnson, T. McManus und R. Schmidt, Infrared Solutions,
Inc., ”Commercial fusion camera”, Proc. of SPIE
Volume 6205 62050H, Thermosense XXVIII, 17 April 2006, ISBN 9780819462619
[3] [0016]
- - Hanspeter A. Mallot, „Sehen und die Verarbeitung
visueller Information, Eine Einführung”, Vieweg
Verlagsgesellschaft, 2. Auflage, Januar 2000, ISBN 3-528-15659-7,
S. 32–34 [0021]
- - Oliver Jennrich, „Ein Blick auf die Schärfentiefe”,
Version 0.2, 22. November 1999 [0044]
- - Thomas Luhmann, „Nahbereichsphotogrammetrie, Grundlagen,
Methoden und Anwendungen”, Wichmann Verlag, 2003, ISBN
3-87907-398-6, S. 310–313 [0051]
- - Karsten Mühlmann, „Design und Implementierung
eines Systems zur schnellen Rekonstruktion dreidimensionaler Modelle
aus Stereobildern”, Dissertation Universität Mannheim,
2002, S. 7–19 [0054]
die Gleichungen 3a, b mit den dimensionslosen Pixelkoordinaten XVIS, YVIS, XIR, YIR und den auf die jeweiligen Pixelrastermaße normierten Brennweiten FVIS und FIR:
oder aufgelöst nach XIR, YIR
umrechnet.