DE102016119920A1

DE102016119920A1 - Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera

Info

Publication number: DE102016119920A1
Application number: DE102016119920.6A
Authority: DE
Inventors: Michael Witych
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2016-10-19
Filing date: 2016-10-19
Publication date: 2018-04-19

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung (10) mit Hilfe einer Wärmebildkamera (70).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera, die insbesondere in der mobilen elektronischen Einrichtung, welche ein Smartphone sein kann, implementiert ist.
Smartphones mit integrierter oder aufsteckbarer Wärmebildkamera sind bekannt (siehe zum Beispiel die Webseiten: www.areamobile.de/news/36787-cat-s60 und www.heise.de/newsticker/meldung/hands-on).
Ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera ist aus der DE 10 2016 109 628.8 bekannt, die als ältere Patentanmeldung gemäß §3 Abs. 2 PatG gilt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein weiteres Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera zur Verfügung zu stellen.
Ein Kerngedanke der Erfindung kann darin gesehen werden, vorzugsweise mehrere Referenzoberflächenbereiche, deren Positionen im Objektraum bekannt sind, hinsichtlich wenigstens eines Objekts bereitzustellen, wobei jedem Referenzoberflächenbereich i.d.R. zeitabhängige Positions- und i.d.R. zeitabhängige Farb- bzw. Temperaturinformationen nach einer Abbildung in die Bildebene einer digitalen Wärmebildkamera zugeordnet werden, die als Referenzdatensätze gespeichert werden.
Die jeweilige Temperatur der Oberflächenpunkte der jeweiligen Referenzoberflächenbereiche kann vorzugsweise über ein gegebenes Wärmemodell vorhergesagt werden. Ein solches Wärmemodell kann auf einem Finite-Element-Verfahren zur Zerlegung einer realen 3D-Struktur in eine endliche Anzahl von Elementen mit vereinfachten physikalischen Eigenschaften basieren, welches beispielsweise in dem Handbuch „HYDR Grundwasser-/Wärmeleitmodell“ der Firma SOFISTIK AG, Oberschleissheim, 2005 erläutert wird (siehe www.sofistik.de/fileadmin/FILES/produkte/sta). Unter Verwendung einer vorgegebenen Temperatur-Farb-Kennlinie der verwendeten digitalen Wärmebildkamera können dann die Farbwerte für die Abbildung der simulierten Oberflächentemperaturen in die Bildebene der mobilen digitalen Wärmebildkamera vorhergesagt bzw. berechnet werden.
Das oben genannte technische Problem wird durch die Verfahrensschritte des Anspruchs 1 gelöst.
Danach wird ein Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera, deren innere Orientierung bekannt ist, zur Verfügung gestellt, welches folgende Schritte aufweist:

a) Aufnehmen, mit der mobilen digitalen Wärmebildkamera eines Wärmebilds eines Objekts, wobei das Wärmebild in einer Farbendarstellung erzeugt wird;
b) Bereitstellen für vorbestimmte Oberflächenbereiche eines vorbestimmten Objekts jeweils eines Referenzdatensatzes, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält, wobei die Farbinformation einer Temperatur des jeweiligen vorbestimmten Oberflächenbereichs entspricht;
c) Auswählen mehrerer Referenzdatensätze aus den in Schritt b) bereitgestellten Referenzdatensätzen in Abhängigkeit des Ergebnisses eines Abgleichs der in den Referenzdatensätzen enthaltenen Farbinformationen mit Bereichen der Farbdarstellung des in Schritt a) aufgenommenen Wärmebilds; und
d) Durchführen unter Verwendung der bekannten inneren Orientierung der Wärmebildkamera und der in den ausgewählten Referenzdatensätzen enthaltenen Positionsinformationen eines räumlichen Rückwärtsschnitts zur Bestimmung der Position und/oder Orientierung der mobilen elektronischen Einrichtung.

Der räumliche Rückwärtsschnitt ist ein Verfahren aus der Photogrammetrie, das beispielsweise in dem Fachbuch „Photogrammetrie", von K. Schwidefsky und F. Ackermann, B.G. Teubner Stuttgart, 1976 erläutert wird.
Angemerkt sei, dass mit Orientierung vorzugsweise die äußere und/oder innere Orientierung der der mobilen elektronischen Einrichtung zugeordneten Wärmebildkamera gemeint ist. Die Begriffe „äußere und innere Orientierung“ sind aus der Photogrammetrie bekannt. Erläutert werden sie beispielsweise in dem Fachbuch „Photogrammetrie, Grundlagen, Verfahren, Anwendungen", von K. Schwidedfsky et al., 7. Auflage des „Grundriß der Photogrammetrie", 1976, B.G. Teubner Stuttgart. Eine Bildkoordinatenachsenskalierung durch die Pixelgröße oder durch die Bauart eines digitalen Flächensensors können bei der inneren Orientierung der Wärmebildkamera mit enthalten sein.
Weiterhin sei angemerkt, dass eine Position vorzugsweise durch die Koordinaten eines vorgegebenen 3D-Koordinatensystem beschrieben wird.
Angemerkt sei ferner, dass ein Oberflächenbereich mindestens einen Oberflächenpunkt enthält. Der kleinstmögliche „Bereich“ auf der Objektoberfläche wäre ein Oberflächenpunkt, sodass die Temperatur in diesem Punkt auf der Objektoberfläche ermittelt wird.
In der Regel wird jedoch ein vorbestimmter Oberflächenbereich mehrere Punkte enthalten, so dass dann die Temperatur in diesem Oberflächenbereich eine mittlere repräsentative Temperatur ist, die anschließend in einen entsprechenden Farbwert umgerechnet werden kann.
Rein praktisch gesehen, wird in der Bildebene einer digitalen Wärmebildkamera also nicht die Farbe in einem zu einem Oberflächenpunkt eines Objekts korrespondierenden Bildpunkt, sondern ein repräsentativer Farbwert als Mittelwert zum Beispiel in einem CMOS-Bildpixel (mit einer dx- und dy-Ausdehnung im Bild, die einem Bereich aus mehreren Punkten auf der Objektoberfläche entspricht) gemessen.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Mithilfe eines räumlichen Rückwärtsschnitts können mehrere im Objektraum konvergierende Strahlenbündel eines Kamerabildes berücksichtigt werden, um die Positionen aufgenommener Objekte eines Objektraumes und gleichzeitig die Position und/oder Orientierung der verwendeten Kamera bzw. der mobilen elektronischen Einrichtung zu bestimmen. Hierbei muss allerdings die Zuordnung von Objektpunkten zu Bildpunkten gegeben sein, was in der Praxis hauptsächlich durch eine reale Signalisierung am Objekt erzeugt wird, so z.B. mittels Aufkleben von Messmarken und einer Punktnummerninformation. Diese sogenannte Signalisierung ist also vorab manuell vorzunehmen und wird durch die Aufnahme im Bild der Kamera sichtbar.
Um das Verfahren vollständig automatisiert ausführen zu können, wird eine alternative Lösung für ein Signalisieren relevanter Punkte im Objektraum bereitgestellt, indem die Signalisierung nicht manuell direkt am Objekt, sondern virtuell erzeugt wird.
Dies wird dadurch erreicht, dass Schritt b) folgende Schritte umfasst:

b1) Aufrufen, von einer Recheneinheit, wenigstens eines in einer Speichereinrichtung abgelegten Wärmemodells für das vorbestimmte Objekt;
b2) Berechnen, unter Verwendung des in Schritt b1) aufgerufenen Wärmemodells, für mehrere vorbestimmte Oberflächenbereiche des vorbestimmten Objekts, deren Positionen bekannt sind, jeweils eine oberflächentemperaturabhängige Farbinformation. Angemerkt sei, dass die Berechnung gemäß Schritt b2) vorteilhafter Weise für einen Zeitpunkt und gegebenenfalls für ein Datum ausgeführt wird, zu denen in Schritt a) ein Wärmebild aufgenommen worden ist.

Mit anderen Worten: Die Signalisierung am Objekt erfolgt durch die Simulation von Temperaturwerten an vorgegebenen, also bekannten, Objektoberflächenpunkten, deren Positionen bekannt sind. Diesen Temperaturwerten sind über die Temperatur-Farb-Kennlinie der Wärmebildkamera eindeutige Farbwerte im Wärmebild zugeordnet. Wird ein Temperaturwert eines Objektpunktes eindeutig numerisch einem Farbwert im Bild zugeordnet und existiert dieser Farbwert nur an einer Stelle im Bild, so ist damit ein Bildstrahl zum Aufnahmezeitpunkt gegeben. Liegt dieser Farbwert an mehreren Stellen im Bild vor, so sind dem Fachmann unterschiedliche Kriterien und Algorithmen bekannt wie die Auswahl des am besten korrespondierenden Bildpunktes vollautomatisch durchgeführt werden kann. Mehrere dieser Bildstrahlen zu den am besten korrespondierenden Bildpunkten ergeben ein Strahlenbündel, das im Projektionszentrum gebündelt ist. Liegen beispielsweise mindestens 5 Strahlen in einem Strahlenbündel zu bekannten Oberflächenpunkten vor, so kann, wenn diese Strahlen die bekannte allgemeine Lage haben, die Position und/oder Orientierung der Wärmebildkamera bestimmt werden. Dieses Verfahren kann ausgleichungstechnisch iterativ im Gauss-Markov-Modell erfolgen, was bekannt ist. Es liegt somit ein räumlicher Rückwärtsschnitt vom Objekt ins Projektionszentrum der Wärmebildkamera vor, was einer Einbild-Bündelausgleichung entspricht.
Die Simulationsergebnisse können verbessert werden, wenn in Schritt b2) die Farbinformationen in Abhängigkeit von Zeitinformationen, und/oder von Informationen über die Materialeigenschaften der Oberfläche des vorbestimmten Objekts, und/oder von Wetterinformationen, und/oder von Temperaturinformationen des Objektraums, in dem sich das vorbestimmte Objekt befindet, und/oder von Informationen über die äußere und/oder innere Orientierung einer virtuellen Wärmebildkamera und/oder von Informationen über die Position einer virtuellen Wärmebildkamera berechnet werden.
Anstatt Referenzdatensätze mittels einer Simulation zu gewinnen, können diese alternativ aus vorab aufgenommenen Referenzwärmebildern gebildet werden. Diese Referenzwärmebilder können ebenfalls von der digitalen Wärmebildkamera aufgenommen werden. Hierzu kann Schritt b) folgende Schritte umfassen:

Aufnehmen vor Ausführung des Schritts a) wenigstens eines Referenzwärmebildes des vorbestimmten Objekts, wobei das wenigstens eine Referenzwärmebild in einer Farbendarstellung erzeugt wird;
Erstellen unter Verwendung des Referenzwärmebilds für vorbestimmte Oberflächenbereiche des vorbestimmten Objekts jeweils eines Referenzdatensatzes, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält; und Speichern der Referenzdatensätze.

Eine vorteilhafte und für die mobile elektronische Einrichtung energiesparende Maßnahme sieht vor, dass das in Schritt a) aufgenommene Wärmebild zu einer entfernten Rechnereinrichtung, die räumlich getrennt von der mobilen elektronischen Einrichtung angeordnet ist, übertragen wird, und dass
die Schritte b) bis d) in der Rechnereinrichtung (140) ausgeführt werden.
Ist die digitale Wärmebildkamera in der mobilen elektronischen Einrichtung, welche ein Mobilfunktelefon sein kann, integriert, können die Schritte b) bis d) auch in der mobilen elektronischen Einrichtung ausgeführt werden.
Der Rechenaufwand zur Bestimmung der Position und/oder der Orientierung der mobilen elektronischen Einrichtung kann dadurch reduziert werden, dass
aus dem in Schritt a) aufgenommenen Wärmebild ein Wärmebildausschnitt ausgewählt wird, dass
in Schritt b) aus den bereitgestellten Referenzdatensätzen eine Anzahl von ersten Referenzdatensätzen ausgewählt wird, und dass
in Schritt c) aus den in Schritt b) ausgewählten ersten Referenzdatensätzen mehrere erste Referenzdatensätze in Abhängigkeit des Ergebnisses eines Abgleichs der in den ersten Referenzdatensätzen enthaltenen Farbinformationen mit dem ausgewählten Wärmebildausschnitt ausgewählt werden.
Das neue Verfahren verbindet somit eine Lösung zum automatisierten Signalisieren eines Objektes mit der Durchführung eines räumlichen Rückwärtsschnitts, um die Position und/oder Orientierung der mobilen elektronischen Einrichtung bzw. der Wärmebildkamera vollautomatisch zu bestimmen.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den beiliegenden Zeichnungen näher erläutert. Es zeigen:

1 ein beispielhaftes Kommunikationssystem, welches ein Mobilfunktelefon mit einer integrierten Wärmebildkamera aufweist,
2 eine Hauswand mit zwei Fenstern als ein vorbestimmtes Objekt in einem vorgegebenen Objektraum.

1 zeigt als eine beispielhafte Anwendung den Ausschnitt eines beispielhaften Kommunikationssystems 1, welches ein Smartphone 10 als eine mobile elektronische Einrichtung, eine externe Rechnereinrichtung 140 in Form eines Servers und eine externe Datenbank 180 aufweisen kann. Das Smartphone 10, die Datenbank 180 und die Rechnereinrichtung 140 können über ein IP-Netz, beispielsweise das Internet 190 kommunizieren.
Der Server 140 kann eine Steuereinheit 150, die zum Beispiel als Mikroprozessor oder Mikrokontroller ausgebildet ist, aufweisen. Ferner kann der Server 140 einen Datenspeicher 160 und einen Programmspeicher 170 enthalten, in dem die Anweisungen zur Steuerung und Überwachung des Servers 140 hinterlegt sind. Wie nachfolgend noch näher erläutert wird, kann der Server 140 im Zusammenwirken mit dem Smartphone 10 einige Verfahrensschritte zum Bestimmen der Position und/oder der Orientierung des Smartphones 10 ausführen.
Das Smartphone 10 kann einen Zeitgeber 40 enthalten, der die aktuelle Uhrzeit und/oder das aktuelle Datum angeben kann. Auf diese Weise kann der Zeitpunkt und die Jahreszeit der Aufnahme eines Wärmebildes erfasst werden.
Das Smartphone 10 kann über eine drahtlose Kommunikationsschnittstelle 130 beispielsweise auf das Internet 190 zugreifen. Das Smartphone 10 kann dazu ausgebildet sein, über das Internet 190 beispielsweise aktuelle oder vergangene ortsbezogene Wetterinformationen zu beziehen, welche zum Beispiel in der Datenbank 180 abgelegt werden können. Auch Informationen über den aktuellen Sonnenstand und/oder die Sonnenscheindauer und/oder -intensität kann das Smartphone 10 über das Internet abfragen.
Zudem kann das Smartphone 10 einen Temperatursensor 90, einen Helligkeitssensor 91 und einen Bewegungssensor 92 enthalten. Weiterhin kann das Smartphone 10 eine Steuereinheit 30 aufweisen, die als Mikroprozessor oder Mikrokontroller ausgebildet sein kann. Bei dem dargestellten Beispiel weist das Smartphone 10 eine integrierte digitale Wärmebildkamera 70 auf. Alternativ oder zusätzlich kann eine digitale Wärmebildkamera extern an das Smartphone 10 über eine entsprechende Datenschnittstelle (nicht dargestellt) angeschlossen werden. Bekannt ist, dass mittels der digitalen Wärmebildkamera 70 eine Temperaturverteilung einer aufgenommenen Oberfläche eines Objekts bildlich, d.h. farblich in einer Bildebene der Wärmebildkamera 70 dargestellt werden kann. Die Wärmebildkamera 70 arbeitet vorzugsweise im thermalen Infrarot (TIR).
Die Wärmebildkamera 70 besitzt eine bekannte innere Orientierung, die sich vorzugsweise aus der bekannten Brennweite des verwendeten Objektivs, den bekannten Verzeichnungsparametern des verwendeten Objektives, der Hauptpunktlage im Bild, der Lage des Symmetriepunktes der Verzeichnung relativ zum Hauptpunkt des Bildes und gegebenenfalls der Skalierung der Pixel des Sensors der Bildebene ergibt. Die innere Orientierung kann im Smartphone 10 gespeichert sein.
Zudem ist in an sich bekannter Weise mit diesen Größen bezüglich der Wärmebildkamera 70 ein 2D-Bildkoordinatensystem und ein lokales, wärmebildkamerafestes 3D-Koordinatensystem definiert, dessen Ursprung als Position des Mobilfunktelefons 10 definiert sein kann. Ferner kann eine 3D-Ablage bzw. ein 3D-Vektor zwischen dem Ursprung des wärmebildkamerafesten 3D-Koordinatensystems und einem mobilfunktelefonfesten Punkt, z. B. der Antenne eines GPS-Empfängers 50 gegeben sein, auf den sich auch der GPS Empfänger 50 beziehen kann. Der GPS-Empfänger 50 des Smartphones 10 kann in an sich bekannter Weise die Position bzw. Positionskoordinaten des Smartphones 10 bestimmen.
In einem Programmspeicher 80 können die zur Steuerung und Überwachung des Smartphones 10 benötigten Anweisungen hinterlegt sein. Denkbar ist, dass das Smartphone 10 alle Informationen kennt, mit denen es seine äußere Orientierung, d. h. die Position und Orientierungswinkel des mobilfunktelefonfesten lokalen 3D-Koordinatensystems zum Zeitpunkt der Aufnahme eines Wärmebildes bestimmen kann. Weiterhin ist denkbar, dass im Smartphone 10 eine Temperatur-Farbwert-Kennlinie hinsichtlich der Wärmebildkamera 70 gespeichert wird, die angibt, welcher Temperaturwert durch welchen Farbwert in der Bildebene dargestellt wird.
Wie nachfolgend noch detailliert erläutert wird, können in dem Programmspeicher 80 eine Vielzahl von Wärmemodellen hinterlegt sein, mit denen jeweils die Oberflächentemperatur eines vorbestimmten Objekts, beispielsweise die einer Hauswand 100 eines Gebäudes und/oder die der Fensterrahmen von Fenster 110, 120, welche in 2 dargestellt sind, zumindest abschnittsweise vorhergesagt werden können.
Die vorbestimmten Objekte können in einem vorgegebenen Objektraum oder in mehreren vorgegebenen Objekträumen liegen. Ein vorgegebener Objektraum kann ein Messegelände, ein Gebäude, eine Straße oder dergleichen sein. Objekträume können in der Datenbank 180 wohl strukturiert abgelegt werden, um den Zugriff auf Einzelobjekte bzw. Wärmemodelle zu beschleunigen.
Jedem Objekt ist vorzugsweise ein Objektkoordinatensystem zugeordnet, in dem die 3D-Positionen seiner Oberfläche festgelegt sind. Zu einigen Oberflächenpunkten wenigstens eines vorbestimmten Objekts können in der Datenbank 180 ebenfalls die Parameter und algebraischen Zusammenhänge abgelegt werden, die es erlauben, zu einem bestimmten Zeitpunkt die Temperatur dieser Oberflächenpunkte zu berechnen bzw. vorherzusagen. Die notwendigen Gleichungen der entsprechenden Wärmemodelle können entweder über das Internet 190 in den Programmspeicher 80 geladen und im Mikroprozessor 30 berechnet werden. Alternativ oder zusätzlich können diese Gleichungen bzw. Wärmemodelle bereits im Programmspeicher 80 als Teil des installierten Programmes vorliegen.
Insbesondere können im Programmspeicher 80 und/oder in der Datenbank 180 und/oder im Programmspeicher 170 des Servers 140 alle bekannten notwendigen Abbildungsgleichungen der Zentralprojektion und der inneren Orientierung der Wärmebildkamera, mit denen auch die Abbildung einer Lochbildkamera simuliert werden kann, hinterlegt sein.
Auch ein Algorithmus zum Prüfen der Übereinstimmung zwischen real aufgenommenen Wärmebildern und real aufgenommenen oder simulierten Referenzwärmebildern kann zum Beispiel im Programmspeicher 80 des Smartphones 10, im Programmspeicher 170 und/oder in der Datenbank 180 hinterlegt sein.
Mit Hilfe der Gleichungen und der Daten aus der Datenbank 180, und/oder den Sensordaten der Sensoren 90 und 91 des Mobilfunktelefons 10 und/oder der Zeitangabe des Zeitgebers 40 kann hinsichtlich des wenigstens einen vorbestimmten Objekts die Temperatur in Oberflächenpunkten mit bekannten Oberflächenkoordinaten oder in Oberflächenbereichen mit bekannten 3D-Positionen berechnet werden. Für diese Oberflächenpunkte oder Oberflächenbereiche liegen damit die berechneten Temperaturwerte gültig für einen bestimmten Zeitpunkt vor, wobei dieser Zeitpunkt möglichst genau genug dem Zeitpunkt der realen Wärmebildaufnahme entsprechen soll. Die 3D-Positionen mit bekannten Temperaturen werden nun rechnerisch mittels Nutzung der inneren und gegebenenfalls mit der äußeren Orientierung der Wärmebildkamera 70 auf deren Bildebene projiziert und an jeder Stelle der Bildebene, auf die ein Objektpunkt projiziert wird, wird beispielsweise im Datenspeicher 60 der Farbwert abgespeichert, der sich aus der zu nutzenden Kennlinie zur Umrechnung von Temperatur in Farbwert ergibt. Das Ergebnis sind Referenzdatensätze für vorbestimmte Oberflächenbereiche bzw. Oberflächenpunkte eines vorbestimmten Objekts, die jeweils eine Positions- und Farbinformation enthalten. Angemerkt sei, dass ein vorbestimmter Oberflächenbereich einen Objektpunkt oder eine vorbestimmbare Anzahl von Objektpunkten umfassen kann.
Wird eine ausreichende Übereinstimmung zwischen der Farbdarstellung eines aktuell aufgenommenen Wärmebilds und den in einem oder mehreren Referenzdatensätzen enthaltenen Farbinformationen festgestellt, können die in diesen Referenzdatensätzen enthaltenen Positionsinformationen zusammen mit der bekannten inneren Orientierung der Wärmebildkamera 70 in einem räumlichen Rückwärtsschnitt zur Bestimmung der Position und/oder Orientierung des Smartphones 10 bzw. der Wärmebildkamera 70 verwendet werden.
Die Funktionsweise des Smartphones 10 und, sofern benötigt, des Servers 140 und der Datenbank 180 werden nachfolgend näher erläutert.
Die Position und/oder die Orientierung des Smartphones 10 bzw. der Wärmebildkamera 70 soll nunmehr mit Hilfe der integrierten Wärmebildkamera 70 bestimmt werden, dessen Benutzer sich aktuell vor einer Hauswand 100, welche in 2 darstellt ist, aufhält. In der Hauswand 100 sind zwei Fenster 110 und 120 eingesetzt. Das Fenster 110 weist beispielsweise einen sechseckige Fensterrahmen 112 aus Holz auf. An jeder Ecke des Fensterrahmens 112 kann jeweils ein Temperatursensor 105 angeordnet sein. Das Fenster 120 weist beispielsweise einen viereckigen Fensterahmen 122 auf, der ebenfalls aus Holz bestehen kann. An jeder Ecke des Fensterrahmens 122 kann ein Temperatursensor 107 angeordnet sein. Die Temperatursensoren 105 und 107 können jeweils dazu ausgebildet sein, je nach Implementierung des Systems 1 eine individuelle Adresse, wie zum Beispiel eine IP-Adresse, Temperaturmesswerte und die jeweiligen Messzeitpunkte zum Smartphone 10 und/oder zum Server 140 und/oder zur Datenbank 180 auf Anfrage oder automatisch zu übertragen. Angemerkt sei, dass die Positionen der sechs Eckpunkte des Fensterrahmens 112 und auch die vier Eckpunkte des Fensterrahmens 122 im Objektraum bekannt sind. Weiterhin sei angenommen, dass der Benutzer die Wärmebildkamera 70 gerade auf das Fenster 110 richtet, wobei er die Wärmebildkamera 70 etwas gedreht und gekippt hält. Die dazugehörende numerische Projektion 200 der Bildebene der digitalen Wärmebildkamera 70 in das Objekt, nämlich das Fenster 110, ist in 2 dargestellt. Mit „H“ ist der Bildhauptpunkt bezeichnet.
Um für vorbestimmte Oberflächenbereiche bzw. Oberflächenpunkte eines vorbestimmten Objekts, zum Beispiel die sechs Ecken des Fensterrahmens 112 und die vier Ecken des Fensterrahmens 122, jeweils einen Referenzdatensatz bereitzustellen, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält, gibt es verschiedene Möglichkeiten.
Ein beispielhafter erster Ansatz sieht vor, dass das Smartphone 10 und/oder der Server 140 jeweils dazu ausgebildet sind, Temperaturmesswerte von den Temperatursensoren 105 und 107 zu einem bestimmten Gültigkeitszeitpunkt abzufragen. Das ist vornehmlich der Zeitpunkt, zu dem der Benutzer mit der Wärmebildkamera 70 zum Beispiel ein Wärmebild des Fensters 110 aufnimmt, welches durch eine Vielzahl von Bildpunkten, denen jeweils ein oberflächentemperaturabhängiger Farbwert zugeordnet ist. Da die Positionen der Ecken der Fensterrahmen 112 und 122 und somit im Wesentlichen die Positionen der Temperatursensoren 105 und 107 bekannt sind, können im Smartphone 10 und/oder im Server 140 für jeden Eckpunkt unter Ansprechen auf die empfangenen IP-Adressen und Temperaturmesswerte der jeweiligen Temperatursensoren 105 und 107 jeweils ein Referenzdatensatz für den Gültigkeitszeitpunkt erstellt und bereitgestellt werden, wobei jeder Referenzdatensatz eine Positions- und eine Farbinformation für den jeweiligen vorbestimmten Oberflächenbereich, das ist im vorliegenden Beispiel die Ecke eines der Fensterrahmen 112 oder 122, enthält. Die Farbinformation wird im Smartphone 10 und/oder im Server 140 jeweils in Abhängigkeit von einer vorgegebenen Temperatur-Farbwert-Kennlinie berechnet.
Senden die Temperatursensoren 105 und 107 ihre IP-Adresse und die zu einem Gültigkeitszeitpunkt gemessenen Temperaturwerte jedoch nur zur Datenbank 180, so sind das Smartphone 10 und/oder der Server 140 jeweils in der Lage, die IP-Adressen der Temperatursensoren und die dazugehörenden Temperaturmesswerte dort abzufragen.
Auf diese Weise sind das Smartphone 10 und/oder der Server 140 in der Lage, für vorbestimmte Oberflächenbereiche bzw. punkte eines vorbestimmten Objekts jeweils einen Referenzdatensatz, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält, wobei die Farbinformation einer Temperatur des jeweiligen vorbestimmten Oberflächenbereichs entspricht, bereitzustellen. Bei dem erläuterten Beispiel werden beispielsweise für jeden Eckpunkt der beiden Fensterrahmen 112 und 122 jeweils ein Referenzdatensatz, also insgesamt zehn Referenzdatensätze bereitgestellt.
Ein zweiter beispielhafter Ansatz sieht vor, dass im Speicher 60 des Smartphones 10, und/oder im Speicher 160 des Servers 140 und/oder in der Datenbank 180 für jedes Fenster 110 und 120 oder nur für jeden Fensterrahmen 112 und 122 ein Wärmemodell abgelegt ist. Nunmehr wird lediglich der Fall betrachtet, dass im Speicher 60 des Smartphones 10 für jeden Fensterrahmen 112 und 122 ein geeignetes Wärmemodell gespeichert ist. Angemerkt sei, dass jedes Wärmemodell insbesondere die geometrische Oberfläche eines Objekts, das sind beispielsweise die Fensterrahmen 112 und 122, beschreibt. In jedem Wärmemodell können beispielsweise Informationen über die Materialeigenschaft der Oberfläche des Objekts, eine Temperaturinformation des Objektraums, welche zum Bespiel simuliert oder vom Temperatursensor 90 des Smartphones 10 und/oder von den Temperatursensoren 105 und 107 gemessen wird, Zeitinformationen, wie zum Beispiel der Zeitpunkt der Aufnahme eines Wärmebildes vom Objekt mit der digitalen Wärmebildkamera 70, Informationen über die äußere und/oder innere Orientierung einer virtuellen Wärmebildkamera und/oder Informationen über die Position einer virtuellen Wärmebildkamera, Wetterinformationen, die zum Beispiel vom Smartphone 10 von der Datenbank 180 abgefragt werden können, berücksichtigt werden. Wiederum sei angenommen, dass zumindest die Eckpunkte der Fensterrahmen 112 und 122 bekannt sind. Das Smartphone 10 ist dazu in der Lage, zu einem Gültigkeitszeitpunkt, der der Zeitpunkt der Aufnahme des Fensters 120 mit der Wärmebildkamera 70 sein kann, unter Verwendung der gespeicherten Wärmemodelle für mehrere vorbestimmte Oberflächenbereiche wenigstens eines vorbestimmten Objekts, das können die Ecken der Fensterrahmen 112 und 122 sein, deren Positionen bekannt sind, jeweils eine oberflächentemperaturabhängige Farbinformation zu berechnen. Für jeden vorbestimmten Oberflächenbereich erstellt das Smartphone 10 dann einen Referenzdatensatz, der neben der Farbinformation auch die bekannte Position des jeweiligen vorbestimmten Oberflächenbereichs enthält. Dieser Ansatz eignet sich für eine Positions- und/oder Orientierungsbestimmung des Smartphones 10 in Echtzeit.
Ein dritter beispielhafter Ansatz sieht vor, dass vorab, d.h. zeitlich vor der aktuellen Aufnahme eines Wärmebilds des in 2 gezeigten Fensters 120, das zur Positions- und/oder Orientierungsbestimmung des Smartphones 10 benötigt wird, wenigstens ein Referenzwärmebild des vorbestimmten Objekts aufgenommen wird, wobei das wenigstens eine Referenzwärmebild in einer Farbdarstellung unter Verwendung einer vorgegeben Temperatur-Farbwert-Kennlinie der Wärmebildkamera 70 erzeugt wird. Beispielsweise werden vorab mit der digitalen Wärmebildkamera 70 mehrere Referenzwärmebilder von den beiden Fensterrahmen 112 und 122 zu verschiedenen Tages- und Jahreszeiten aufgenommen. Anschließend werden unter Verwendung der Referenzwärmebilder für vorbestimmte Oberflächenbereiche des wenigstens einen vorbestimmten Objekts, im vorliegenden Beispiel sind das die Eckpunkte der Fensterrahmen 112 und 122, jeweils ein Referenzdatensatz erstellt, der neben der Positions- und Farbinformation des jeweiligen Oberflächenbereichs auch die Tages- und Jahreszeit der Aufnahme des Referenzwärmebildes enthalten kann. Diese Referenzdatensätze werden vorab im Smartphone 10 gespeichert. Denkbar ist, dass solche Referenzwärmebilder mit einer anderen Wärmebildkamera aufgenommen werden, wobei die daraus gewonnenen Referenzdatensätze dann zum Beispiel im Server 140 oder in der Datenbank 180 zur späteren Verwendung abgelegt werden können.
Nunmehr sei angenommen, dass der Nutzer des Smartphones 10 vor der Hauswand 100 steht und die Position und/oder Orientierung seines Smartphones 10 wissen möchte. Zudem sind bereits mehrere Referenzdatensätze im Smartphone 10 abgelegt, die zuvor aus mehreren Referenzwärmebildern erzeugt worden sind. Angenommen sei, dass Referenzdatensätze aus Referenzwärmebildern erzeugt worden sind, die zu unterschiedlichen Zeiten und Jahreszeiten aufgenommen worden sind.
Um die Position und/oder Orientierung mit Hilfe der digitalen Wärmebildkamera 70 bestimmen zu können, nimmt der Benutzer zu einem Gültigkeitszeitpunkt t0 zum Beispiel ein Wärmebild von dem Fenster 110 mit der integrierten Wärmebildkamera 70 auf, wie dies in 2 angedeutet ist. Der Aufnahmezeitpunkt t0 und das Datum der Wärmebildaufnahme können beispielsweise vom Zeitgeber 40 des Smartphones 10 bestimmt werden.
Um geeignete Referenzdatensätze mit reduziertem Rechenaufwand auffinden zu können, kann vorab eine erste grobe Positionsbestimmung des Smartphones 10 vorgenommen werden. So kennt der Nutzer beispielsweise die Adresse des Hauses mit der Wand 100, die er am Smartphone 10 eingeben kann. Alternativ kann das Smartphone 10 mittels seines GPS-Empfängers 50 selbst seine Position grob bestimmen. Angenommen sei, dass der Nutzer die Adresse des Hauses mit der Hauswand 100 am Smartphone 10 eingegeben hat. Unter Ansprechen auf die Adresse, den Zeitpunkt und die Jahreszeit des Wärmebilds kann das Smartphone 10 die Referenzdatensätze auswählen, die zu den Fensterrahmen 112 und 122 gehören. Je nach Implementierung kann der Benutzer dem Smartphone 10 auch mitteilen, dass die zum rechten Fensterrahmen 112 gehörenden Referenzdatensätze bereitgestellt werden sollen.
Werden die Referenzdatensätze zum Beispiel in Echtzeit erst mit Hilfe gespeicherter Wärmemodelle erzeugt, werden diejenigen Wärmemodelle vom Smartphone 10 aufgerufen, die die Fensterrahmen 112 und 122 beschreiben. Wie zuvor beschrieben, kann der Nutzer dem Smartphone 10 mitteilen, dass nur das rechte Fenster 110 betrachtet wird. In diesem Fall wird das Smartphone 10 lediglich das Wärmemodell aufrufen, welches den Fensterrahmen 112 beschreibt. Unter Verwendung des Wärmemodells und vorzugsweise in Abhängigkeit des tatsächlichen Aufnahmezeitpunkts eines Wärmebildes vom Fensterrahmen 112, aktueller Wetterinformationen und Materialeigenschaften des Fensterrahmens 112 berechnet das Smartphone 10 die Temperatur bzw. die dazugehörende Farbinformation für mehrere vorbestimmte Oberflächenbereiche. Bei dem erläuterten Beispiel sind das die sechs Eckpunkte des Fensterrahmens 112.
Nunmehr wird ein Abgleich der in den bereitgestellten Referenzdatensätzen enthaltenen Farbinformationen mit den Farbinformationen der Bildpunkte des mit der Wärmebildkamera 70 aufgenommen Objekts, das ist der Fensterrahmen 112, durchgeführt, um markante Bereiche im aufgenommenen Wärmebild, dessen Positionen bekannt sind, zu finden. Das Wärmebild wird durch eine Vielzahl von Bildpunkten, denen jeweils ein oberflächentemperaturabhängiger Farbwert zugeordnet ist, dargestellt. Ergibt der Abgleich, dass die in den Referenzdatensätzen, die den Eckpunkten des Fensterrahmens 112 zugeordnet sind, enthaltenen Farbinformationen in vorgegebener Weise mit Farbinformationen des aktuell aufgenommen Wärmebilds übereinstimmen, so werden diese Referenzdatensätze zur weiteren Berechnung ausgewählt.
Als ein mögliches Übereinstimmungskriterium kann das Über- oder Unterschreiten eines vorgegebenen Schwellenwertes dienen, welches von einem angewandten Prüfalgorithmus abhängt. Beispielsweise kann ein Schwellenwert von beispielsweise 0,9 im Datenspeicher 160 hinterlegt sein. Ein Übereinstimmungswert von 1 würde signalisieren, dass die in einem Referenzdatensatz enthaltene Farbinformation mit der Farbinformation eines Bildpunktes des vom Smartphone 10 aufgenommenen Wärmebild vollständig übereinstimmt.
Anschließend werden die in den ausgewählten Referenzdatensätzen enthaltenen Positionsinformationen ausgelesen und zusammen mit der bekannten inneren Orientierung der Wärmebildkamera 70 in die Gleichungen eines räumlichen Rückwärtsschnitts zur Bestimmung der Position und/oder Orientierung der Wärmebildkamera 70 und somit des Smartphones 10 eingesetzt.
Angemerkt sei an dieser Stelle, dass das aktuell von der Wärmebildkamera 70 aufgenommen Wärmebild über das Internet vom Smartphone 10 zum Server 140 übertragen werden kann, in dem vorab erstellte Referenzdatensätze oder Wärmemodelle zum Simulieren von Oberflächentemperaturwerten der Fenster 110 und 120 abgelegt sein können. Der zuvor hinsichtlich des Smartphones 10 erläuterte Farbabgleich zum Auswählen geeigneter Referenzdatensätze und der anschließende Schritt des Durchführens eines räumlichen Rückwärtsschnitts Abgleichschritt können nunmehr im Server 140 ausgeführt. Das Ergebnis, d.i. die Position und/oder Orientierung der Wärmebildkamera 70 und somit im Wesentlichen die Position und/oder Orientierung des Smartphones 10, kann dann wiederum vom Server 140 zum Smartphone 10 übertragen werden.
Um den Rechenaufwand insbesondere für das Smartphone 10 zu reduzieren, können im aktuell mit der Wärmebildkamera 70 aufgenommen Wärmebild gezielt wenigstens eine Wärmebildausschnitt ausgewählt werden, der beispielsweise den in 2 gezeigten Fensterrahmen 112 darstellt. In ähnlicher Weise können aus vorab hinterlegten Referenzdatensätzen gezielt erste Referenzdatensätze ausgewählt werden, die den Fensterrahmen 112 betreffen. Anschließend wird nur noch ein Farbabgleich zwischen den Farbwerten des Wärmebildausschnitts und den zuvor ausgewählten ersten Referenzdatensätzen durchgeführt, um zweite Referenzdatensätze zu finden, deren Positionsinformationen in einem räumlichen Rückwärtsschnitt zur Bestimmung der Position und/oder Orientierung der Wärmebildkamera 70 und somit im Wesentlichen zur Bestimmung der Position und/oder Orientierung des Smartphones 10 verwendet werden.
Dank der Erfindung kann die Position und/oder Orientierung einer mobilen elektronischen Einrichtung 10 mit Hilfe einer Wärmebildkamera 70 bestimmt werden.
Hierzu wird im Objektraum ein Objekt, zum Beispiel die Fensterrahmen 112 und 122, mit seiner 3D-Oberfläche vorgebeben, wobei die Farb-Darstellung der Oberfläche im Wärmebild der digitalen Wärmebildkamera 70 durch eine bekannte Temperatur-Farb-Kennlinie berechnet und hieraus eine Strahlenzuordnung zwischen Objekt- und Bildraum vollautomatisch ohne manuelle Signalisierung am Objekt erzeugt wird. Die so erzeugte Strahlenzuordnung wird bei einem räumlichen Rückwärtsschnitt algebraisch genutzt, um iterativ z.B. im Gauss-Markov-Modell die Position und/oder Orientierung der Wärmebildkamera 70 bzw. der mobilen elektronischen Einrichtung 10 zu bestimmen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016109628 [0003]

Zitierte Nicht-Patentliteratur

„Photogrammetrie“, von K. Schwidefsky und F. Ackermann, B.G. Teubner Stuttgart, 1976 [0009]
„Photogrammetrie, Grundlagen, Verfahren, Anwendungen“, von K. Schwidedfsky et al., 7. Auflage des „Grundriß der Photogrammetrie“, 1976 [0010]

Claims

Verfahren zum Bestimmen der Position und/oder Orientierung einer mobilen elektronischen Einrichtung mit Hilfe einer digitalen Wärmebildkamera (70), deren innere Orientierung bekannt ist, umfassend folgende Schritte: a) Aufnehmen, mit der mobilen digitalen Wärmebildkamera (70) eines Wärmebilds eines Objekts, wobei das Wärmebild in einer Farbendarstellung erzeugt wird; b) Bereitstellen für vorbestimmte Oberflächenbereiche eines vorbestimmten Objekts jeweils eines Referenzdatensatzes, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält, wobei die Farbinformation einer Temperatur des jeweiligen vorbestimmten Oberflächenbereichs entspricht; c) Auswählen mehrerer Referenzdatensätze aus den in Schritt b) bereitgestellten Referenzdatensätzen in Abhängigkeit des Ergebnisses eines Abgleichs der in den Referenzdatensätzen enthaltenen Farbinformationen mit Bereichen der Farbdarstellung des in Schritt a) aufgenommenen Wärmebilds; und d) Durchführen unter Verwendung der bekannten inneren Orientierung der Wärmebildkamera (70) und der in den ausgewählten Referenzdatensätzen enthaltenen Positionsinformationen eines räumlichen Rückwärtsschnitts zur Bestimmung der Position und Orientierung der mobilen digitalen Wärmebildkamera (70) .
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Schritt b) folgende Schritte umfasst: b1) Aufrufen, von einer Recheneinheit (30; 150), wenigstens eines in einer Speichereinrichtung (60; 160; 180) abgelegten Wärmemodells für das vorbestimmte Objekt; b2) Berechnen, unter Verwendung des in Schritt b1) aufgerufenen Wärmemodells, für mehrere vorbestimmte Oberflächenbereiche des vorbestimmten Objekts, deren Positionen bekannt sind, jeweils eine oberflächentemperaturabhängige Farbinformation.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in Schritt b2) die Farbinformationen in Abhängigkeit von Zeitinformationen, und/oder von Informationen über die Materialeigenschaften der Oberfläche des vorbestimmten Objekts, und/oder von Wetterinformationen, und/oder von Temperaturinformationen des Objektraums, in dem sich das vorbestimmte Objekt befindet, und/oder von Informationen über die äußere und/oder innere Orientierung einer virtuellen Wärmebildkamera und/oder von Informationen über die Position einer virtuellen Wärmebildkamera berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Schritt b) folgende Schritte umfasst: Aufnehmen vor Ausführung des Schritts a) wenigstens eines Referenzwärmebildes des vorbestimmten Objekts, wobei das wenigstens eine Referenzwärmebild in einer Farbendarstellung erzeugt wird; Erstellen unter Verwendung des Referenzwärmebilds für vorbestimmte Oberflächenbereiche des vorbestimmten Objekts jeweils eines Referenzdatensatzes, der eine Positions- und Farbinformation des jeweiligen vorbestimmten Oberflächenbereichs enthält; und Speichern der Referenzdatensätze.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das in Schritt a) aufgenommene Wärmebild zu einer entfernten Rechnereinrichtung (140) übertragen wird, und dass die Schritte b) bis d) in der Rechnereinrichtung (140) ausgeführt werden.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die digitale Wärmebildkamera in der mobilen elektronischen Einrichtung integriert ist und dass die Schritte b) bis d) in der mobilen elektronischen Einrichtung ausgeführt werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass aus dem in Schritt a) aufgenommenen Wärmebild ein Wärmebildausschnitt ausgewählt wird, dass in Schritt b) aus den bereitgestellten Referenzdatensätzen eine Anzahl von ersten Referenzdatensätzen ausgewählt wird, und dass in Schritt c) aus den in Schritt b) ausgewählten ersten Referenzdatensätzen mehrere erste Referenzdatensätze in Abhängigkeit des Ergebnisses eines Abgleichs der in den ersten Referenzdatensätzen enthaltenen Farbinformationen mit dem ausgewählten Wärmebildausschnitt ausgewählt werden.