DE102011108367A1

DE102011108367A1 - Verfahren und Vorrichtung zur Videobildvermassung

Info

Publication number: DE102011108367A1
Application number: DE201110108367
Authority: DE
Inventors: Ron Kokkot; Tobias Weimann; Uwe Meinberg
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2011-07-22
Filing date: 2011-07-22
Publication date: 2013-01-24

Abstract

Die Erfindung betrifft ein Verfahren zur Vermassung von Videobildern, die beispielsweise von einer konventionellen Kamera erzeugt werden, wobei mittels Geometriedaten, die aus einem von der konventionellen Kamera unabhängig arbeitenden Ortungssystem stammen, wie beispielsweise aus einem Echtzeitortungssystem, markante Punkte in den von der konventionellen Kamera erzeugten Bildern hinsichtlich Lage und/oder Perspektive gekennzeichnet und/oder mit korrekten Koordinaten vermessen werden können.
Die Erfindung betrifft darüber hinaus eine Vorrichtung zur Vermassung von Videobildern, die beispielsweise von einer konventionellen Videokamera (z. B. mit CMOS-, CCD- oder ähnlicher Technologie arbeitend, im Folgenden „konventionelle Kamera” genannt) erzeugt werden, wobei unter Verwendung von Geometriedaten, die aus einem von der Kamera unabhängig arbeitenden Ortungssystem stammen, wie beispielsweise aus einem Echtzeitortungssystem, markante Punkte in den von der konventionellen Kamera erzeugten Bildern hinsichtlich Lage und/oder Perspektive korrekt kennzeichenbar und/oder mit korrekten Koordinaten versehen werden können.

Description

Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zur Vermassung von Videobildern, die beispielsweise von einer konventionellen Kamera erzeugt werden, wobei mittels Geometriedaten, die aus einem von der konventionellen Kamera unabhängig arbeitenden Ortungssystem stammen, wie beispielsweise aus einem Echtzeitortungssystem, markante Punkte in den von der konventionellen Kamera erzeugten Bildern hinsichtlich Lage und/oder Perspektive gekennzeichnet und/oder mit korrekten Koordinaten vermessen werden können.
Die Erfindung betrifft darüber hinaus eine Vorrichtung zur Vermassung von Videobildern, die beispielsweise von einer konventionellen Videokamera (z. B. mit CMOS-, CCD- oder ähnlicher Technologie arbeitend, im Folgenden „konventionelle Kamera” genannt) erzeugt werden, wobei unter Verwendung von Geometriedaten, die aus einem von der Kamera unabhängig arbeitenden Ortungssystem stammen, wie beispielsweise aus einem Echtzeitortungssystem, markante Punkte in den von der konventionellen Kamera erzeugten Bildern hinsichtlich Lage und/oder Perspektive korrekt kennzeichenbar und/oder mit korrekten Koordinaten versehen werden können.
Die für die Realisierung des Verfahrens bzw. der Vorrichtung notwendigen Merkmale sind in den unabhängigen Ansprüchen 1 bzw. 4 angegeben.
Unter Vermassung von Videobildern wird im Zusammenhang mit der Erfindung verstanden, wenigstens ein ausgewähltes Objekt in wenigstens einem zweidimensionalen Videobild mit korrekten Koordinaten hinsichtlich der Lage des ausgewählten Objektes in dem zweidimensionalen Videobild zu versehen und/oder diese Lage korrekt (hinsichtlich Koordinaten und/oder Perspektive) in den wenigstens einen zweidimensionalen Videobild mittels einer Markierung zu kennzeichnen.
Beschreibung der Erfindung
Echtzeitortungssysteme unterstützen in der heutigen Zeit insbesondere moderne Logistikprozesse sowie sicherheitsrelevante Anwendungen. Sie liefern komplexe Daten über eine oder mehrere Positionen und/oder Bewegungen von ausgewählten Objekten (die beispielsweise mit einer elektronischen Marke – Tag – versehen sind) innerhalb eines definierten, üblicherweise durch das Sichtfeld des Messsystems begrenzten räumlichen Bereiches. Echtzeitortungssysteme sammeln Daten in digitaler Form und ermöglichen es, nach Erstellung von digitalen Modellen geortete Objekte in einer digitalen Welt darzustellen. Auf diese Art und Weise lassen sich beispielsweise komplette Gebäude, deren Innenausstattung und architektonischen Besonderheiten maßstabsgetreu wiedergeben und nachempfinden.
Mit geeigneter Software können die – vorzugsweise auf Basis ihrer Koordinaten in einem Bezugssystem – georteten Objekte dann in dreidimensionalen Ansichten visualisiert werden. Vergleichbar ist diese Vorgehensweise mit einer virtuell simulierten Fertigungsstraße, bei der die georteten Objekte digital an die bezüglich Lage und/oder Perspektive korrekte Position gezeichnet werden.
Neue Anwendungsszenarien ergeben sich, wenn der Anwendungsfall es erfordert, dass geortete Objekte in Relation zu beweglichen und nicht dauerhaft existenten und/oder dauerhaft sichtbaren Objekten gestellt werden.
Dies sind beispielsweise Personenströme zwischen georteten Sicherheitsbeamten oder geortete Transportsysteme in Interaktion mit Fachpersonal an Schnittstellen der Materialflüsse innerhalb einer Lagerverwaltung. Digitale Modelle (allein) können bei derartigen Anwendungen die hohe Umgebungs-Dynamik nicht. abdecken. Erhaltene Visualisierungen wirken häufig zu statisch, um einen Mehrwert für die betreffenden Geschäftsprozesse zu erzeugen.
Um diesen Anforderungen zu entsprechen, werden zur Überwachung und zur Erfassung des aktuellen Systemverhaltens konventionelle Kameras installiert und in einer Weiterführung beispielsweise zu Kamerasystemen verbunden. Dabei kann beispielsweise das Systemverhalten im Zusammenhang mit Personenströmen ebenso erfasst werden, wie die Situation in Produktionsumgebungen und in sicherheits-relevanten Bereichen eines Unternehmens.
Zwischen den von der konventionellen Kamera aufgenommenen Bildern einerseits und den Positionsdaten der (räumlich getrennten) Echtzeitortung andererseits findet allerdings ein Medienbruch statt.
Die von den beiden Systemen „konventionelle Kamera” einerseits bzw. „Echtzeitortungssystem” andererseits gelieferten Informationen liegen zwar jeweils digital vor. Der weitere Informationsverarbeitungsprozess erforfordert aber weitere Massnahmen zur Integration der Daten aus dem Echtzeitortungssystem in ein Videobild, geliefert von einer kobnventionellen Kamera. Bekannte Lösungen aus dem Stand der Technik erschweren bzw. verlangsamen den Verarbeitungsprozess und mindern die Qualität des Ergebnisses unter Umständen.
Die von einer konventionellen Kamera gelieferten Videoaufnahmen bieten reale Abbilder der Umgebung. Die zeitliche Abfolge der gelieferten Bilder ermöglicht es, das Verhalten des Systems über einen Zeitraum zu beurteilen und zu bewerten.
Die von Echtzeitortungssystemen gelieferten Daten ermöglichen es, Objekte auch in für konventionelle Kameras unübersichtlichen, unzureichend detailgetreuen Szenen zu kennzeichnen und zu verfolgen.
Für bewegte Bilder aus einer festen, sich nicht durch Schwenk, Neigung oder Vergrößerung verändernden Perspektive lassen sich von Echtzeitortungssystemen stammende Objektdaten (üblicherweise deren Koordinaten in einen festen Bezugssystem) durch an sich bekannte mathematische Verfahren in von einer konventionellen Kamera gelieferten Videobilder und somit in eine Realwelt-Abbildung integrieren. Die Position von konkreten Objekten kann auf dem Videobild bevorzugter Weise durch farbliche Überlagerung oder Umrandung gekennzeichnet werden.
Entsteht bei Bewegung der konventionellen Kamera ein neuer Blickwinkel, der nicht mehr mit der bisher vorhandenen Grundperspektive übereinstimmt (und haben sich somit die Parameter für die mathematischen Berechnungen ausgewählter Objektpositionen verändert), wird mit Hilfe von Verfahren der Bildverarbeitung der neue Bildausschnitt automatisch erkannt und das gesamte Abbildungssystem auf die Veränderungen hin frisch kalibriert werden. Eine präzise Visualisierung der Ortungsdaten bzw. georteten Objekte ist also weiterhin möglich.
1 zeigt beispielhaft eine Anwendung in einem Laborumfeld. In der Mitte ist ein Video-Bild, aufgenommen von einer konventionellen Kamera dargestellt. Markiert (durch Bezugspfeile) werden die Punkte, die in Form von 3D-Koordinaten durch das Echtzeitortungssystem geliefert und gemäß der Erfindung in die 2D-Ebene des Video-Bildes transformiert werden.
Stand der Technik
Im Stand der Technik gibt es Systeme, die durch Hardware und Steuerungselektronik eine Rückkopplung einer konventionellen Kamera zu Software-Subsystemen mit dem genauen Blickwinkel, die horizontale und vertikale Neigung und die Vergrößerung des Bildausschnitts ermöglichen. Über spezielle Sensoren und/oder Rückmeldungen von Stellmotoren wird die genaue Orientierung der Kamera ermittelt und die zugehörigen Daten an ein Software-Subsystem weitergegeben.
Die Parameter für mathematische Berechnungen der hinsichtlich Lage und/oder Perspektive korrekten Integration von Daten aus einem Echtzeitortungssystem in ein Bild aus einer konventionellen Kamera können dadurch geändert bzw. angepasst werden. Die Kennzeichnung der Objekte, wie oben beschrieben, kann weiterhin korrekt funktionieren.
Lösung gemäß der Erfindung
Da viele Systeme bereits installiert sind und eine Umrüstung zu steuerbaren Kameras, gemäß den eben beschriebenen Anforderungen, aus ökonomischen und infrastrukturellen Gründen nicht akzeptabel ist, stellt die Erfindung ein Verfahren bereit, das den Vorteil hat, dass der technische Aufwand im Bereich der Datenbereitstellung aus einer konventionellen Kamera („Videotechnik”) lediglich in der Bereitstellung des Videomaterials bzw. dem Anbieten eines digitalen Videostromes liegt.
Die Bewegung der Kamera wird über Bildverarbeitungssoftware („Bildanalyse”) ermittelt. Aus dem Vergleich mehrerer Bilder in einer zeitlichen Folge lassen sich beispielsweise die Blickwinkeländerungen ermitteln.
Eine kombinierte Darstellung von Live-Bild und virtuellen Informationen wird allgemein als „Augmented Reality” bezeichnet.
Die Lösung der Aufgabe der Videobildvermassung besteht hinsichtlich der Vorrichtung und des Verfahrens aus mehreren für sich bekannten Teil-Komponenten, deren Zusammenspiel als Gesamtheit die Funktionalität und damit die erfindungsgemäße Lösung darstellt.
Die erfindungsgemäße Vorrichtung zur Vermassung von Videobildern besteht aus den wesentlichen Bausteinen:
I. Echtzeitortungssystem (RTLS)
Zur Positionserfassung kann beispielsweise ein im Stand der Technik bekanntes Echtzeit-Ortungssystem (Real Time Location System – RTLS) wie beispielsweise das der Firma Ubisense verwendet werden.
Prinzipiell ist jedes RTLS, das eine ausreichende Genauigkeit besitzt für den Einsatz geeignet. Das System liefert die Position eines (selektierbaren) Objektes innerhalb eines definierten aufgespannten Messraums. Die dreidimensionale Angabe der Position kann z. B. mit x = 2,5, y = 3,8 und z = 1,75 erfolgen.
Diese Koordinaten sowie die eindeutige Bezeichnung des georteten Objektes werden erfasst und zur weiteren Verarbeitung zur Verfügung gestellt.
II. Konventionelle Kameras bzw. Kamerasysteme
Es können handelsübliche Kameras (z. B. in CMOS-Technologie) zum Einsatz kommen. Ein beispielhaft realisierter Laboraufbau sieht in einer bevorzugten Ausführungsform IP-Netzwerkkameras vor. Die Auflösung beträgt z. B. 0,3 Megapixel (Auflösung 640×480 pixel). Unabhängig von der Kamera sowie der technischen Infrastruktur werden Software-Subsystemen Einzelbilder zur Verfügung gestellt, die als kontinuierliche, zeitlich geordnete Bildfolge einen Videostrom ergeben. Die Position der konventionellen Kamera ist über deren Koordinaten (x_K, y_K, z_K) zu jedem Zeitpunkt bekannt. Bei der statischen Platzierung einer (oder mehrerer) konventioneller Kameras wird die genaue Position nach der Installation vermessen.
Wird die Position der Kamera während des Betriebes verändert, weil sie z. B. auf einem Transportsystem befestigt ist, dann muss die veränderte, aktuelle Position der konventionellen Kamera in Echtzeit bestimmt werden, damit das Gesamtsystem mit konsistenten Daten arbeitet.
Dazu ist erfindungsgemäß vorgesehen, dass die konventionelle Kamera – analog einem zu ortenden Objekt – ebenfalls mit entsprechender Ortungselektronik ausgestattet ist.
Damit wird erreicht, dass eine veränderte aktuelle Position der konventionellen Kamera ebenfalls von dem zum Gesamtsystem gehörenden Echtzeitortungssystem erkannt und ermittelt werden kann. Die veränderten Positionsdaten der konventionellen Kamera, die beispielsweise durch ihre Bewegung (translatorisch und/oder rotatorisch) zu einem neuen Blickwinkel führt, der nicht mehr mit der bisher vorhandenen Grundperspektive übereinstimmt, werden von einer Bildverarbeitungssoftware weiterverarbeitet und führen zu – wegen den veränderten Abbildungsverhältnissen – modifizierten Parametern für die mathematische Berechnung der Positionen ausgewählter Objekte, letztlich also zu einer (vorzugsweise in Echtzeit ablaufenden) Kalibrierung des gesamten Abbildungssystems bezüglich Veränderungen infolge der Bewegung der konventionellen Kamera.
Für eine korrekte Kalibrierung des Gesamtsystems muss neben der Position der konventionellen Kamera auch der erfasste Bildwinkel bekannt sein. Der erfasste Bildwinkel lässt sich über die Sensorgröße und die Brennweite der konventionellen Kamera ermitteln. Im Hinblick auf begrenzte Abbildungsgenauigkeiten (insbesondere von low-cost CMOS-Kameras) muss er ggf. empirisch ermittelt werden, da der rechnerisch ermittelte Winkel nicht zwangsläufig korrekt ist. Die konventionelle Kamera bzw. damit aufgebaute Kamerasysteme müssen bevorzugter Weise horizontal nivelliert werden, um auch bei seitlichen Schwenkbewegungen eine korrekte Bildlage zu erreichen.
III. Mathematische Berechnung
An sich bekannte mathematischen Verfahren beschreiben eine Vorgehensweise, um jedes dreidimensional geortete Objekt (O_n, n ∊ N) in eine zweidimensionale Abbildung einer realen Szene zu integrieren bzw. deren genaue Position zu kennzeichnen. Dabei wird eine perspektivische Transformation durchgeführt, die eine Translation und Rotation beinhaltet, um den Koordinatenursprung auf die Position der Kamera zu verschieben und die Koordinatenachsen so zu drehen, dass die dritte Dimension entfällt. Dieser -erste- Teil des Verfahrens ist aus der Theorie der Computergrafik bekannt und wird z. B. in dem Lehrbuch von Techmer (2003) S. 21 behandelt.
Der zweite Teil der mathematischen Berechnung dient der Anpassung bei Veränderung der Perspektive. Die weiter unten unter Punkt IV aufgeführten Bildanalyse-verfahren ermöglichen die Wiedererkennung bestimmter Bildbereiche und/oder Bildelemente. Bei Bildern entlang einer zeitlichen Funktion kann die Verschiebung von bestimmten Bildelementen innerhalb der zweidimensionalen Abbildung ein Indiz für die Blickwinkeländerung der Kamera sein.
Wird also erkannt, dass ein bestimmtes Bildelement z. B. nicht (mehr) zentral im Bild dargestellt wird, so kann eine pixelgenaue Verschiebung in X- und Y-Richtung ermittelt werden, die dazu geführt hat, dass keine zentrale Darstellung (mehr) vorliegt.
Da bekannt ist, wie groß der Bildwinkel ist (z. B. abhängig von Brennweite des Objektives der konventionellen Kamera und der Größe ihres Bildsensors), kann bei Annahme einer Gleichverteilung auch der Rotationswinkel ermittelt werden. Diese Rotationswinkel fließen nun in die mathematische Berechnung ein. Dazu wird der Normalenvektor der Bildebene in das Polarkoordinatensystem, auch Kreiskoordinatensystem, transformiert und die Winkelkomponenten durch Addition der ermittelten Drehwinkel angepasst.
Für die konventionelle Kamera sind nun Informationen vorhanden über:

– ihre aktuelle Lage (Translation)
– ihre Rotation relativ zu einer fest definierten Orientierungslinie

Der dritte Teil der mathematischen Berechnung ermittelt nun die pixelgenaue zweidimensionale Bildposition von georteten Objekten, um nach der Transformation das Objekt O₁ mit
in eine reale Abbildung an die Position
zu zeichnen. Die Angaben u und v sind dabei die Anzahl der Pixel ausgehend von der Bildmitte in die horizontale und vertikale Bildrichtung.
IV. Bildbasierte Analyseverfahren
Bei der Bildanalyse kommen grauwertbasierte und konturbasierte Ansätze zum Einsatz. Die Funktionsweise selbst zählt zum Stand der Technik. Eine Verwendung im Zusammenhang mit der Vermassung von Videobildern zum Zweck der Lokalisierung ist dagegen nicht bekannt.
Die Erkennung der Kamerabewegung und vor allem des exakten neuen Blickwinkels geschieht über zwei Bildanalyseverfahren, die im Folgenden dargestellt sind.
Grauwertbasierte Verfahren
Zur Erstkalibrierung nach Inbetriebnahme des Gesamtsystems bzw. der Anwendung (ohne Vorkenntnis der Umgebung und Kameraposition) ist es erforderlich, den Blickwinkel der konventionellen Kamera zu kalibrieren. Dazu wird ein Bild der konventionellen Kamera nach bestimmten Templates untersucht. Ein Template ist ein bestimmtes Muster bzw. Element, was einen Teil eines anderen Bildes darstellen kann. Die Templates in der beschriebenen Anwendung sind ebenfalls geografisch dreidimensional vermessen. Durch eine grauwertbasierte normalisierte Kreuzkorrelation (Steger, 2008, S. 214) kann die Position des Templates ermittelt werden. Die Verfahren sind gegenüber additiven Helligkeitsunterschieden relativ robust.
Konturbasierte Verfahren
Wird kein Template gefunden, so kann ein konturbasiertes Verfahren genutzt werden, um Kanten bzw. Konturen innerhalb zweier Bilder zu erkennen und die Verschiebung innerhalb der zwei Bilder zu ermitteln. Mögliche Implementierungen sind dafür der Sobel-Operator oder das Laplace-Verfahren. Die Anzahl der Pixel, die bestimmte Kanten verschoben werden, können über den Bildwinkel in einen Winkel bzw. eine Gradzahl überführt werden. Dieser Winkel bzw. diese Gradzahl wird, wie oben beschrieben, zur Neukalibrierung der konventionellen Kamera bzw. des Gesamtsystems verwendet.
Der Vorteil der erfindungsgemäßen Vorrichtung bzw. des damit realisierbaren Verfahrens besteht darin, dass Objekte, die in einer realen, von einer konventionellen Kamera aufgenommenen Szene nicht sichtbar oder erkennbar sind, durch digitale Informationen ergänzt werden.
Erfindungsgemäß wurde erkannt, dass es vorteilhaft ist, die Objekte nicht innerhalb des Bildes zu erkennen, sondern die Koordinaten der interessierenden Objekte von (Echtzeit-)Ortungssystemen zu beziehen und nach mathematischer Bearbeitung der Rohdaten die Objektposition hinsichtlich Lage und/oder Perspektive korrekt in das von der konventionellen Kamera gelieferte Bild einzuzeichnen. Damit können selbst verdeckte Objekte oder sehr kleine Objekte gekennzeichnet bzw. hervorgehoben werden.
Da bei willkürlichen Schwenkbewegungen der konventionellen Kamera der Blickwinkel automatisch anpassbar ist bzw. angepasst wird, können Objekte damit auch im Raum – und in Echtzeit – verfolgt werden.
Möglich ist das gemäß der Erfindung, das sei als Vorteil der erfindungsgemäßen Vorrichtung hervorgehoben, auch unter Verwendung von Standardkameras (Webcam o. ä.).
Beispielhafte technische Anwendungsgebiete der Erfindung Systeme zur Überwachung der Personensicherheit Mitarbeiter, Waren und Transportfahrzeuge in sicherheitskritischen Bereichen von Verkehrsinfrastrukturen können jederzeit nicht nur geortet, sondern auch visualisiert werden. Das ist sinnvoll, wenn Ansammlungen von Personen und/oder Gegenständen die Übersicht beeinträchtigen (können).
Militärische oder polizeiliche Ausbildung
Auf Übungsplätzen werden Ortungssysteme eingesetzt, um im Nachgang die Übung auszuwerten. Die Erfindung kann nun genutzt werden, um mit einfacher Installation einer konventionellen Kamera eine Auswertung anhand realer Abbildungen zu ermöglichen. Personen, die nicht im Bild erkennbar sind, werden trotzdem visualisiert.
Beispiel: Ausbildung von Feuerwehrleuten in Trainingsgebäuden
Beispielhafter Aufbau und Betrieb der Vorrichtung
Für den Aufbau einer erfindungsgemäßen Vorrichtung in einer bevorzugten Ausführungsform werden die folgenden Komponenten benötigt:

– Echtzeitortungssystem (nachfolgend RTLS – real time locating system)
– liefert unabhängig vom technischen Verfahren zeitaufgelöste bzw. mit Zeitmarken versehene dreidimensionale Koordinaten eines Objektes relativ zu einem festgelegten Bezugssystem (z. B. P(t₁)(1,3 m, 2,7 m, 6,2 m))
– die gelieferten Koordinaten entsprechen der Position einer elektronischen Marke (üblicherweise ein RFID-Tag), die an einem Objekt fixiert ist
– Koordinaten werden vorzugsweise in festgelegten Zeitabständen erfasst
– Bilderfassungsgerät – konventionelle Kamera (z. B. digitale Videokamera mit Netzwerkschnittstellen)
– handelsübliche Auflösung (z. B. PAL 720×576 Pixel)
– verfügt über Schwenk und Neigefunktion, fernsteuerbar
– liefert Bildmaterial digital über Netzwerk- oder Videoschnittstellen
– folgende Parameter müssen bekannt sein:
– Bildverhältnis (z. B. 4:3)
– Brennweite
– evtl. extrinsische Einflüsse auf die Kameraoptik
– die Kamera muss horizontal, also parallel zur X-Y-Ebene ausgerichtet sein
– Server
– leistungsfähiger Server
– zur Analyse des Bildmaterials aus allen zum System gehörenden konventionellen Kameras,
– zum visuellen Verschmelzen von Kameradaten und Ortungsdaten
– sowie für die Bereitstellung der Videodaten für Clientanwendungen

Messung und Verarbeitung
Bei der Durchführung des erfindungsgemäßen Verfahrens laufen die Bilddaten von der konventionellen Kamera (der ”Videostream”) und die Positionsdaten vom Echtzeitlokalisierungssystem zeitlich synchron auf einem Rechner, z. B. Server ein. Die weitere Verarbeitung gliedert sich nun in zwei Schritte:

– Analyse des Video-Bildinhaltes
– Berechnung der Objektposition

Bei der Analyse des Video-Bildinhaltes wird versucht, vorher festgelegte Muster bzw. Marken („Templates”) pixelgenau aufzufinden. Templates können vermaßte Marken, aber auch andersartige markante Elemente der Umgebung sein, wie Poster, Wandbilder, Schilder oder andere fixierte Objekte. Diese Templates sind dem System bekannt und deren Position (in Form von 3D-Koordinaten) sind im Vorfeld vermessen worden.
Das gefundene Template mit der höchsten Übereinstimmung (zu den vorabbestimmten Daten) wird für die folgenden Berechnungsschritte herangezogen.
Der anschließende Verarbeitungsschritt berechnet, ausgehend von der Position der Kamera, der pixelgenauen Position des Templates sowie der räumlichen Koordinaten des Templates den Neigungs- und Schwenkwinkel der Kamera. (durch diese Funktion kann die Kamera frei und willkürlich gesteuert werden) Nun werden die Koordinaten (3D) der georteten Objekte herangezogen, um in das Einzelbild des von einer konventionellen Kamera gelieferten Videostreams integriert zu werden. Die Integration besteht dabei beispielhaft aus der Kennzeichnung des Objektes durch einen Kreis. Die Größe des Kreises beinhaltet bevorzugter Weise eine Information dahingehend, dass sie dem Nutzer ein räumliches Gefühl vermittelt und so Entfernungsunterschiede zwischen den Objekten suggeriert. Um einen besseren Rückschluss auf die Position ziehen zu können, wird die Kennzeichnung des Objektes durch eine vertikale Linie bis zur X-Y-Achse bzw. zum Boden der Umgebung ergänzt.
Ausgabe
Das nun durch zusätzliche Informationen ergänzte (augmentierte) Bild wird dem Nutzer in zeitlicher Folge als Videostream zur Verfügung gestellt.
Zusammenfassung des Ablauf des erfindungsgemäßen Verfahrens:
RTLS → WebCam → Extrahieren der Koordinaten → Kalibrieren der Bilddarstellung → Konkardanzrelation zwischen RTLS und Videodaten → Darstellung im Bild
Nichtpatentliteratur

Steger, C. u. (2008). Machine Vision Algorithms and Applications. Wiley VCH Verlag GmbH & Co KGaA.
Techmer, A. (2003). Konturbasierte Bildbewegung und Objektverfolgung in Echtzeit-Anwendungen. München: Lincolm GmbH.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Lehrbuch von Techmer (2003) S. 21 [0032]
Steger, 2008, S. 214 [0040]

Claims

Verfahren zur Darstellung von wenigstens einem ausgewählten Objekt in wenigstens einem zweidimensionalen Videobild aus wenigstens einer konventionellen Kamera, wobei die Koordinaten des wenigstens einen ausgewählten Objekts von einem von der wenigstens einen konventionellen Kamera unabhängig arbeitenden Ortungssystem ermittelt und einem zentralen Rechner bereitgestellt werden, die Koordinaten der Position der wenigstens einen das wenigstens eine zweidimensionale Videobild liefernde konventionellen Kamera ermittelt und einem zentralen Rechner bereitgestellt werden, die Parameter der aktuellen Abbildung der konventionellen Kamera (insbesondere Bildwinkel, Brennweite, Bildsensorgröße, Auflösung) ermittelt und einem zentralen Rechner bereitgestellt werden, dadurch gekennzeichnet, dass der zentrale Rechner anhand der bereitgestellten Daten die Position des wenigstens einen ausgewählten Objekts hinsichtlich seiner korrekten Lage und/oder Perspektive in dem wenigstens einen zweidimensionalen Videobild berechnet und die Position in dem wenigstens einen zweidimensionalen Videobild in Form einer Markierung ausgegeben wird.
Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die aktuellen Positionsdaten der wenigstens einen, zweidimensionale Videobilder liefernden konventionellen Kamera von einem von diesem unabhängig arbeitenden Ortungssystem erfasst und einem zentralen Rechner bereitgestellt werden.
Verfahren nach wenigstens einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass Berechnung und Markierung des wenigstens einen ausgewählten Objektes in einem zweidimensionalen Videobild in Echtzeit erfolgt.
Vorrichtung zur Durchführung des Verfahrens zur Darstellung von wenigstens einem ausgewählten Objekt in wenigstens einem zweidimensionalen Videobild aus wenigstens einer konventionellen Kamera nach einem der Ansprüche 1 bis 3, wobei die Koordinaten des wenigstens einen ausgewählten Objekts von einem von der wenigstens einen konventionellen Kamera unabhängig arbeitenden Ortungssystem ermittelbar und einem zentralen Rechner bereitstellbar sind, die Koordinaten der Position der wenigstens einen das wenigstens eine zweidimensionale Videobild liefernde konventionellen Kamera ermittelbar und einem zentralen Rechner bereitstellbar sind, die Parameter der aktuellen Abbildung der konventionellen Kamera (insbesondere Bildwinkel, Brennweite, Bildsensorgröße, Auflösung) ermittelbar und einem zentralen Rechner bereitstellbar sind, dadurch gekennzeichnet, dass mittels des zentralen Rechners anhand der bereitgestellten Daten die Position des wenigstens einen ausgewählten Objekts hinsichtlich seiner korrekten Lage und/oder Perspektive in dem wenigstens einen zweidimensionalen Videobild berechenbar und die Position in dem wenigstens einen zweidimensionalen Videobild in Form einer Markierung ausgebbar ist.