DE112011100458B4

DE112011100458B4 - Systeme und Verfahren zur Verarbeitung von Kartierungs- und Modellierungsdaten

Info

Publication number: DE112011100458B4
Application number: DE112011100458.3T
Authority: DE
Inventors: Peter Canter
Original assignee: Trimble Navigation Ltd
Current assignee: Trimble Inc
Priority date: 2010-02-05
Filing date: 2011-02-03
Publication date: 2024-02-01
Anticipated expiration: 2031-02-04
Also published as: US20110282622A1; GB2489179A; WO2011097018A1; CA2787646A1; US9892491B2; CA2787646C; DE112011100458T5; GB2489179B; US9008998B2; GB201212847D0; US20160189348A1

Abstract

Verfahren zur Nachverarbeitung georeferenzierter Kartierungsdaten, umfassend: - Bereitstellen von Positionsdaten, die eine Position eines Datenakquisitionssystems in einem definierten Raum zu spezifischen Zeitpunkten angeben;- Bereitstellen von Reichweitedaten, die relative Positionen von Objekten in dem definierten Raum mit Bezug zu dem Datenakquisitionssystem zu spezifischen Zeitpunkten angeben;- Durchführen eines Glättungsprozesses an den Positionsdaten, um eine geglättete, beste Schätzung der Trajektorie- (SBET) -Daten für eine Trajektorie des Datenakquisitionssystems zu bestimmen;- Durchführen eines Scan-Anpassungsprozesses an den SBET-Daten und den Reichweitedaten, um Objekte und/oder Objekteigenschaften in dem definierten Raum zu identifizieren;- Durchführen eines Prozesses zur Überarbeitung der SBET-Daten, sodass sich die SBET-Daten den identifizierten Objekten und/oder Objekteigenschaften angleichen; und- Speichern der überarbeiteten SBET-Daten mit den Reichweitedaten.

Description

Bezugnahme auf verwandte Anmeldungen
Diese Anmeldung gründet sich auf die provisorische US-Anmeldung mit der Seriennummer 61/337,549, eingereicht am 5. Februar 2010, mit dem Titel Systeme und Verfahren zur Verarbeitung von Kartierungs- und Modellierungsdaten und nimmt deren Prioritätsvorteile in Anspruch, deren gesamter Inhalt durch Bezugnahme Teil dieser Anmeldungist.
HINTERGRUND
TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft die Kartierung und Modellierung von Daten und insbesondere Systeme und Verfahren zur Verarbeitung von Kartierungs- und Modellierungsdaten.
BESCHREIBUNG DES STANDS DER TECHNIK
Landkarten werten den Wert der Positionierung auf, indem sie die Positionsinformationen natürlicher und von Menschenhand gemachter Objekte, Personen, Fahrzeuge und Strukturen wirksam in Standortinformationen umwandeln. Die Außenbereichskartierung, wie zum Beispiel die Fähigkeit zur Straßenkartierung, wurde durch die Firmen Navteq und Tele-Atlas bekannt gegeben. Diese Außenbereichs-Standortdienste sind GPS-basiert, indem sie GPS-Signale aufnehmen und benutzen, um genaue Positions- und Standortinformationen zur Positionierung und zur Kartierung zu beschaffen. Das US-Patent US 6 711 475 B2 diskutiert ein Beispiel. Dieses Patent sowie weitere vorliegend identifizierte oder beschriebene Patente sind durch Bezugnahme Teil dieser Anmeldung.
In den Fällen wo GPS-Signale nicht verfügbar oder verlässlich sind (wie zum Beispiel in Innenbereichen), sind Versuche unternommen worden, um die Position oder den Standort zu bestimmen. Das US-Patent US 5 959 575 A beschreibt die Benutzung einer Pluralität von Boden-Transceivern, die pseudo-zufällige Signale übertragen, die durch einen mobilen GPS-Empfänger im Innenbereich verwendet werden.
Für den Bergbaubetrieb, wo GPS-Signale nicht verfügbar sind, beschreibt das US-Patent US 6 009 359 A die Benutzung eines Trägheitsnavigationssystems (INS - Inertial Navigation System) zur Positionsbestimmung und zur Beschaffung von Bildframes, die zusammengefügt werden, um ein Bild vom Innenbereich der Mine zu erhalten. Das US-Patent US 6 349 249 B1 beschreibt ein System zur Beschaffung von Ansichten eines Minentunnelumrisses (TOPES = mine Tunnel Outline Plan views) unter Benutzung einer Trägheitsmessungseinheit (IMU - inertial measurement unit). Das US-Patent US 6 608 913 B1 beschreibt ein System zur Beschaffung von Punktwolkendaten des Innenbereichs einer Mine unter Benutzung eines Trägheitsnavigationssystems, um danach einen Positionsstandort eines Minenfahrzeugs in der Mine zu bestimmen.
Für Innenbereichseinrichtungen, wie zum Beispiel Gebäude, beschreibt das US-Patent US 7 302 359 B2 die Benutzung einer IMU und eines Entfernungsmessers zur Beschaffung einer zweidimensionalen Karte des Gebäudeinnenbereichs, wie zum Beispiel der Standorte der Wände und Türen. Das US-Patent US 6 917 893 B2 beschreibt ein weiteres Kartierungssystem für den Innenbereich zur Beschaffung zwei- oder dreidimensionaler Daten unter Benutzung einer IMU, eines Laser-Entfernungsmessers und einer Kamera.
Die US-Patentanmeldung US 2009 / 0 262 974 A1 auf Erik Lithopoulos (die Lithopoulos-Anmeldung) betrifft ein System und Verfahren zur Aufnahme von georäumlichen Dateninformationen, einschließlich einem Positionsgerät zur Bestimmung der Position von Oberflächendatenpunkten einer Struktur in drei Dimensionen in einem Gebiet, in dem ausreichende GPS-Signale nicht empfangen werden können. Die Lithopoulos-Anmeldung ist durch Bezugnahme Teil dieser Anmeldung und wird so angesehen, als bilde sie einen Teil der vorliegenden Offenbarung. Das System ist in der Lage, Entfernungs-, Bild- und Positionsdaten eines Geländes zu beschaffen, das der Abtastung unterzogen wird. Das System korreliert die Positions- und Bilddaten für die Datenpunkte. Unter Verwendung der gespeicherten Daten können dann dreidimensionale geografische Koordinaten der Oberflächendatenpunkte berechnet und gespeichert werden. Bilddaten der Punkte vom Bilderfassungsgerät können über die Oberflächendatenpunkte drapiert werden, um die Beschaffenheit und Farbe für diese Punkte bereitzustellen und zu speichern. Dieser Prozess fährt von Punkt zu Punkt fort und bildet dadurch eine Wolke (Punktwolke) georeferenzierter Positionsdaten. Unter Verwendung der gespeicherten Daten kann ein Prozessor ein Bild eines kartierten Innenoberflächenbereichs des Geländes rekonstruieren. Die Lithopoulos-Anmeldung stellt daher ein nützliches Werkzeug für die Kartierung des Innenumfeldes einer Struktur, wie zum Beispiel eines Gebäudes, dar.
PARRISH, Christopher E.; SCARPACE, Frank L.: Investigating Full-Waveform Lidar Data for Detection and Recognition of Vertical Objects. In: American Society for Photogrammetry and Remote Sensing (ASPRS), 2007, 421, beschreibt einen Ansatz zur Extraktion und Zuordnung von vertikalen Objekten, wie z.B. Hindernissen, aus Lidar-Daten. Punktwolken werden generiert, um die Detektion und Erkennung von Hindernissen zu erleichtern. Dazu werden Wellenformen mit Hilfe eines EM-Algorithmus dekonvolviert und die Ergebnisse anschließend georeferenziert.
Der Gegenstand der vorliegenden Anmeldung ergänzt die Lithopoulos-Anmeldung und ist ein nützliches Werkzeug zur Erleichterung der Erzeugung klarer, nicht verzerrter Kartierungsbilder. Kartierte digitale Bilder können manchmal verzerrt sein, weil die Genauigkeit der den Standort bestimmenden Systeme, die in GPS-Signalen nicht zugänglichen Bereichen einsatzfähig sind, begrenzt sein kann. Trägheits- und Odometrie-Systeme weisen zum Beispiel inhärente Fehler in ihren Standortbestimmungsfähigkeiten auf. Diese Fehler haben wiederum Auswirkungen auf die Positionsbestimmung der dreidimensionalen geografischen Koordinaten der Oberflächendatenpunkte, was zu einer „Verzerrung“ führt, wenn die Punktwolke erzeugt wird.
Sensortechnologien, die nicht nur in Innenbereichen sondern darüber hinaus auch ohne auf eine Gebäudeinfrastruktur angewiesen zu sein dort betrieben werden können, stellen höchst erstrebenswerte Vorteile für öffentliche Sicherheitscrews, wie zum Beispiel Feuerwehr, Polizeivollzugsdienst, einschließlich SWAT-Teams und das Militär dar. Das Bedürfnis nach derartiger Innenbereichskartierung hat sich aufgrund des ständig zunehmenden Anliegens des Schutzes der Öffentlichkeit vor Terroristenaktivitäten erhöht, insbesondere seit den Terroristenangriffen auf öffentliche, nicht-militärische Ziele, wo Bürger leben und arbeiten. Neben der Terroristenaktivität haben Geiselnahmen und Schießereien, die StudentencampusUniversitätscampus, Schulen, Banken, Regierungsgebäude einbeziehen, sowie kriminelle Aktivitäten, wie zum Beispiel Einbrüche und sonstige Straftaten gegen Menschen und Eigentum, das Bedürfnis nach einer derartigen Kartierungsfähigkeit des Innenbereichs und die daraus folgende Erzeugung darstellbarer Informationen erhöht, die eine virtuelle Reise durch die Innenbereiche einer Gebäudestruktur bereitstellen.
Es wird ein System und Verfahren für dreidimensionale Kartierung von Bereichen benötigt, insbesondere derjenigen Bereiche, in denen GPS-Signalinformationen nicht verfügbar oder unzuverlässig sind, wie zum Beispiel in einer Gebäudestruktur, und zum Anzeigen des Standorts sowie der Grenzen von Innenobjekten und Strukturen sowie charakteristischer Bilddaten, wie zum Beispiel Farbe, Reflektivität, Helligkeit, Strukturgefüge, Beleuchtung, Schattierung und sonstiger Eigenschaften derartiger Strukturen, wobei derartige Daten verarbeitet und dargestellt werden können, um eine virtuelle Tour des kartierten Bereichs zu ermöglichen. Das vorliegend beschriebene mobile System und Verfahren ist insbesondere in der Lage, Innenbereichskarten zu erzeugen, die hochgenau und klar sind und schnell erzeugt werden können, indem einfach durch die Innenbereiche einer Gebäudestruktur gegangen wird, um die zur Erzeugung der Karten erforderlichen Daten zu beschaffen, ohne der Unterstützung durch externe Infrastruktur zu bedürfen oder den Innenraum zwecks zusätzlicher Datenerfassung verlassen zu müssen. Der Gegenstand der vorliegenden Erfindung beinhaltet außerdem ein System und Verfahren zum Bereitstellen derartiger Innenbereichsstandortinformationen basierend auf der Etage, dem Zimmer und der zuletzt durchschrittenen Tür des Betreibers, wobei diese Informationen bereitgestellt werden können, indem Positionsinformationen mit einer Innenbereichsgebäudekarte kombiniert werden. Darüber hinaus wird ein mobiles Kartierungssystem und Verfahren beschrieben, mittels deren hochgradige und hochgenaue Sensor-, Positions- und Orientierungsdaten zur Georeferenzierung von Daten von mobilen Plattformen benutzt werden. Ein Vorteil der Georeferenzierungsdaten von einer mobilen Plattform ist die erhöhte Produktivität, weil über einen kurzen Zeitraum große Mengen von Kartendaten erfasst werden können.
ZUSAMMENFASSUNG
Diese Anmeldung beschreibt Werkzeuge (in der Form von Methodologie, Vorrichtungen und Systemen) zur Nachverarbeitung von Reichweitedaten im Innenbereich. Die Werkzeuge können in einem oder mehreren Computerprogrammen ausgeführt sein, das/die auf einem computerlesbaren Medium (z.B. einem Computer-Aufzeichnungsmedium) oder Programmspeichergerät gespeichert ist/sind und/oder in der Form eines Computerdatensignals in ein oder mehrere Segmente via einem Computernetzwerk oder sonstigem Übertragungsmedium übertragen wird/werden.
Ein System und Verfahren zur Nachverarbeitung georeferenzierter Kartierungsdaten beinhaltet das Bereitstellen von Positionsdaten, die eine Position eines Datenakquisitionssystems in einem definierten Raum zu spezifischen Zeitpunkten angeben, das Bereitstellen von Reichweitedaten, die die relative Position der Objekte im definierten Raum mit Bezug zu dem Datenakquisitionssystem zu spezifischen Zeitpunkten angeben, das Durchführen eines Glättungsprozesses an den Positionsdaten zur Bestimmung der endgültigen, besten Schätzung der Trajektorie- (SBET - smoothed best estimated trajectory) -Daten für die Trajektorie des Datenakquisitionssystems, das Durchführen eines Scan-Anpassungsprozesses an den SBET-Daten und den Reichweitedaten zur Identifikation von Objekten und/oder Objekteigenschaften in dem definierten Raum, das Durchführen eines Prozesses zur Überarbeitung der SBET-Daten, sodass sich die SBET-Daten den identifizierten Objekten und/oder Objekteigenschaften angleichen, und das Speichern der überarbeiteten SBET-Daten mit den Reichweitedaten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Eine vollständigere Würdigung der vorliegenden Offenbarung und vielen dazugehörigen Vorteilen derselben sind dem Fachmann leicht ersichtlich, da selbige durch Bezugnahme auf die nachstehend detaillierte Beschreibung besser verständlich werden, wenn sie angesichts der beiliegenden Zeichnungen betrachtet werden, wobei:

ein Blockdiagramm eines Datenakquisitionssystems zur Akquisition von zu verarbeitenden Informationen zeigt;
ein detailliertes Bockdiagramm eines Systems zur Akquisition von zu verarbeitenden Informationen zeigt;
ein Flussdiagramm von Schritten ist, die bei der Akquisition von Daten gemäß einer Ausführungsform der vorliegenden Offenbarung einbezogen werden;
ein Vektordiagramm ist, das ein Georeferenzkonzept illustriert;
eine einmalige Vorgehensweise zur Kalibrierung der Entfernungen und Winkel, die sogenannten Hebelarme, zeigt;
Schritte zur Erzeugung einer Karte aus den erfassten Daten illustriert;
ein Bild zeigt, das ohne Benutzung der Nachverarbeitungsvorgehensweisen der vorliegenden Offenbarung erzeugt wurde;
ein Bild zeigt, das durch Benutzung der Nachverarbeitungsvorgehensweisen gemäß Ausführungsformen der vorliegenden Offenbarung erzeugt wurde;
ein Flussdiagramm zur Beschreibung eines Nachverarbeitungsverfahrens gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
ein Blockdiagramm zur Beschreibung von Elementen eines Nachverarbeitungsprozessors gemäß einer Ausführungsform der vorliegenden Offenbarung ist;
ein Flussdiagramm zur Beschreibung der Nachverarbeitungsvorgehensweise ist; und
ein Beispiel eines SLAM-Prozesses zeigt.

DETAILLIERTE BESCHREIBUNG
Die nachstehenden beispielhaften Ausführungsformen werden zur Unterstützung des Verständnisses des Gegenstandes dieser Offenbarung dargelegt, bezwecken jedoch nicht, die darauf folgenden Ansprüche auf welche Art auch immer zu begrenzen und sind nicht dahingehend auszulegen. Daher wird - obwohl der Klarheit halber bei der Beschreibung einiger beispielhafter Ausführungsformen spezifische Terminologie angewendet wird - nicht bezweckt, die vorliegende Offenbarung auf die derart ausgewählte Terminologie zu begrenzen, und es versteht sich von selbst, dass jedes spezifische Element alle technischen Äquivalente umfasst, die auf eine ähnliche Art und Weise funktionieren.
SLAM (Simultaneous Localization and Mapping - Simultan-Lokalisierung und -Kartierung) ist ein allgemeiner Begriff, der zur Beschreibung einer Reihe von Schritten benutzt wird, die in Echtzeit durchgeführt werden, um die Position eines Roboters in einem Umfeld zu bestimmen, während gleichzeitig eine Karte des Umfeldes erzeugt wird. Ein SLAM-Prozess besteht im Allgemeinen aus mehreren Teilen, wobei das letztendliche Ziel des Prozesses die Benutzung des Umfeldes zur Aktualisierung der Position des Roboters ist.
Ein Beispiel eines SLAM-Prozesses wird in gezeigt und beinhaltet Datenakquisition (Schritt S300), Objektextraktion (Schritt S302), Datenassoziation (Schritt S304), Positionsschätzung (Schritt S306), Positionsaktualisierung (Schritt S308) und Objektaktualisierung (Schritt S310).
Es gibt zahlreiche Verfahren, die zur Ausführung der im vorliegend beschriebenen SLAM-Prozess einbezogenen Schritte benutzt werden können. Die vorliegende Offenbarung nennt nur einige mit dem Verständnis, dass sonstige Verfahren verfügbar sind und sich auf dem Gebiet der Robotertechnik beständig neue Verfahren herausbilden.
Die Datenakquisition, Schritt S300, wird zur Beschaffung von Echtzeitdaten über das Umfeld und über die Position des Roboters selbst innerhalb dieses Umfelds benutzt. Verschiedene Datentypen können durch den Roboter je nach dessen Fähigkeiten aufgenommen werden. Der Roboter ist zum Beispiel mit Sonar-, Laser- und/oder bildbasierten Reichweitesystemen zur Beschaffung von Daten über die Umgebung des Roboters ausgestattet. Wenn der Roboter darüber hinaus in einem Umfeld betrieben wird, das nicht mittels GPS-Signalen (z.B. im Innenbereich) zugänglich ist, kann der Roboter mit einem Trägheitslenksystem ausgestattet sein, einschließlich beispielsweise Akzelerometer, Kursanzeigern, etc. und/oder Odometrie-Systemen, einschließlich Sensoren, Drehgebern, etc., um die zurückgelegte Entfernung und Richtung zu schätzen. Bildbasierte Systeme können sogar benutzt werden, um eine Schätzung der zurückgelegten Entfernung und Richtung bereitzustellen.
Objekte sind Eigenschaften im Umfeld, die leicht wieder beobachtet werden können und sich von anderen Eigenschaften im Umfeld unterscheiden. Die Objektextraktion, Schritt S302, wird zur Extraktion von Informationen von den beschafften Daten benutzt und zum Versuch der Identifikation der Objekte im Umfeld.
Ein Objektextraktionsverfahren ist die Extraktion von hervorstehenden Orientierungs-(Objekt)-punkten, die zum Auffinden von Objekten Extrema benutzt. Bei dem Verfahren der Extraktion von hervorstehenden Orientierungspunkten werden Objekte durch Auffinden von Werten in der Reichweite eines Laserscans identifiziert, wo sich zwei Werte um mehr als einen bestimmten Betrag unterscheiden. Ein weiteres Verfahren wird als RANSAC (Random Sampling Consensus -Konsens zufälliger Stichproben) bezeichnet, das benutzt wird, um Linien von einem Laserscan zu extrahieren. Ein noch weiteres Verfahren wird als Scan-Anpassung bezeichnet, wobei sukzessive Scans angepasst werden. Die Scan-Anpassung kann durch Benutzen von Laserreichweitedaten von einem Laserscan oder visuellen Daten von einem Bilderfassungsgerät, wie zum Beispiel einer Kamera, durchgeführt werden. Das CSIRO ICT Centre of Brisbane in Australien ist eine Quelle für Scan-Anpassungssoftware, die dem neusten Stand der Technik entspricht.
Die Datenassoziation, Schritt S304, passt beobachtete Objekte von verschiedenen Scans aneinander an. Ein Ansatz wird als der nächstgelegene Nachbar-Ansatz bezeichnet, wobei ein Objekt mit dem nächstgelegenen Objekt in der Datenbank assoziiert wird.
Die Positionsschätzung, Schritt S306, bezieht sich auf einen Prozess der Schätzung der Position des Roboters aus Positionsdaten (z.B. Odometrie- und/oder Trägheitsdaten) und/oder extrahierten Objektbeobachtungen. Ein erweiterter Kalman-Filter (EKF - extended Kalman Filter) wird oft zur Durchführung dieser Schätzung benutzt.
Die Aktualisierung der derzeitigen Positionsschätzung, Schritt S308, kann leicht durch Berechnung der derzeitigen Position aus der vorherigen Position unter Benutzung der Odometrie- und/oder Trägheitsdaten durchgeführt werden.
Die Aktualisierung der geschätzten Position, Schritt S310, wird durch Wiederbeobachtung der Objekte durchgeführt. Durch Benutzung der Schätzung der derzeitigen Position ist es zum Beispiel möglich, zu schätzen, wo das Objekt und der Roboter sein sollten.
Dementsprechend wird SLAM als eine Echtzeitlösung zur Lokalisierung eines Roboters in einem Umfeld und zur Erzeugung einer Karte benutzt, die durch den Roboter zur Durchquerung des Umfeldes benutzbar ist.
Gemäß Ausführungsbeispielen der vorliegenden Offenbarung können durch Nachverarbeitung der Reichweite-, Bild- und Positionsdaten klare und genaue Bilder eines Innenbereichsumfeldes erzeugt werden, wobei diese Daten zum Beispiel durch ein Verfahren, wie dasjenige, das in der Lithopoulus-Anmeldung offenbart wird, unter Verwendung bestimmter Aspekte der SLAM beschafft werden. Obwohl die vorliegende Offenbarung durch Bezugnahme auf Laserreichweitesysteme und Trägheitsstandortsysteme mit Lichtnachweis und Reichweitebestimmung (LIDAR - Light Detection and Ranging) beschrieben wird, ist dem Fachmann ersichtlich, dass andere Typen von Reichweite- und Standortsystemen, einschließlich der oben genannten, zusätzlich oder an deren Stelle verwendet werden können.
zeigt verschiedene Datentypen, die durch ein Datenakquisitionssystem gemäß Ausführungsformen der vorliegenden Offenbarung erfasst werden können. Die erfassten Daten können Reichweitedaten 12 (z.B. LIDAR), Bilddaten 10 (z.B. Kamera) und Standortdaten 14 (z.B. Odometrie- und/oder Trägheitsdaten) umfassen. Die Daten können in Echtzeit unter Benutzung eines Datenakquisitionssystems 16 für den Innenbereich aufgenommen werden. Die aufgenommen Daten werden durch das Datenakquisitionssystem 16 im Speicher 18 korreliert und gespeichert. Der Speicher 18 kann ein oder mehrere Speichergeräte umfassen und kann einen Teil des Datenakquisitionssystems 16 bilden oder dies nicht tun. Das Datenakquisitionssystem 16 kann zum Beispiel ein System zur Übertragung der aufgenommenen Daten an einen Remote-Standort umfassen, wo diese dann zur späteren Verarbeitung gespeichert werden können.
Ein Beispiel eines Datenakquisitionssystems 16 für den Innenbereich wird in der Lithopoulos-Anmeldung offenbart und wird nachstehend detaillierter beschrieben. Das Datenakquisitionssystem 16 kann auf jedem geeigneten Plattformtyp zur Durchquerung eines Innenbereichs und Beschaffung der fraglichen Daten bereitgestellt werden. Das Datenakquisitionssystem 16 kann zum Beispiel auf einem Rucksack oder Fahrzeug mit Rädern bereitgestellt werden oder es kann auf einem Roboterfahrzeug bereitgestellt werden, das zur Durchquerung des Innenbereichs durch menschliche und/oder automatische Fernsteuerung in der Lage ist.
Ein Blockdiagramm eines Datenakquisitionssystems 16 wird in gezeigt. Das System ist in mehrere Abschnitte einschließlich einem Trägheitspositionierungsabschnitt 102, Echtzeitbildgebungsabschnitt 104 und Nach-Missionsbearbeitungsabschnitt 106 unterteilt.
Der Trägheitspositionierungsabschnitt 102 beinhaltet eine Trägheitsmessungseinheit (IMU) 121, die funktional mit einem Trägheitsnavigator an Block 122 verbunden ist. Die IMU 121 ist eine Nullgeschwindigkeitsaktualisierung (ZUP - zero velocity update)-gestützte Trägheits-IMU, wie nachstehend detaillierter beschrieben, und misst Sensorpositionen und - orientierung. Blocks, die die nachstehend beschriebenen Fehlerbehebungskomponenten enthalten, legen dem Trägheitsnavigator 122 Positionskorrekturinformationen vor. Die Fehlerkorrekturkomponenten werden zur Erhöhung der Genauigkeit benutzt, da die Genauigkeit der IMU-Positionsmessungen im Zuge der zurückgelegten Entfernung degradiert.
Die IMU 121 stellt eine hochpräzise navigationsfähige IMU dar, die verschiedene Komponenten haben kann, einschließlich einem oder mehrerer Gyroskope und einem oder mehrerer Akzelerometer-Sensoren, die an den Trägheitsnavigator 122 inkrementelle lineare und winklige Bewegungsmessungen bereitstellen.Die IMU 121 kann eine navigationsfähige Hochleistungseinheit sein, die Gyroskope mit einer Leistung von 0.01 deg/hr oder besser benutzt, wie zum Beispiel das Honeywell HG9900, HG21 oder micro IRS. Unter Benutzung von durch einen Kalman-Filter 123 bereitgestellten Sensorfehlerschätzungen korrigiert der Trägheitsnavigator 122 diese anfänglichen Messungen und transformiert sie bei einem ausgewählten Navigationsframe auf Schätzungen der x, y, z Position sowie Orientierungsdaten, einschließlich Nicken-, Rollen- und Kursdaten. Wenn GPS-Signale verfügbar sind, stellt ein durch gepunktete Linien gezeigter GPS-Empfänger 124 GPS-Daten an den Kalman-Filter 123 zur anfänglichen Angleichung der IMU bereit. Der auf GPS-Positionsinformationen basierende Angleichungsprozess kann statisch oder dynamisch sein. Wenn er statisch ist, findet der Angleichungsprozess an einer fest vorgegebenen und bekannten Position mit bekannten Koordinaten statt. Der Angleichungsprozess kann auch dynamisch auf einem fahrenden Fahrzeug unter Benutzung von GPS ausgeführt werden, um zu der Beschaffung von korrekten Positionsinformationen von der IMU 121 beizutragen.
Für einen fortlaufenden Betrieb in einem Innenbereich eines Gebäudes wird die nachfolgende Navigation im Allgemeinen in vollständiger Abwesenheit von GPS durchgeführt. In einem solchen Fall, wenn das GPS-Signal verloren wurde, übernimmt die IMU 121 und nimmt die Positionsdaten auf. Der Kalman-Filter 123 stellt verarbeitete Messungsinformationen, die Fehlern unterliegen, an ein Fehlersteuergerät 126 bereit, das die akkumulierten Fehler in geschätzten Messungen im Verlauf der Zeit verfolgt. Wenn die geschätzten Messungsfehler des Kalman-Filters über einen Schwellenwert wachsen, gewöhnlich über einen Zeitraum von 1 bis 2 Minuten, fragt das System von dem Betreiber durch eine akustische Benachrichtigung eine Nullgeschwindigkeitsaktualisierung (ZUP), an Block 127 angegeben, ab. Die Sensorplattform, entweder ein Rucksack, Gerätewagen oder Roboter, wird dann für 10-15 Sekunden bewegungslos gemacht, um es dem Kalman-Filter 123 zu ermöglichen, Fehlerkorrekturen für die dann bestehenden Positionen der Sensorplattform durchzuführen. Der Kartierungsbetrieb wird nach jedem ungefähr 15 Sekunden langen Verzögerungszeitraum wieder aufgenommen. In dieser Situation kann die IMU stundenlang ohne jegliche GPS-Hilfe betrieben werden, wobei sie lediglich die ZUP als eine Hilfe zur Korrektur der Fehler des IMU-Sensors benutzt. Auf diese Art und Weise beschafft der Trägheitsnavigator 122 die aktualisierten korrekten Positionsinformationen alle paar Minuten, eine Technik, die die ansonsten regelmäßig auftretende Degradierung bei der Genauigkeit für IMU-Positionsmessungen im Verlauf der Zeit vermeidet.
Der Echtzeitbildgebungsabschnitt 104 kann mehrere Typen von Sensoren umfassen. Gemäß einem Ausführungsbeispiel umfasst der Bildgebungsabschnitt 104 zum Beispiel einen oder mehrere georäumliche Datensensoren, wie zum Beispiel LIDAR 129, und/oder eine oder mehrere Kameras 128, mittels derer georäumliche Daten erfasst werden. Die Kameras 128 können eine oder mehrere digitale Kameras zur Erfassung von Bilddaten, wie zum Beispiel Farbe, Helligkeit und sonstige visuelle Attribute von Oberflächenstrukturen oder Objekten umfassen, die innerhalb des Zielgebäudes oder der Zielstruktur kartiert werden. Die LIDAR 129 misst, wie weit und in welche Richtung (Nicken, Rolle und Kurs) die abzubildende Zielstruktur oder das abzubildende Zielobjekt von der Sensorplattform lokalisiert ist, um relative Verschiebungsinformationen bereitzustellen. Der LIDAR-Sensor, ein Scanning-Laser, kann ein SICK-, Riegl- oder Velodyne-Sensor sein. In einer Ausführungsform kann eine einzelne Kamera ohne eine LIDAR benutzt werden, in welchem Falle die Tiefe aus sequentiellen Ansichten derselben Eigenschaft bestimmt werden kann. Die Kamera kann eine Point Grey-Kamera sein. In einer Ausführungsform umfassend ein stereooptisches System, kann die Tiefe aus einer Einzelansicht einer Eigenschaft (oder Eigenschaften) bestimmt werden. Wenn zur Bestimmung der Tiefe oder Entfernung eine Kamera anstatt einer LIDAR benutzt wird, dann kann die Nach-Missionssoftware die Funktion der Reichweitebestimmung durchführen.
Alle Daten, einschließlich der LIDAR- und Bilddaten, sowie der IMU inkrementellen x, y, z Positions- und Nicken-, Rollen- und Kursinformationen werden auf einem Massenspeichergerät 131 gespeichert. Der Dateninput in das Massenspeichergerät 131 kann mit einer durch eine interne Uhr im Systemprozessor oder Computer bereitgestellten Zeit markiert werden und wird in einem Massenspeichergerät an Block 131 gespeichert, wie zum Beispiel einer Computerfestplatte. Das Computersystem kann ein Applanix POS Computersystem sein.
Gemäß einer Ausführungsform der vorliegenden Offenbarung, können die Daten im Wege der Nach-Mission durch eine Nachverarbeitungs-Suite 132 abgerufen werden, diedie Positionsinformationen des ZUP-gestützten Trägheitspositionssystems und die Orientierungsmessungen mit den LIDAR-Reichweitemessungen kombiniert. Die Nach-Missionssoftware ist in der Lage, mehrere Funktionen durchzuführen. Eine Funktion ist die Kombination von Nicken/Rolle/Kurs mit den Reichweitemessungen, um eine dreidimensionale georeferenzierte Punktwolke des durchquerten Raums zu bilden. Der Nach-Missionsverarbeitungsabschnitt 106 ist in der Lage, zur Benutzung Dritter zur Ansicht der vervollständigten Innenbereichskarte dreidimensionale Modellierung und Visualisierung auszugeben. Unter Verwendung von Aspekten der vorliegenden Offenbarung können eine klare, dreidimensionale Modellierung und Visualisierung bereitgestellt werden.
stellt ein Flussdiagramm einer Ausführungsform dar, in der die bei der Aufnahme der Kartierungsdaten einbezogenen Schritte illustriert werden. Der Schritt Angleichung S250 beinhaltet die Bestimmung der Richtungen Norden und nach unten, entweder statisch oder dynamisch. Statisch bedeutet zu einer fest vorgegebenen Position mit bekannten Koordinaten, typischerweise auf dem Boden unter Benutzung eines GPS, was ungefähr 10-20 Minuten dauern kann. Dynamisch bedeutet auf einem Fahrzeug oder einer sich bewegenden Person unter Benutzung von GPS-Hilfe.
Der nächste Schritt, Walk S252, bezieht jede Gehgeschwindigkeit oder Bewegung des Datenakquisitions-/Erfassungsgeräts durch das Gelände, das kartiert wird, ein. Das Gerät weist eine LIDAR- und digitale Kamera auf, um Tiefen- und Bilddaten aufzunehmen, wie oben beschrieben.
Der nächste Schritt, ZUP S254, bezieht das Beschaffen einer Nullgeschwindigkeitsaktualisierung der Position ein, indem zum Beispiel die Bewegung des Datenakquisitions-/Erfassungsgeräts alle 1-2 Minuten gestoppt wird und für 10-15 Sekunden bewegungslos verbleibt, um die Korrektur der gemessenen Positionsinformationen zu erlauben. Der Schritt Walk S256 wird dann bis zur nächsten ZUP S254-Periode fortgeführt. Die Schritte Walk und ZUP werden wiederholt, bis die Kartierung des Zielbereichs abgeschlossen ist S258.
Unter Bezugnahme auf , und wird ein Georeferenzprozess oder Verfahren zur Aufnahme von räumlichen Kartierungsinformationen dargestellt, z.B. Zuweisung von Kartierungsframe-Koordinaten an einen Zielpunkt P auf einer zu kartierenden Struktur unter Benutzung von Messungen, die durch einen Remotesensor genommen wurden. Ein allgemeines Verfahren besteht aus der Bestimmung der Positionen einer Pluralität von Oberflächendatenpunkten P einer Zielstruktur, Beschaffung charakteristischer Bilddaten der Oberflächendatenpunkte, Speicherung von Informationen, die die Positionen der Oberflächendatenpunkte der Zielstruktur zusammen mit deren charakteristischen Bilddaten repräsentieren, und Korrelieren der Positionsdaten und Bilddaten für die Oberflächendatenpunkte. Das Verfahren kann - zum Zwecke der Anzeige - weiterhin den Schritt der Wiedererzeugung eines Bildes der Zielstruktur unter Benutzung der Positionsdaten und Bilddaten einbeziehen.
ist ein Vektordiagramm, das ein Verfahren des Ableitens von Kartierungsframe-Koordinaten für einen Zielpunkt P auf einer zu kartierenden Oberfläche basierend auf durch eine Remote-Sensorplattform S vorgenommene Messungen illustriert. Die Sensorplattform S besteht aus den oben beschriebenen Instrumenten. Der Vektor r_s ^M repräsentiert die kartesischen Koordinaten einer Sensorplattform S im Verhältnis zu einem fest vorgegebenen Bezugspunkt M. Der Vektor r_p ^s ist der Sensorzeigevektor, der Einstellungsdaten für die Sensorplattform im Verhältnis zu dem Zielpunkt P sowie der Entfernung von der Sensorplattform S zu dem Zielpunkt P repräsentiert. Der Vektor r_p ^M ist ein Vektor, der die Position eines kartierten Punktes P im Verhältnis zu dem Bezugspunkt M repräsentiert.
Der erste Schritt in dem Prozess ist die Bestimmung des Vektors r_s ^M. Im Außenbereichsumfeld kann dies durch Benutzen von GPS oder eines GPS-gestützten Trägheitssystems bewerkstelligt werden. In einem Innenbereichsumfeld kann dies durch Benutzen einer ZUP-gestützten IMU bewerkstelligt werden. Der nächste Schritt ist das Bestimmen des Vektors r_p ^s durch Bestimmen der polaren Koordinaten der Sensorplattform S (Einstellungswinkel: Rolle, Nicken, Kurs) und die Entfernung der Sensorplattform S vom Punkt P. Die Winkel können unter Benutzung eines Gyroskops und einer ZUP-gestützten IMU bestimmt werden. In einer Ausführungsform ist die ZUPgestützte IMU eine navigationsfähige IMU. Die Entfernung vom Positionssensor zum Punkt P kann unter Benutzung eines Laserscangeräts, wie zum Beispiel der oben beschriebenen LIDAR, bestimmt werden oder durch Benutzen eines Stereokamerapaars und Triangulierung. Eine einzelne Kamera kann auch zur Beschaffung sequentiell beabstandeter Bilder des Zielpunktes benutzt werden, von dem die Entfernung des Positionssensors zum Zielpunkt P abgeleitet werden kann. Wie oben angegeben, stellt die Kamera auch charakteristische Bilder für jeden Zielpunkt P auf der zu kartierenden Oberfläche bereit. Die aus den obigen Vektoren erhältlichen Informationen ermöglichen die Berechnung der Koordinaten des Zielpunktes P.
und illustrieren eine Ausführungsform einer Umsetzung des Georeferenzprozesses. In wird eine einmalige Vorgehensweise der Kalibrierung des Hebelarms illustriert. Die IMU, LIDAR und Kamera sind fest auf einem starren Rahmen (z.B. der Sensorplattform) angebracht. Die Entfernung zwischen und die relativen Orientierungen der IMU, LIDAR und Kamera werden dadurch fest vorgegeben und werden im Daten-Store 131 ( ) gemessen (Schritte S50-S53) und gespeichert. Dies erlaubt, dass die zu jedem Zeitpunkt an der IMU stattfinden Positions- und Orientierungsmessungen zu diesem Zeitpunkt zu der relativen Position und Orientierung der Kamera und der LIDAR korreliert werden können, um die Koordinatentransformationen (Schritt S54) zu unterstützen.
umreißt die Schritte zur Ausführung des Georeferenzprozesses, wie im Zusammenhang mit illustriert und beschrieben. Die LIDAR-Reichweitemessung jedes Zieloberflächenpunktes P und die Zeit T, zu der er beschafft wurde, werden zusammen mit der IMU-Position und -Orientierung zum Zeitpunkt T (Schritte S60-S62) abgerufen. Die Zieloberflächenpunktdaten werden mit der IMU-Bestimmung der Position und Orientierung zum Zeitpunkt T korreliert. Dreidimensionale geografische Koordinaten jedes Punktes P können dann berechnet und gespeichert werden (Schritt S66). Bilddaten des Punktes P von einer Kamera können über die LIDAR-Daten drapiert werden, damit Punkt P für diesen Punkt das Strukturgefüge und die Farbe bereitstellen und speichern kann (Schritt S68). Dieser Prozess wird von Punkt zu Punkt fortgeführt, wodurch eine Wolke gespeicherter georeferenzierter Positionen in drei Dimensionen für jeden kartierten Punkt P auf der zu kartierenden Oberfläche gebildet wird (Schritte S70-S74).
Wenn die Bilddaten mit den gespeicherten Positionsdaten korreliert werden, besteht eine Datenbank, mittels derer der Prozessor ein Bild eines kartierten Innenoberflächenbereichs des Geländes rekonstruieren kann, indem ein Ausgangspunkt und ein Azimut und die Richtung von diesem Ausgangspunkt ausgewählt werden, von dem ein durch die gespeicherten dreidimensionalen Positionen für jeden kartierten Punkt definiertes Bild auf dem Oberflächenbereich, der kartiert wird, angezeigt wird. Diese können unter Benutzung einer Suite, wie z.B. der von Object Raku, visualisiert werden. Der Prozessor erzeugt ein Bild neu oder rekonstruiert es, wobei der tatsächliche Innenbereich des Geländes dargestellt wird, als ob der Betrachter tatsächlich im Inneren des Geländes wäre und durch ein Bilderfassungsgerät schaut. Das gesehene Bild kann fortlaufend verändert werden, indem verschiedene Ausgangspunkte ausgewählt werden, als ob der Betrachter sich durch das Gelände fortbewegt, und der Azimut und die Richtung können ebenfalls verändert werden, entweder wenn der Ausgangspunkt konstant ist oder sich verändert. Der Prozessor kann auch Stereobilder erzeugen, wobei ein Bild getrennt an jedes Auge des Betrachters bereitgestellt wird, um ein dreidimensionales Bild bereit zu stellen. Die Bilder können auf als Brillen getragenen, linken und rechten Anzeigen angezeigt werden. Eine derartige Anordnung stellt eine virtuelle Realitätstour des Innenbereichs des Geländes bereit, ohne tatsächlich im Innenbereich des Geländes präsent zu sein. Das angesehene Bild oder die angesehenen Bilder können horizontal oder vertikal geschwenkt oder herein- oder heraus gezoomt werden. Ein Beispiel eines unter Benutzung derartiger Nachverarbeitungsvorgehensweisen erzeugten Bildes wird in gezeigt.
Um ein noch klareres, schärferes Bild bereit zu stellen kann an den gespeicherten Daten eine Verarbeitungsvorgehensweise gemäß einer Ausführungsform der vorliegenden Offenbarung durchgeführt werden.
Eine Übersicht eines Prozesses gemäß einer Ausführungsform der vorliegenden Offenbarung wird in gezeigt. Gemäß dieser Ausführungsform kann die Nachverarbeitung der Standortdaten 14 (Schritt S200) das Glätten der Standortdaten beinhalten, welche in diesem Fall aus Trägheitsdaten bestehen. Die Nachverarbeitung dieser Daten nutzt die Fähigkeit aus, auf den Daten rückwärts und vorwärts zu sehen sowie Positionierungsprozesse in Vorwärts- und Rückwärtsrichtung auszuführen, was das genaue Glätten der Daten erlaubt und eine endgültige, beste Schätzung der Trajektorie- (SBET) -Daten erzeugt, die mit den sonstigen (Bild- und Reichweite-) Daten korreliert und gespeichert wird (Schritt S202). Die Nachverarbeitung (Schritt S200) kann Glätten, Neuberechnungen, statistisches Verarbeiten, etc. umfassen. Eine Scan-Anpassungstechnik (Schritt S204) wird dann an den Reichweitedaten (LIDAR-Sonardaten) durchgeführt, und die Verwendung der SBET wird zur Lokalisierung von Objekten im Umfeld verwendet sowie dazu, die SBET-Daten zu zwingen, sich den Objekten anzugleichen, wodurch die Trajektorie korrigiert oder überarbeitet wird. Die überarbeiteten SBET werden dann gespeichert (Schritt S206). Unter Verwendung der abgeänderten SBET, der Bilddaten 10 und der Reichweitedaten 12 wird die Punktwolkenerzeugung durchgeführt (Schritt S208), um ein Bild des Innenbereichs des Umfeldes zu erzeugen, das gescannt wurde.
Ein Beispiel eines Bildes eines Gebäudeteils, das unter Verwendung der Nachverarbeitungsvorgehensweisen gemäß einer Ausführungsform der vorliegenden Offenbarung erzeugt wurde, wird in gezeigt. kann mit verglichen werden, die ein ohne die Nachverarbeitungsvorgehensweisen der vorliegenden Ausführungsformen erzeugtes Bild zeigt. Wie im Bild der gezeigt, sind die Objekte (Wände, Möbel, etc.) in dem Gebäude im Vergleich zu dem Bild in wesentlich besser definiert.
Die spezifische Nachverarbeitung, die zur Umsetzung der Ausführungsformen der vorliegenden Offenbarung durchgeführt werden können, wird nunmehr durch Bezugnahme auf die und detaillierter beschrieben.
Wie oben angemerkt, sind die Trägheitsrohdaten geografische Positionsdaten, die im Verhältnis zu mindestens einem fest vorgegebenen Bezugspunkt bestimmt wurden. Diese Trägheitsrohdaten werden in einen Trägheitsnavigator 400 (Schritt S82) eingegeben, der zur Berechnung einer geschätzten Breite, Länge und Höhe zu jeder Dateninstanz (Schritt S84) benutzt wird. Diese Schätzungen können auf einen fest vorgegebenen Bezugspunkt basiert werden, der durch einen GPS-Empfänger bestimmt wird, wenn das System mit einem GPS ausgerüstet ist, und es kann eine anfängliche Bezugspunktposition lokalisiert werden, die Zugriff auf GPS-Signale hat. Hilfsweise können, wenn ein GPS-Signal und/oder GPS-Empfänger nicht verfügbar sind, die Schätzungen auf einen sonstigen fest vorgegebenen Bezugspunkt innerhalb der zu scannenden Struktur basiert werden. Die geschätzten Daten werden dann in den Nachprozessor 402 (Schritt S86) eingegeben, und unter Benutzung der Fähigkeit, auf den Daten nach vorne und hinten zu sehen, wird eine endgültige, beste Schätzung der Trajektorie (SBET) erzeugt.
Es stehen verschiedene Typen von Nachprozessglättern zur Verfügung, einschließlich zum Beispiel fest vorgegebene Punktglätter, fest vorgegebene Latenzglätter, fest vorgegebene Intervallglätter. Spezifische Beispiele von geeigneten Typen beinhalten den Modified Bryson-Frazier Smoother (POSPac4), den Mayne-Fraser (oder Zwei-Filter) Smoother (POSPacMMS, Markenartikel VWCN in TNG3-Code) und den RTS (Rauch-Tung-Striebel) Smoother (POSPacMMS 5.4 (TNG4)). Der Zweck der Glätter ist das Entfernen von beliebigen Fluktuationen in den Trajektorie-Rohdaten, wo dies angemessen ist, und das Bereitstellen einer genaueren Schätzung der tatsächlich genommenen Trajektorie.
Die SBET- und die Reichweitedaten (z.B. LIDAR-Laserdaten) werden dann in einen Scan-Anpassungsprozessor 404 (Schritt S88) gegeben, wo ein oder mehrere Scan-Anpassungsalgorithmen verwendet werden, um statistische Prozesse an den Reichweitedaten durchzuführen. Unter Verwendung der SBET- und der Reichweitedaten können Positionsinformationen von jeder von einer Pluralität der Oberflächendatenpunkte genauer bestimmt werden. Dies ermöglicht, dass Objekte und Objekteigenschaften genauer und leicht identifiziert werden können.
Je nach dem benutzten Scan-Anpassungsprozess können die identifizierten Objekte zum Beispiel Wände, Türen, Türkanten, Möbel, Möbelkanten oder sonstige Eigenschaften des Umfeldes beinhalten, das kartiert wurde. Gemäß einer Ausführungsform der vorliegenden Offenbarung kann ein Scan-Anpassungsprozess durchgeführt werden, um lineare Eigenschaften des Umfeldes zu identifizieren.
Ein Beispiel eines geeigneten Typs eines Scan-Anpassungsprozess wird durch das CSIRO ICT Centre, in Brisbane, Australien bereitgestellt. Es werden verschiedene Typen geeigneter Scan-Anpassungsprozesse beschrieben, zum Beispiel in „Continuous 3D Scan-Matching with a Spinning 2D Laser“ (Fortlaufende 3D-Scan-Anpassung mit einem drehenden 2D-Laser) von M. Bosse und R. Slot und „Place Recognition using Keypoint Similarities in 2D Lidar Maps“ (Platzerkennung unter Benutzung von Schlüsselpunktähnlichkeiten in 2D-Lidar-Karten) von R. Zlot und M. Bosse, deren Inhalt durch Bezugnahme in diese Anmeldung einbezogen wird und die als ein Teil der vorliegenden Offenbarung betrachtet werden.
Gemäß einer Ausführungsform der vorliegenden Offenbarung, benutzt der Scan-Anpassungsprozess auch statistische Prozesse, um die SBET zu überarbeiten, sodass sich die Trajektorie der/den linearen Eigenschaft/en anpasst. Ein statistischer Prozess kann zum Beispiel an den Reichweitedaten durchgeführt werden, um lineare Eigenschaften zu identifizieren, die sich dort gebildet haben, wo eine Wand auf eine Decke trifft. Die SBET können dann, falls erforderlich, überarbeitet werden, sodass diese bekannten Eigenschaften linear bleiben. Die überarbeiteten SBET werden dann mit den Reichweite- und Bilddaten korreliert und gespeichert.
Die überarbeiteten SBET werden dann durch den Punktwolkengenerator 406 benutzt, um die Punktwolke zu erzeugen (Schritt S90) und um die Bilddaten zu überlagern (Schritt S92). Die Bildkarte des Umfeldes wird dann über einen beliebig geeigneten Ausgabetyp oder Ausgabetypen 408, einschließlich beispielsweise Anzeigen, Drucker, etc., ausgegeben (Schritt S94).
Die vorliegende Offenbarung benutzt daher eine überarbeitete Trajektorie, die rohen LIDAR-Daten und erzeugt - auf der Basis gemeinsamer Zeit - eine Punktwolke, die die Projektion der Trajektorie ist, und eine LIDAR-Reichweite auf einer innerhalb der überarbeiteten SBET bereitgestellten Reichweitepeilung. Demgemäß ist die Kohärenz der Punktwolke besser als dies unter Benutzung sonstiger Verfahren erreichbar ist. Die Kohärenz ist in diesem Fall die Fähigkeit, Objekte klar zu sehen und dass die Objekte nicht durch eine ungenaue Trajektorie des LIDAR-Sensors verzerrt werden.
Der vorliegend beschriebene Scan-Anpassungsprozess wendet statistische Prozesse auf die LIDAR-Laserreichweitedaten an, um Objekte in dem Umfeld zu lokalisieren und identifizieren und ein überarbeitetes SBET zu bestimmen. Sonstige Typen der Scan-Anpassungstechniken könnten natürlich auch benutzt werden. Wie oben erwähnt, können die Bilddaten zum Beispiel benutzt werden, um Reichweitedaten zu bestimmen. In diesem Fall könnte ein Scan-Anpassungsprozess, der die statistischen Prozesse auf die Bilddaten anwendet, benutzt werden, um Objekte im Umfeld zu lokalisieren und die überarbeiteten SBET zu bestimmen.
Eine herausstehende Eigenschaft der Ausführungsformen der vorliegenden Offenbarung ist die Benutzung der SBET als a priori Input in den Scan-Anpassungsalgorithmus. Eine weitere herausstehende Eigenschaft der vorliegenden Offenbarung sind die daraus folgenden „überarbeiteten SBET“, die von einer Qualität und Genauigkeit sind, die bislang in derartigen Kartierungssystem-Konfigurationen nicht erzielbar waren.
Eine noch weiter herausstehende Eigenschaft der vorliegenden Offenbarung ist die Anwendung der abschließenden (überarbeiteten SBET-) Trajektorie auf die Kamera- (Bild-) Daten, die gleichzeitig mit den Trägheitsrohdaten erfasst wurden. In einem GPSverweigerten Umfeld wäre es unmöglich, eine derartig genaue Trajektorie ohne die vorliegend beschriebenen trägheitsgestützten nachverarbeiteten Scan-Anpassungstechniken auf die Kameradaten anzuwenden.
Dem Fachmann ist ersichtlich, dass die erzeugten Bilder in Abhängigkeit der verwendeten Datenerfassungsgeräte zwei- oder dreidimensional sein können.
Die vorliegend beschriebenen Systeme können in digitalen elektronischen Schaltungsanordnungen oder in Computerhardware, Firmware, Software oder in Kombinationen davon ausgeführt werden. Die Systeme können als ein Computerprogrammprodukt ausgeführt werden, z.B. einem in einem Informationsträger greifbar ausgeführten Computerprogramm, z.B. in einem maschinenlesbaren Speichergerät oder in einem verbreiteten Signal, zur Ausführung durch oder zur Steuerung des Betriebs von Datenverarbeitungsvorrichtungen, z.B. einem programmierbaren Prozessor, einem Computer oder mehreren Computern. Ein Computerprogramm kann in jeder Form von Programmiersprache geschrieben werden, einschließlich kompilierter oder interpretierter Sprachen, und es kann in jeder Form angewendet werden, einschließlich als ein eigenständiges Programm oder als ein Modul, eine Komponente, ein Unterprogramm oder eine sonstige zur Benutzung in einem Computerumfeld geeignete Einheit. Ein Computerprogramm kann zur Ausführung auf einem Computer oder auf mehreren Computern an einem Standort oder über mehrere Standorte verteilt und mittels eines Kommunikationsnetzwerks vernetzt angewendet werden.
Mit der vorliegenden Offenbarung assoziierte Verfahren können durch einen oder mehrere programmierbare Prozessoren durchgeführt werden, die ein Computerprogramm ausführen, um durch den Betrieb von Inputdaten und der Erzeugung von Output Funktionen durchzuführen. Die Verfahren können auch durch eine Logik-Schaltung mit besonderem Zweck durchgeführt werden, und die Vorrichtungen der vorliegenden Offenbarung können als Logik- Schaltungen mit besonderem Zweck ausgeführt werden, z.B. ein FPGA (field programmable gate array - am Einsatzort programmierbares Gate-Array) oder eine ASIC (application-specific integrated circuit - anwendungsspezifische integrierte Schaltung).
Für die Ausführung eines Computerprogramms geeignete Prozessoren beinhalten beispielhalber Mikroprozessoren mit sowohl allgemeinem als auch besonderem Zweck sowie einen oder mehrere Prozessoren jeder Art digitalen Computers. Ein Prozessor empfängt im Allgemeinen Anweisungen und Daten von einem Festwertspeicher oder einem RAM-Speicher oder beiden. Die Elemente eines Computers sind ein Prozessor zur Ausführung von Anweisungen und ein oder mehrere Speichergeräte zum Speichern von Anweisungen und Daten. Im Allgemeinen beinhaltet ein Computer außerdem ein oder mehrere Massenspeichergeräte zum Speichern von Daten, z.B. magnetische, magneto-optische Laufwerke oder optische Laufwerke, oder ist betrieblich zum Empfang oder zur Übertragung von Daten oder beidem von den erwähnten Geräten mit diesen verbunden. Informationsträger, die zur Verkörperung von Computerprogrammanweisungen und Daten geeignet sind, beinhalten alle Formen von nicht flüchtigen Speichern, einschließlich beispielshalber Halbleiterspeichergeräte, z.B. EPROM (Erasable Programmable Read-Only Memory - löschbarer programmierbarer Nur-Lese-Speicher), EEPROM (Electrically Erasable Programmable Read-Only Memory - elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und Flashspeichergeräte; magnetische Laufwerke, z.B. interne Festplattenlaufwerke oder Wechselplatten; magneto-optische Laufwerke; CD-ROMs (Compact Disc Read-only Memory) und DVD-ROMs (Digital Versatile Disc Read-only Memory). Der Prozessor und der Speicher können durch Logik-Schaltungen mit besonderem Zweck ergänzt oder in diese einbezogen werden.
Zur Bereitstellung der Interaktion mit einem Benutzer kann die vorliegende Offenbarung auf einem Computer ausgeführt werden, der ein Anzeigegerät aufweist, z.B. einen CRT-(cathode ray tube - Kathodenstrahlröhre) oder LCD- (liquid crystal display - Flüssigkristallanzeige) Monitor, zur Anzeige von Informationen an den Benutzer und ein Keyboard und ein Zeigegerät, z.B. eine Maus oder eine Rollkugel, mittels derer der Benutzer Input an den Computer bereitstellen kann. Es können auch sonstige Gerätearten zur Bereitstellung von Interaktionen mit einem Benutzer benutzt werden; zum Beispiel kann Feedback, das an den Benutzer bereitgestellt wird, jede Form sensorischen Feedbacks sein, z. B. visuelles Feedback, akustisches Feedback oder taktiles Feedback; und der Input vom Benutzer kann in jeder Form empfangen werden, einschließlich akustischem, Sprach- oder taktilem Input.
Das vorliegende System kann auf einem Computersystem ausgeführt werden, das eine Backend-Komponente beinhaltet, z.B. als ein Datenserver, oder das eine Middleware-Komponente, z.B. ein Applikationsserver, oder eine Frontend-Komponente beinhaltet, z.B. ein Kundencomputer, wobei das System eine grafische Schnittstelle aufweist oder einen Webbrowser, durch den ein Benutzer mit einer Ausführung der Erfindung interagieren kann oder jede Kombination derartiger Backend-, Middleware- oder Frontend-Komponenten. Die Komponenten des Computersystems können durch jede Form oder jedes Medium digitaler Datenkommunikation verbunden sein, z.B. ein Kommunikationsnetzwerk. Beispiele für Kommunikationsnetzwerke beinhalten ein lokales Netzwerk („LAN“) und ein Weitverkehrsnetz („WAN“), z.B. das Internet.
Das Computersystem kann Klienten und Server beinhalten. Ein Klient und Server sind im Allgemeinen voneinander entfernt und interagieren typischerweise über ein Kommunikationsnetzwerk. Die Beziehung des Klienten und Servers entsteht aufgrund von Computerprogrammen, die auf jeweiligen Computern ausgeführt werden und die ein gegenseitiges Klienten-Server-Verhältnis aufweisen.
Zahlreiche zusätzliche Modifikationen und Variationen der vorliegenden Offenbarung sind angesichts der obigen Lehren möglich. Daher versteht sich von selbst, dass die vorliegende Offenbarung anders als vorliegend spezifisch beschrieben ausgeübt und angewendet werden kann. Zum Beispiel können Elemente und/oder Eigenschaften verschiedener beispielhafter Ausführungsformen im Rahmen dieser Offenbarung miteinander kombiniert und/oder gegeneinander ausgetauscht werden.

Claims

Verfahren zur Nachverarbeitung georeferenzierter Kartierungsdaten, umfassend: - Bereitstellen von Positionsdaten, die eine Position eines Datenakquisitionssystems in einem definierten Raum zu spezifischen Zeitpunkten angeben; - Bereitstellen von Reichweitedaten, die relative Positionen von Objekten in dem definierten Raum mit Bezug zu dem Datenakquisitionssystem zu spezifischen Zeitpunkten angeben; - Durchführen eines Glättungsprozesses an den Positionsdaten, um eine geglättete, beste Schätzung der Trajektorie- (SBET) -Daten für eine Trajektorie des Datenakquisitionssystems zu bestimmen; - Durchführen eines Scan-Anpassungsprozesses an den SBET-Daten und den Reichweitedaten, um Objekte und/oder Objekteigenschaften in dem definierten Raum zu identifizieren; - Durchführen eines Prozesses zur Überarbeitung der SBET-Daten, sodass sich die SBET-Daten den identifizierten Objekten und/oder Objekteigenschaften angleichen; und - Speichern der überarbeiteten SBET-Daten mit den Reichweitedaten.
Das Verfahren nach Anspruch 1, weiterhin umfassend das Erzeugen einer Punktwolke unter Benutzung der überarbeiteten SBET-Daten und den Reichweitedaten.
Das Verfahren nach Anspruch 2, weiterhin umfassend das Bereitstellen von Bilddaten des definierten Raums zu spezifischen Zeitpunkten.
Das Verfahren nach Anspruch 3, weiterhin umfassend das Überlagern der Bilddaten über die erzeuge Punktwolke, um eine Bildkarte des definierten Raums zu erzeugen.
Das Verfahren nach Anspruch 4, weiterhin umfassend das Ausgeben der Bildkarte.
Das Verfahren nach Anspruch 1, wobei der Scan-Anpassungsprozess lineare Eigenschaften in dem definierten Raum identifiziert.
Das Verfahren nach Anspruch 6, weiterhin umfassend das Überarbeiten der SBET-Daten, sodass die identifizierten linearen Eigenschaften linear bleiben.
Das Verfahren nach Anspruch 1, wobei die unter Benutzung des Scan-Anpassungsprozess identifizierten Objekte und/oder Objekteigenschaften mindestens eines von Wänden, Wandecken, Türen, Türkanten, Möbel oder Möbelkanten umfassen.
Das Verfahren nach Anspruch 1, wobei die Reichweitedaten Daten umfassen, die durch ein Laserreichweitesystem mit Lichtnachweis und Reichweitebestimmung (LIDAR) erfasst wurden.
Das Verfahren nach Anspruch 1, wobei die Reichweitedaten von mindestens einem durch eine Kamera aufgenommenem Bild erfasste Daten umfassen.
Das Verfahren nach Anspruch 1, wobei die Positionsdaten Daten umfassen, die durch mindestens eines von einem Odometrie- und Trägheitsmessungssystem erfasst wurden.
System zur Nachverarbeitung georeferenzierter Kartierungsdaten, umfassend: - Speicher (18), eingerichtet zum Speichern von Positionsdaten, die eine Position eines Datenakquisitionssystems in einem definierten Raum zu spezifischen Zeitpunkten angeben; - Speicher (18), eingerichtet zum Speichern von Reichweitedaten, die die relative Position von Objekten in dem definierten Raum mit Bezug zu dem Datenakquisitionssystem zu den spezifischen Zeitpunkten angeben; - einen Glättungsprozessor (402), eingerichtet zum Durchführen eines Glättungsprozesses an den Positionsdaten zur Bestimmung der geglätteten, besten Schätzung der Trajektorie- (SBET) - Daten für eine Trajektorie des Datenakquisitionssystems; - einen Scan-Anpassungsprozessor (404), eingerichtet zum Durchführen eines Scan-Anpassungsprozesses an den SBET-Daten und den Reichweitedaten zur Identifikation von Objekten und/oder Objekteigenschaften in dem definierten Raum; - einen Überarbeitungsprozessor, eingerichtet zum Überarbeiten der SBET-Daten, sodass sich die SBET-Daten den identifizierten Objekten und/oder Objekteigenschaften angleichen; und Speicher zum Speichern der überarbeiteten SBET-Daten mit den Reichweitedaten.
Das System nach Anspruch 12, weiterhin umfassend einen Punktwolkengenerator (406), eingerichtet zum Erzeugen einer Punktwolke unter Benutzung der überarbeiteten SBET-Daten und der Reichweitedaten.
Das System nach Anspruch 13, weiterhin umfassend einen Bilddatenprovider (128, 129), eingerichtet zum Bereitstellen von Bilddaten des definierten Raums zu den spezifischen Zeitpunkten.
Das System nach Anspruch 14, weiterhin umfassend einen Bildkartenerzeuger, eingerichtet zum Überlagern der Bilddaten über die erzeugte Punktwolke, um eine Bildkarte des definierten Raums zu erzeugen.
Das System nach Anspruch 15, weiterhin umfassend eine Ausgabe, eingerichtet zum Ausgeben der Bildkarte.
Das System nach Anspruch 12, wobei der Scan-Anpassungsprozessor (404) angepasst ist, lineare Eigenschaften in dem definierten Raum zu identifizieren.
Das System nach Anspruch 17, wobei der Überarbeitungsprozessor angepasst ist, die SBET-Daten weiterhin zu überarbeiten, sodass die identifizierten linearen Eigenschaften linear bleiben.
Das System nach Anspruch 12, wobei die durch Verwenden des Scan-Anpassungsprozessors (404) identifizierten Objekte und/oder Objekteigenschaften mindestens eines von Wänden, Wandecken, Türen, Türkanten, Möbel und Möbelkanten umfassen.
Das System nach Anspruch 12, wobei die Reichweitedaten durch ein Laserreichweitesystem mit Lichtnachweis und Reichweitebestimmung (LIDAR) erfasste Daten umfassen.
Das System nach Anspruch 12, wobei die Reichweitedaten von mindestens einem durch eine Kamera aufgenommenem Bild erfasste Daten umfassen.
Das System nach Anspruch 12, wobei die Positionsdaten durch mindestens eines von einem Odometrie- und Trägheitsmessungssystem erfasste Daten umfassen.
Computer-Aufzeichnungsmedium einschließlich computerausführbarem Code zum Nachbearbeiten georeferenzierter Kartierungsdaten, der computerausführbare Code umfassend: - Code zum Abrufen von Positionsdaten, die eine Position eines Datenakquisitionssystems in einem definierten Raum zu spezifischen Zeitpunkten angeben; - Code zum Abrufen von Reichweitedaten, die eine relative Position von Objekten in dem definierten Raum mit Bezug zu dem Datenakquisitionssystem zu den spezifischen Zeitpunkten angeben; - Code zum Durchführen eines Glättungsprozesses an den Positionsdaten, um die geglättete, beste Schätzung der Trajektorie- (SBET) -Daten für eine Trajektorie des Datenakquisitionssystems zu bestimmen; - Code zum Durchführen eines Scan-Anpassungsprozesses an den SBET-Daten und den Reichweitedaten, um Objekte und/oder Objekteigenschaften in dem definierten Raum zu identifizieren; - Code zum Durchführen eines Prozesses zur Überarbeitung der SBET-Daten, sodass sich die SBET-Daten den identifizierten Objekten und/oder Objekteigenschaften angleichen; und - Code zum Speichern der überarbeiteten SBET-Daten mit den Reichweitedaten.
Das Computer-Aufzeichnungsmedium nach Anspruch 23, weiterhin umfassend einen Code zum Erzeugen einer Punktwolke unter Benutzung der überarbeiteten SBET-Daten und der Reichweitedaten.
Das Computer-Aufzeichnungsmedium nach Anspruch 24, weiterhin umfassend einen Code zum Bereitstellen von Bilddaten des definierten Raums zu den spezifischen Zeitpunkten.
Das Computer-Aufzeichnungsmedium nach Anspruch 25, weiterhin umfassend einen Code zum Überlagern der Bilddaten über die erzeugte Punktwolke, um eine Bildkarte des definierten Raums zu erzeugen.
Das Computer-Aufzeichnungsmedium nach Anspruch 26, weiterhin umfassend einen Code zum Ausgeben der Bildkarte.
Das Computer-Aufzeichnungsmedium nach Anspruch 23, wobei der Code für den Scan-Anpassungsprozess lineare Eigenschaften in dem definierten Raum identifiziert.
Das Computer-Aufzeichnungsmedium nach Anspruch 28, weiterhin umfassend einen Code zur Überarbeitung der SBET-Daten, sodass die identifizierten Eigenschaften linear bleiben.
Das Computer-Aufzeichnungsmedium nach Anspruch 23, wobei die durch Verwendung des Scan-Anpassungsprozesses identifizierten Objekte und/oder Objekteigenschaften mindestens eines von Wänden, Wandecken, Türen, Türkanten, Möbel oder Möbelkanten umfassen.
Das Computer-Aufzeichnungsmedium nach Anspruch 23, wobei die Reichweitedaten Daten umfassen, die durch ein Laserreichweitesystem mit Lichtnachweis und Reichweitebestimmung (LIDAR) erfasst wurden.
Das Computer-Aufzeichnungsmedium nach Anspruch 23, wobei die Reichweitedaten von mindestens einem durch eine Kamera aufgenommenem Bild erfasste Daten umfassen.
Das Computer-Aufzeichnungsmedium nach Anspruch 23, wobei die Positionsdaten Daten umfassen, die durch mindestens eines von einem Odometrie-System und Trägheitsmessungssystem erfasst wurden.