DE112018000605T5

DE112018000605T5 - Informationsverarbeitungsvorrichtung, Datenverwaltungsvorrichtung, Datenverwaltungssystem, Verfahren und Programm

Info

Publication number: DE112018000605T5
Application number: DE112018000605.0T
Authority: DE
Inventors: Atsunori Moteki; Taichi Murase
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-01-31
Filing date: 2018-01-15
Publication date: 2019-11-07
Also published as: JP2018124787A; WO2018142900A1; US20190257659A1; US10996062B2; JP6760114B2

Abstract

[ZIEL] Die Anzahl der Karten zu reduzieren, die eine Zielregion darstellen.
[ZUSAMMENFASSUNG]
Eine fahrzeuginterne Steuereinheit 18 einer fahrzeuginternen Vorrichtung 10 erfasst eine Gesamtkarte. Eine Standortschätzeinheit 22 schätzt die Standorte des Fahrzeugs zu den Zeiten der Erfassung der jeweiligen peripheren Bilder, die als Keyframe-Bilder bestimmt sind, basierend auf einer Zeitreihe der peripheren Bilder. Eine Erzeugungseinheit 24 erzeugt eine lokale Karte basierend auf der geschätzten jeweiligen Standorte des Fahrzeugs und den jeweiligen peripheren Bildern, die als Keyframe-Bilder bestimmt werden.

Description

GEBIET
Die hierin diskutierten Ausführungsformen beziehen sich auf eine Informationsverarbeitungsvorrichtung, eine Datenverwaltungsvorrichtung, ein Datenverwaltungssystem, ein Verfahren und ein Programm.
STAND DER TECHNIK
Ein spezifizierendes Verfahren zum Spezifizieren einer Bildaufnahmeort eines Landschaftsbildes unter Verwendung elektronischer Kartendaten ist bekannt. In dem Spezifizierungsverfahren beinhalten die elektronischen Kartendaten Anordnungspositionsdaten, die eine Anordnungsposition von mindestens einer Straße zwischen einer Straße und einer auf einer Karte angeordneten Struktur und Formdaten, die eine ebene Form von mindestens der Straße zwischen der Straße und der Struktur anzeigen. Das Landschaftsbild beinhaltet mindestens eine Straße zwischen einer Straße und eine Struktur neben der Straße. Schritte, die von einem Computer für das Spezifizierungsverfahren durchgeführt werden, beinhalten das Erfassen des Landschaftsbildes, das Analysieren des Landschaftsbildes und das Erhalten einer vorbestimmten Merkmalsmenge in Bezug auf ein Aussehen in mindestens einer der Straßen und der Struktur. Die Merkmalsmenge an einer Vielzahl von vorgegebenen Auswertungsstellen auf der Karte wird unter Bezugnahme auf die elektronischen Kartendaten extrahiert. Basierend auf der erhaltenen Merkmalsmenge und der extrahierten Merkmalsmenge wird ein geeigneter Platz für den Bildaufnahmeort geschätzt.
Ein System zur Ortung des Trägerfahrzeugs, das in der Lage ist, einen Trägerfahrzeugstandort effizient zu erfassen, während eine Landschaftsbilderkennungstechnologie verwendet wird, ist ebenfalls bekannt. Das System zur Ortung des Trägerfahrzeugs beinhaltet eine Referenzdatenbank, die Bildmerkmalspunktdaten speichert, die durch Extrahieren eines Bildmerkmalspunktes aus einem aufgenommenen Bild erzeugt werden, das durch Erfassen eines Bildes einer Landschaft aus einem Fahrzeug und Referenzdaten, die einem Bildaufnahmeort des aufgenommenen Bildes zugeordnet sind, der den Bildmerkmalspunktdaten entspricht. Das System zur Ortung des Trägerfahrzeugs empfängt ein aktuelles Bild der von einer Fahrzeugkamera erfassten Landschaft und gibt übereinstimmende Daten aus, die durch Extrahieren eines Bildmerkmalspunktes aus dem tatsächlich erfassten Bild erzeugt werden. Das System zur Ortung des Trägerfahrzeugs erfasst Fahrzeugverhaltensdaten, die ein tatsächliches Fahrzeugverhalten anzeigen, das ein Fahrzeugverhalten des Fahrzeugs ist. Das System zur Ortung des Trägerfahrzeugs extrahiert vorläufige Referenzdaten, in denen die Peripherie des geschätzten Fahrzeugstandortes als Bilderfassungsstandort aus der Referenzdatenbank verwendet wird, wobei der geschätzte Standort des Trägerfahrzeugs als Extraktionsbedingung dient. Das System zur Ortung des Trägerfahrzeugs schränkt die Referenzdaten aus den vorläufigen Referenzdaten basierend auf dem tatsächlichen Fahrzeugverhalten ein und gibt die Daten als passender Partnerkandidat für die Abgleichdaten aus. Das System zur Ortung des Trägerfahrzeugs führt einen Abgleich zwischen den Ausgangsreferenzdaten und den Abgleichsdaten durch und bestimmt einen Standort des Trägerfahrzeugs basierend auf dem Bildaufnahmeort, der den Referenzdaten zugeordnet ist, die den Abgleich erfolgreich waren.
Eine Fahrzeugortungsschätzvorrichtung, die einen absoluten Standort eines Trägerfahrzeugs genau erfassen kann, ist ebenfalls bekannt. Die Fahrzeugortungsschätzvorrichtung erfasst den absoluten Standort des Trägerfahrzeugs mit einer vorbestimmten Genauigkeit und erfasst einen relativen Standort einer umgebenden Markierung basierend auf dem absoluten Standort des Trägerfahrzeugs. Die Fahrzeugortungsschätzvorrichtung schätzt den absoluten Standort der Markierung mit dem kleinsten Fehler basierend auf dem absoluten Standort des Trägerfahrzeugs und des relativen Standorts der mehrfach erfassten Markierung und schätzt den absoluten Standort des Trägerfahrzeugs basierend auf dem absoluten Standort der Markierung und des relativen Standorts der Markierung.
Es ist ein System zur Aktualisierung von Straßenkarten bekannt, das die Straßenkartendaten sequentiell zu nützlicheren Inhalten aktualisiert. Eine fahrzeugseitige Vorrichtung des Straßenkartenaktualisierungssystems ist an einem Fahrzeug montiert und erzeugt und überträgt eine Fahrspur. Eine Kartenverwaltungsvorrichtung des Aktualisierungssystems für Straßenkarten beinhaltet einen Kartendatenverwaltungsserver, der die Daten der zentralen Nebenstraßenkarte auf aktualisierbare Weise speichert, eine von der fahrzeugseitigen Vorrichtung übertragene Fahrspur empfängt und die Daten der zentralen Nebenstraßenkarte aktualisiert. Die fahrzeugseitige Vorrichtung erfasst nacheinander einen aktuellen Standort des Fahrzeugs. Die fahrzeugseitige Vorrichtung bestimmt sequentiell, ob eine Straße, auf der das Fahrzeug fährt, eine neue Straße ist, die nicht in den Straßenkartendaten enthalten ist oder nicht. Die fahrzeugseitige Vorrichtung überträgt ein peripheres Bild des von einer Fahrzeugkamera aufgenommenen Fahrzeugs an die Kartenverwaltungsvorrichtung, wenn festgestellt wird, dass es sich bei der Straße um eine neue Straße handelt.
Ein Verfahren zum Bestimmen der Lage einer Kamera in Bezug auf eine tatsächliche Umgebung ist ebenfalls bekannt. Mindestens ein Element oder mehrere Informationen werden verwendet, um mindestens einen Parameter einer Umgebungssituation der Kamera zu bestimmen, und als Elemente werden ein Tag, ein Jahr, Wetter, insbesondere Regen, Wolke, Sonnenlicht und dergleichen verwendet. Daten oder Parameter, die sich auf eine Umgebungsbedingung beziehen, werden verwendet, um einen Modellsatz für verschiedene Umgebungsbedingungen zu erzeugen.
VERWANDTER STAND DER TECHNIK
Japanische offengelegte Patent Veröffentlichung Nr. 2005-173748
Japanische offengelegte Patent Veröffentlichung Nr. 2011-21505555 Japanische offengelegte Patent Veröffentlichung Nr. 2007-303842
Japanische offengelegte Patent Veröffentlichung Nr. 2008-039687 Japanische offengelegte Patent Veröffentlichung Nr. 2015-084229
ZU LÖSENDES PROBLEM
In einem Fall, in dem beispielsweise der Standort eines Fahrzeugs, das ein Beispiel für ein sich bewegendes Objekt ist, geschätzt wird, ist es wünschenswert, sich auf eine Karte einer peripheren Region des Fahrzeugs zu beziehen. Da sich die periphere Region des Fahrzeugs in der realen Welt von Moment zu Moment ändert, kann ein Standort des Fahrzeugs möglicherweise nicht genau geschätzt werden, selbst wenn auf die Karte verwiesen wird. Dementsprechend ist es denkbar, eine Vielzahl von Karten für jeden Zustand der peripheren Region des Fahrzeugs zu halten, aber die Anzahl der zu haltenden Karten steigt.
Gemäß einem Aspekt zielt eine offenbarte Technik darauf ab, die Anzahl der Karten, die eine Zielregion darstellen, zu reduzieren.
ZUSAMMENFASSUNG
Gemäß einem Aspekt der Ausführungsformen beinhaltet ein Datenverwaltungssystem eine Informationsverarbeitungsvorrichtung und eine Datenverwaltungsvorrichtung. Die Informationsverarbeitungsvorrichtung erfasst eine Gesamtkarte von einem Speicher in der Datenverwaltungsvorrichtung, schätzt einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, und erzeugt eine lokale Karte, die jedes der peripheren Bilder darstellt, die als Keyframe-Bild bestimmt sind. Die Verwaltungsvorrichtung aktualisiert einen der lokalen Karte entsprechenden Teil der im Speicher gespeicherten Gesamtkarte basierend auf der lokalen Karte.
RESULTIERENDE WIRKUNG
Gemäß einem Aspekt kann die Anzahl der Karten, die eine Zielregion darstellen, reduziert werden.
Figurenliste

1 ist ein schematisches Blockdiagramm eines Datenverwaltungssystems gemäß der vorliegenden Ausführungsform;
2 ist ein schematisches Blockdiagramm einer fahrzeuginternen Vorrichtung gemäß einer ersten Ausführungsform;
3 ist ein schematisches Blockdiagramm einer Datenverwaltungsvorrichtung gemäß der ersten Ausführungsform;
4 ist ein erklärendes Diagramm, das eine Gesamtkarte eines Parkplatzes darstellt;
5 ist ein erklärendes Diagramm, das einen Keyframe veranschaulicht;
6 ist ein erklärendes Diagramm, das die Verarbeitung der Aktualisierung der Gesamtkarte anhand einer lokalen Karte veranschaulicht;
7 ist ein Diagramm, das ein Beispiel für eine Keyframe-Tabelle darstellt;
8 ist ein Diagramm, das ein Beispiel für eine Kartenpunkttabelle darstellt;
9 ist ein erläuterndes Diagramm, das die Korrektur eines Standorts des Keyframes der lokalen Karte veranschaulicht;
10 ist ein Blockdiagramm, das eine schematische Konfiguration eines Computers veranschaulicht, der als Steuereinheit einer fahrzeuginternen Vorrichtung in Bezug auf die erste Ausführungsform fungiert;
11 ist ein Blockdiagramm, das eine schematische Konfiguration des Computers veranschaulicht, der als Datenverwaltungsvorrichtung gemäß der vorliegenden Ausführungsform fungiert;
12 ist ein Flussdiagramm, das ein Beispiel für die Verarbeitung der lokalen Kartenerstellung gemäß der ersten Ausführungsform darstellt;
13 ist ein Flussdiagramm, das ein Beispiel für die Datenverwaltungsverarbeitung gemäß der ersten Ausführungsform darstellt;
14 ist ein schematisches Blockdiagramm einer Datenverwaltungsvorrichtung gemäß einer zweiten Ausführungsform;
15 ist ein erläuterndes Diagramm, das die Verarbeitung veranschaulicht, bei der ein Standort eines Fahrzeugs des Keyframes der Lokalen Karte in jedem vorgegebenen Intervall neu identifiziert wird;
16 ist ein Flussdiagramm, das ein Beispiel für die Datenverwaltungsverarbeitung gemäß der zweiten Ausführungsform darstellt;
17 ist ein schematisches Blockdiagramm einer Datenverwaltungsvorrichtung gemäß einer dritten Ausführungsform;
18 ist ein erklärendes Diagramm, das ein Formmodell gemäß der dritten Ausführungsform veranschaulicht;
19 ist ein Flussdiagramm, das ein Beispiel für die Verarbeitung der Generierung von Formmodellen gemäß der dritten Ausführungsform darstellt;
20 ist ein Flussdiagramm, das ein Beispiel für die Datenverwaltungsverarbeitung gemäß der dritten Ausführungsform darstellt;
21 ist ein schematisches Blockdiagramm einer fahrzeuginternen Vorrichtung gemäß einer vierten Ausführungsform;
22 ist ein schematisches Blockdiagramm einer Datenverwaltungsvorrichtung gemäß der vierten Ausführungsform;
23 ist ein Blockdiagramm, das eine schematische Konfiguration eines Computers veranschaulicht, der als Steuereinheit der fahrzeuginternen Vorrichtung in Bezug auf die vierte Ausführungsform fungiert;
24 ist ein Blockdiagramm, das den schematischen Aufbau des Computers veranschaulicht, der als Datenverwaltungsvorrichtung gemäß der vierten Ausführungsform fungiert;
25 ist ein Flussdiagramm, das ein Beispiel für die Verarbeitung der gesamten Kartenaktualisierung gemäß der vierten Ausführungsform darstellt;
26 ist ein Flussdiagramm, das ein Beispiel für die Datenverwaltungsverarbeitung gemäß der vierten Ausführungsform darstellt;
27 ist ein schematisches Blockdiagramm einer fahrzeuginternen Vorrichtung gemäß einer fünften Ausführungsform; und
28 ist ein schematisches Blockdiagramm einer Datenverwaltungsvorrichtung gemäß der fünften Ausführungsform.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden wird ein Beispiel für eine Ausführungsform einer offenbarten Technologie anhand der Zeichnungen ausführlich beschrieben.
Erste Ausführungsform
1 veranschaulicht ein grobes Diagramm, das das Konfigurationsbeispiel des Datenverwaltungssystems 1 veranschaulicht. In dieser Ausführungsform wird der Fall dargestellt, dass der sich bewegende Körper ein Fahrzeug und der Parkplatz eine Zielregion ist, und in dieser Ausführungsform wird ein Datenverwaltungssystem zur Aktualisierung der Gesamtkarte auf dem Parkplatz da rgestellt.
Wie in 1 dargestellt, beinhaltet ein Datenverwaltungssystem 1 gemäß der vorliegenden Ausführungsform eine Vielzahl von fahrzeuginternen Vorrichtungen 10 und eine Datenverwaltungsvorrichtung 30. Die Vielzahl der fahrzeuginternen Vorrichtungen 10 und die Datenverwaltungsvorrichtung 30 sind über ein Netzwerk 11, wie beispielsweise das Internet, miteinander verbunden. Die fahrzeuginterne Vorrichtung ist ein Beispiel für eine Informationsverarbeitungsvorrichtung der offenbarten Technologie.
Die in 2 dargestellte fahrzeuginterne Vorrichtung 10 beinhaltet eine Kamera 12, einen GPS-Sensor 13 und eine Steuereinheit 14. Die fahrzeuginterne Vorrichtung 10 erzeugt eine lokale Karte um ein Fahrzeug herum, basierend auf vorbestimmten Informationen, die von einer Datenverwaltungsvorrichtung 30 empfangen werden, die im Folgenden beschrieben werden, und einem peripheren Bild des von der Kamera 12 erfassten Fahrzeugs und sendet die lokale Karte an die Datenverwaltungsvorrichtung 30. Wie in 2 dargestellt, beinhaltet die Steuereinheit 14 eine Sende- und Empfangseinheit 16, eine Fahrzeuginterne Steuereinheit 18, eine Bilderfassungseinheit 20, eine Standortschätzeinheit 22 und eine Erzeugungseinheit 24. Die fahrzeuginterne Steuereinheit 18 ist ein Beispiel für eine Erfassungseinheit der offenbarten Technologie.
Die in 3 dargestellte Datenverwaltungsvorrichtung 30 beinhaltet eine Gesamtkartenspeichereinheit 31, eine Sende- und Empfangseinheit 32, eine Steuereinheit 34, eine Korrektureinheit 36 und eine Aktualisierungseinheit 38. Die Datenverwaltungsvorrichtung 30 aktualisiert die in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte basierend auf einer von der fahrzeuginternen Vorrichtung 10 übertragenen lokalen Karte.
Der Gesamtkartenspeicher 31 einer Datenverwaltungsvorrichtung 30 speichert eine Gesamtkarte, die einen Gesamtparkplatz darstellt.
Die Gesamtkarte des Parkplatzes wird beschrieben. Wenn beispielsweise, wie in 4 dargestellt, ein Parkplatz 4A als Gesamtheit eines Zielgebiets eingestellt ist, werden eine Vielzahl von Fahrzeugen 4B auf dem Parkplatz 4A geparkt. Ein Fahrzeug, das auf dem Parkplatz 4A parkt, tritt von einem Eingang E des Parkplatzes 4A ein und beginnt von einem Startpunkt 4C zu fahren. Das Fahrzeug fährt z.B. nach einem Reiselokus 4D und parkt in einem vorgegebenen Leerraum.
Wenn das Abstellen des in 4 dargestellten Fahrzeugs z.B. durch eine automatische Fahrt erfolgt, ist es wünschenswert, vorab eine Gesamtkarte zu erstellen, die den gesamten Parkplatz darstellt. In der Gesamtkarte sind beispielsweise jedes Keyframe-Bild, das ein Bild darstellt, das von einer Kamera aufgenommen wurde, die an einem Fahrzeug gemäß einem Standort des Fahrzeugs montiert ist, jeder Standort des Fahrzeugs, an dem das Keyframe-Bild aufgenommen wird, und dreidimensionale Koordinaten jedes Merkmalspunktes des Keyframe-Bilds miteinander verbunden.
Das Keyframe-Bild ist beispielsweise ein Bild, das von der am Fahrzeug montierten Kamera aufgenommen wird, wenn das Fahrzeug entlang des in 4 veranschaulichten Fahrwegs 4D fährt. Das Keyframe-Bild wird in jedem vorgegebenen Intervall im Fahrgebiet in der Gesamtkarte gespeichert. Die dreidimensionalen Koordinaten des Merkmalspunktes des Keyframe-Bilds werden zusammen mit dem Keyframe-Bild in der Gesamtkarte gespeichert.
Die Gesamtkarte beinhaltet ein Keyframe und einen Kartenpunkt. Das Keyframe ist eine Information, in der jedes Keyframe-Bild und jeder Standort des Fahrzeugs, wenn das Keyframe-Bild aufgenommen wird, miteinander verknüpft sind. Das Keyframe wird in der Gesamtkarte als Information entlang des Fahrgebietes des Fahrzeugs gespeichert. Der Kartenpunkt stellt die dreidimensionalen Koordinaten jedes Merkmalspunktes des Keyframe-Bildes dar. Der Merkmalspunkt stellt beispielsweise eine Form eines in einem Zielbereich vorhandenen Objekts dar und ist ein Kantenpunkt und dergleichen im Keyframe-Bild.
5 ist ein erklärendes Diagramm, das eine Gesamtkarte darstellt. Die Gesamtkarte 5A in 5 ist ein Teil der Gesamtkarte des Parkplatzes 4A in 4. Das Keyframe wird in der Gesamtkarte 5A in jedem vorgegebenen Intervall im Reiseort 5B der Gesamtkarte gespeichert. So erhält beispielsweise ein Bild 5D, das ein Beispiel für das Keyframe-Bild darstellt, einen Merkmalspunkt 5C des Bildes.
Wenn das Fahrzeug beispielsweise auf einem Reiselokus 5B in 5 fährt, werden die Bilder nacheinander von der Kamera 12 der fahrzeuginternen Vorrichtung 10, die auf dem Fahrzeug montiert ist, aufgenommen. Die fahrzeuginterne Vorrichtung 10 ordnet einen Merkmalspunkt eines von der Kamera 12 aufgenommenen peripheren Bildes des Fahrzeugs einem Kartenpunkt 5X zu, der dem Merkmalspunkt 5C des Keyframe-Bilds der Gesamtkarte entspricht, und schätzt einen Standort und eine Lage des Fahrzeugs.
Ein Parkzustand des Fahrzeugs auf dem Parkplatz ändert sich von Stunde zu Stunde. Wird das Parken beispielsweise durch automatisches Fahren durchgeführt, kann demnach davon ausgegangen werden, dass eine Vielzahl von Gesamtkarten, die dem Parkzustand entsprechen, im Voraus vorbereitet wurden. Wenn jedoch die Vielzahl der Gesamtkarten entsprechend dem Parkzustand verwaltet wird, erhöht sich die Anzahl der Gesamtkarten. Wenn eine bestimmte Gesamtkarte, die einer Situation um das Fahrzeug herum entspricht, aus der Vielzahl von Gesamtkarten ausgewählt wird, wird die Auswahl der Gesamtkarte zu einem Problem. Da sich beispielsweise die Merkmalspunkte je nach Typ und Richtung des geparkten Fahrzeugs ändern, ist es schwierig, eine bestimmte Gesamtkarte auszuwählen.
In der vorliegenden Ausführungsform erzeugt die fahrzeuginterne Vorrichtung 10 eine lokale Karte basierend auf einem peripheren Bild des Fahrzeugs, und die Gesamtkarte wird basierend auf der von der fahrzeuginternen Vorrichtung 10 erzeugten lokalen Karte sequentiell aktualisiert.
So erzeugt beispielsweise die fahrzeuginterne Vorrichtung 10 gemäß der vorliegenden Ausführungsform eine lokale Karte 8C, die einem bestimmten Bereich 8X in der Gesamtkarte 8A des Parkplatzes entspricht, wie in 6 dargestellt. Die Datenverwaltungsvorrichtung 30 aktualisiert die Gesamtkarte 8A basierend auf der lokalen Karte 8C. Wenn das Fahrzeug beispielsweise im letzten Zustand in einem Raum geparkt wird, der der Leerraum 8B in der Gesamtkarte 8A ist, wird die Gesamtkarte 8A basierend auf der lokalen Karte 8C aktualisiert, und dadurch wird die Gesamtkarte 8D erhalten, die den letzten Parkplatzstatus darstellt. Somit wird die Gesamtkarte basierend auf der lokalen Karte aktualisiert, die sequentiell von der fahrzeuginternen Vorrichtung 10 erzeugt wird.
Die Gesamtkartenspeichereinheit 31 speichert die Gesamtkarte. So wird beispielsweise die Gesamtkarte durch eine Keyframe-Tabelle und eine Kartenpunkttabelle dargestellt, und die Keyframe-Tabelle und die Kartenpunkttabelle werden in der Gesamtkartenspeichereinheit 31 als Gesamtkarte gespeichert.
Die in 7 dargestellte Keyframe-Tabelle speichert eine Keyframe-ID, die Identifikationsinformationen eines Keyframes, einen Standort und eine Lage eines Fahrzeugs, ein von einer Kamera aufgenommenes Keyframe-Bild, einen Merkmalspunkt im Keyframe-Bild und eine Kartenpunkt-ID, die dem Merkmalspunkt in Verbindung miteinander entspricht. So sind beispielsweise der Standort und die Lage des Fahrzeugs entsprechend der Keyframe-ID „001“ in der Keyframe-Tabelle von 7 sechsdimensionale Realwerte, die 0,24, 0,84, 0,96, 245,0, 313,9 und 23,8 anzeigen, wie in 7 dargestellt. Unter den sechsdimensionalen realen Werten stellen 0,24, 0,84 und 0,96 die Lage des Fahrzeugs und 245,0, 313,9 und 23,8 den dreidimensionalen Standort des Fahrzeugs dar. Die Informationen einer Zeile der Keyframe-Tabelle stellen einen Keyframe dar.
Keyframe-Bilder 24 und 46, ... entsprechend der Keyframe-ID „001“ der in 7 dargestellten Keyframe-Tabelle, stellt einen Bildwert jedes Pixels des Keyframe-Bilds dar. Die Merkmalspunkte „11 und 42, 29 und 110, ....“, die das Keyframe ID „001“ der Keyframetabelle von 7 entsprechen, stellen eine Pixelposition dar, die dem Standort des Merkmalspunktes im Keyframe-Bild entspricht. Die Kartenpunkt-IDs „3, 5, 9, 32, ...“, die der Keyframe-ID „001“ in der Keyframe-Tabelle von 7 entsprechen, stellen die Kartenpunkt-ID für jeden Merkmalspunkt dar. Die Kartenpunkt-ID entspricht der Kartenpunkt-ID der Kartenpunkt-Tabelle.
Die in 8 dargestellte Kartenpunkttabelle speichert eine Kartenpunkt-ID, die die Identifikationsinformationen des Kartenpunktes darstellt, eine dreidimensionale Ortskoordinate X[m], Y[m] und Z[m] des Kartenpunktes und eine Merkmalsmenge der Kartenpunkt-ID in Verbindung miteinander. So ist beispielsweise die Merkmalsmenge der in 8 dargestellten Kartenpunkttabelle beispielsweise eine skaleninvariante Merkmalstransformation (engl. scaleinvariant feature transform, SIFT) oder dergleichen und wird durch einen 64-dimensionalen Vektor oder dergleichen dargestellt.
Ein in Referenzdokument 1 beschriebenes Verfahren kann beispielsweise als Verfahren zum Erzeugen einer Gesamtkarte im Voraus verwendet werden.
Referenzdokument 1: Ra'ul Mur-Artal, J.M.M. Montiel, Mitglied, IEEE, und Juan D. Tard'os, Mitglied, IEEE, „ORB-SLAM: A versatile and Accurate Monocular SLAM System", IEEE TRANSACTIONS ON ROBOTICS, VOL. 31, Nr. 5, OKTOBER 2015.
Zum Beispiel erzeugt eine Steuereinheit 34 einer Datenverwaltungsvorrichtung 30 die Gesamtkarte.
So erzeugt beispielsweise die Steuereinheit 34 der Datenverwaltungsvorrichtung 30 eine anfängliche Gesamtkarte, die einen Keyframe und einen Kartenpunkt eines peripheren Bildes des Punktes darstellt, an dem die Kamera beginnt, ein Bild aufzunehmen, basierend auf dem Bild, das von der im Fahrzeug montierten Kamera aus bestimmten zwei Perspektiven aufgenommen wurde. Als nächstes schätzt die Steuereinheit 34 in jedem Bild einen Standort und eine Lage des Fahrzeugs basierend auf einer Vielzahl von Bildern, die von der Kamera im Fahrzeug aufgenommen werden, wenn das Fahrzeug eine Kurve auf dem Parkplatz macht. Anschließend gleicht die Steuereinheit 34 entsprechende Merkmalspunkte in Paaren benachbarter Bilder ab, basierend auf der Vielzahl von Bildern, die aufgenommen werden, wenn das Fahrzeug eine Kurve auf dem Parkplatz macht, und berechnet eine dreidimensionale Koordinate des Kartenpunkts entsprechend dem Merkmalspunkt. Dabei wird eine Übersichtskarte erstellt, die den gesamten Parkplatz darstellt.
Im Folgenden werden die jeweiligen Funktionseinheiten der fahrzeuginternen Vorrichtung 10 und der Datenverwaltungsvorrichtung 30, die sich auf die Verarbeitung beziehen, in denen die fahrzeuginterne Vorrichtung 10 die Gesamtkarte basierend auf der lokalen Karte basierend auf der Peripherie des Fahrzeugs aktualisiert, näher beschrieben.
Die Kamera 12 der in 2 dargestellten fahrzeuginternen Vorrichtung 10 nimmt nacheinander periphere Bilder des Fahrzeugs auf. Der GPS-Sensor 13 erkennt nacheinander Standortinformationen des Fahrzeugs.
Die fahrzeuginterne Steuereinheit 18 bestimmt, ob das Fahrzeug auf der Grundlage der von einem GPS-Sensor 13 erfassten Standortinformationen des Fahrzeugs in einen vorgegebenen Parkplatz einfährt oder nicht, und wenn bestimmt wird, dass das Fahrzeug in den vorgegebenen Parkplatz einfährt, sendet die fahrzeuginterne Steuereinheit 18 ein Steuersignal an die Datenverwaltungsvorrichtung 30 über die Sende- und Empfangseinheit 16.
Die Sende- und Empfangseinheit 32 einer in 3 dargestellten Datenverwaltungsvorrichtung 30 empfängt das von der Datenverwaltungsvorrichtung 30 übertragene Steuersignal. Die Steuereinheit 34 sendet die im Gesamtkartenspeicher 31 gespeicherte Gesamtkarte über die Sende- und Empfangseinheit 32 als Reaktion auf das von der Sende- und Empfangseinheit 32 empfangene Steuersignal an die Fahrzeugeinrichtung 10.
Die Sende- und Empfangseinheit 16 der in 2 dargestellten fahrzeuginternen Vorrichtung 10 empfängt die von der Datenverwaltungsvorrichtung 30 übertragene Gesamtkarte. Anschließend gibt die fahrzeuginterne Steuereinheit 18 die von der Sende- und Empfangseinheit 16 empfangene Gesamtkarte an die Ortungseinheit 22 aus.
Die Bilderfassungseinheit 20 nimmt nacheinander ein peripheres Bild des von der Kamera 12 aufgenommenen Fahrzeugs auf.
Die Standortschätzeinheit 22 schätzt einen Standort und eine Lage des Fahrzeugs basierend auf dem Keyframe-Bild der Gesamtkartenausgabe der Fahrzeuginterne Steuereinheit 18 und peripheren Bildern, die sequentiell von der Kamera 12 aufgenommen werden, erfasst von der Bilderfassungseinheit 12. Zunächst schätzt die Standortschätzeinheit 22 einen anfänglichen Standort und eine anfängliche Lage des Fahrzeugs.
Die Standortschätzeinheit 22 kann beispielsweise einen anfänglichen Standort und eine anfängliche Lage des Fahrzeugs unter Verwendung des in Referenzdokument 2 beschriebenen Verfahrens schätzen.
Referenzdokument 2: Ra'ul Mur-Artal und Juan D. Tard'os, „Fast Relocalisation and Loop Closing in Keyframe-Based SLAM", 2014 IEEE International Conference on Robotics & Automation (ICRA) 31. Mai - 7. Juni 2014. Hongkong, China.
Die Standortschätzeinheit 22 verringert das periphere Bild zu einem anfänglichen Zeitpunkt und eine Vielzahl von Keyframe-Bildern, die von der Bilderfassungseinheit 20 aufgenommen wurden, auf eine vorbestimmte Größe. Das periphere Bild zum anfänglichen Zeitpunktstellt ein peripheres Bild dar, das zum ersten Mal aufgenommen wird, wenn das Fahrzeug den Parkplatz betritt. Als nächstes wendet die Standortschätzeinheit 22 einen Gaußschen Filter auf das periphere Bild zum anfänglichen Zeitpunktund die Vielzahl der Keyframe-Bilder an. Anschließend berechnet die Standortschätzeinheit 22 eine Summe aus quadratischen Abständen (engl. sum of squared distances, SSD) jedes Pixels des peripheren Bildes zum anfänglichen Zeitpunkt und jedes Pixels des Keyframe-Bilds in Bezug auf jedes der Vielzahl von Keyframe-Bildern. Anschließend wählt die Standortschätzeinheit 22 das Keyframe-Bild mit dem kleinsten SSD-Wert aus.
Als nächstes extrahiert die Standortschätzeinheit 22 zu Beginn einen Merkmalspunkt aus dem peripheren Bild. Die Standortschätzeinheit 22 ordnet den Merkmalspunkt, der zu Beginn aus dem peripheren Bild extrahiert wurde, einem Merkmalspunkt im ausgewählten Keyframe-Bild zu. Anschließend ordnet die Standortschätzeinheit 22 dem Merkmalspunkt des peripheren Bildes einen Kartenpunkt zu, der dem Merkmalspunkt des Keyframe-Bilds gemäß dem übereinstimmenden Ergebnis entspricht. Durch die Verknüpfung der Merkmalspunkte des peripheren Bildes zum Merkmalspunkt des Keyframe-Bilds durch gegenseitiges Zuordnen werden der Merkmalspunkt des peripheren Bildes und die Kartenpunkte des Keyframes miteinander verknüpft. So assoziiert beispielsweise die Standortschätzeinheit 22 ein Paar von Merkmalspunkten, die die maximale Ähnlichkeit der Merkmalsmenge des Merkmalspunktes aufweisen und die Ähnlichkeit gleich oder größer als ein Schwellenwert (z.B. 0,8) sind. Beispielsweise wird ein Hamming-Abstand verwendet, wenn die Merkmalsmenge ORB ist, und eine L2-Norm, wenn die Merkmalsmenge SIFT ist, als Ähnlichkeit verwendet.
Als nächstes berechnet die Standortschätzeinheit 22 den Standort und die Lage der Kamera unter Verwendung eines in Referenzdokument 3 beschriebenen PnP-Algorithmus, basierend auf dem Verknüpfungsergebnis zwischen dem Merkmalspunkt des peripheren Bildes zur anfänglichen Zeit, dem Merkmalspunkt des Keyframe-Bilds und dem Kartenpunkt sowie einem internen Parameter der Kamera 12. So erzeugt beispielsweise die Standortschätzeinheit 22 zunächst einen Projektionspunkt, indem sie den dem Merkmalspunkt des peripheren Bildes zugeordneten Kartenpunkt auf das periphere Bild projiziert. Die Standortschätzeinheit 22 berechnet den Standort und die Lage der Kamera 12 so, dass ein Abstand zwischen dem Projektionspunkt des peripheren Bildes und dem Merkmalspunkt minimiert wird. Durch das Berechnen des Standorts und der Lage der Kamera 12 wird ein anfänglicher Standort und eine anfängliche Lage des Fahrzeugs, auf dem die Kamera 12 montiert ist, geschätzt.
Referenzdokument 3: V. Lepetit et al., „EPnP: An Accurate O(n) Solution to the PnP Problem", International Journal of Computer Vision, Vol.81, No.2, pp.155-166(2008).
Der interne Parameter der Kamera 12 wird zuvor durch Kalibrierung nach einem Verfahren erfasst, das beispielsweise in Referenzdokument 4 beschrieben ist.
Referenzdokument 4: Z.Zhang et al., „A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000.
Als nächstes schätzt die Standortschätzeinheit 22 den Standort und die Lage des Fahrzeugs während der Fahrt basierend auf einer Zeitreihe der peripheren Bilder, die während der Bewegung des Fahrzeugs von der Bilderfassungseinheit 20 aufgenommen wurden.
So extrahiert beispielsweise die Standortschätzeinheit 22 zunächst einen Merkmalspunkt aus dem peripheren Bild, das von de Bilderfassungseinheit zum aktuellen Zeitpunkt aufgenommen wurde. Anschließend berechnet die Standortschätzeinheit 22 den Standort des Fahrzeugs entsprechend dem peripheren Bild zum aktuellen Zeitpunkt basierend auf dem peripheren Bild zum vorherigen Zeitpunkt unter der Annahme, dass das Fahrzeug ein vorgegebenes Bewegungsmodell (z.B. gleichmäßige Bewegung) ausführt.
Die Standortschätzeinheit 22 verknüpft den Kartenpunkt des peripheren Bildes zum vorherigen Zeitpunkt mit dem Merkmalspunkt des peripheren Bildes zum aktuellen Zeitpunkt, basierend auf dem Standort des Fahrzeugs, der dem peripheren Bild zum aktuellen Zeitpunkt entspricht. Der Kartenpunkt des peripheren Bildes zum vorherigen Zeitpunktwird für das periphere Bild zum vorherigen Zeitpunktvon der nachfolgend zu beschreibenden Erzeugungseinheit 24 erzeugt.
Die Standortschätzeinheit 22 berechnet den Standort und die Lage der Kamera 12 zum aktuellen Zeitpunkt unter Verwendung des in Referenzdokument 3 beschriebenen PnP-Algorithmus aus dem Verknüpfungsergebnis des Merkmalspunktes des peripheren Bildes zum aktuellen Zeitpunkt und des Kartenpunktes des peripheren Bildes zum vorherigen Zeitpunkt. Der Standort und die Lage des Fahrzeugs, auf dem die Kamera 12 montiert ist, werden durch Berechnen des Standorts und der Lage der Kamera 12 geschätzt.
Die Erzeugungseinheit 24 bestimmt, ob jedes der peripheren Bilder zu jedem Zeitpunkt als Keyframe-Bild übernommen werden soll oder nicht. Die Erzeugungseinheit 24 berechnet den Kartenpunkt, der eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes angibt, basierend auf dem Standort des Fahrzeugs, der durch die Standortschätzeinheit 22 geschätzt wird, und dem peripheren Bild, das als Keyframe-Bild in der vorherigen Verarbeitung der Erzeugungseinheit 24 bestimmt wird. Die Erzeugungseinheit 24 erzeugt eine lokale Karte, die den Kartenpunkt darstellt, der die dreidimensionalen Koordinaten jedes der peripheren Bilder, die in der vorherigen Verarbeitung der Erzeugungseinheit 24 als Keyframe-Bild bestimmt wurden, jedem der geschätzten Standorte des Fahrzeugs und jeden der Merkmalspunkte des peripheren Bildes angibt.
Bei der Bestimmung, ob jedes der peripheren Bilder zu jedem Zeitpunkt als Keyframe-Bild übernommen werden soll oder nicht, bestimmt die Erzeugungseinheit 24 die Qualität der Lage des Fahrzeugs, die durch die Standortschätzeinheit 22 geschätzt wird. So berechnet beispielsweise die Erzeugungseinheit 24 einen Score S der Qualität in Bezug auf die Lageschätzung des Fahrzeugs durch die Standortschätzeinheit 22 gemäß der folgenden Gleichung (1). $\begin{array}{l} S = (die Anzahl der Punkte,bei denen der Kartenpunkt zum vorherigen Zeitpunkt mit dem Merkmalspunkt zum aktuellen Zeitpunkt übereinstimmt) / \\ (die Anzahl der Punkte,bei denen eine Zuordnung zwischen dem Kartenpunkt zum vorherigen Zeitpunktund dem Merkmalspunkt zum aktuellen Zeitpunkt versucht wird) \end{array}$
Wenn die Punktzahl S der Qualität gleich oder größer als ein Schwellenwert ist (z.B. 0,3), bestimmt die Erzeugungseinheit 24, dass die von der Standortschätzeinheit 22 durchgeführte Lageschätzung des Fahrzeugs qualitativ hochwertig ist. Wenn die Lageschätzung des Fahrzeugs, die von der Standortschätzeinheit 22 durchgeführt wird, von hoher Qualität ist und das periphere Bild eine vorbestimmte Bedingung erfüllt, setzt die Erzeugungseinheit 24 das periphere Bild als Keyframe-Bild. Die Erzeugungseinheit 24 bestimmt, ob das periphere Bild als Keyframe-Bild eingestellt werden soll oder nicht, je nachdem, ob ein regelmäßiges Intervall (z.B. 20 Bilder//Frames) aus dem als vorheriges Keyframe-Bild übernommenen peripheren Bildes geöffnet wird oder nicht als vorbestimmte Bedingung.
Als nächstes berechnet die Erzeugungseinheit 24 den Kartenpunkt, der die dreidimensionale Koordinate jedes einzelnen Merkmalspunktes des neu eingestellten Keyframe-Bilds anzeigt, indem sie die dreidimensionale Wiederherstellung des Merkmalspunktes mittels Triangulation durchführt. So berechnet beispielsweise die Erzeugungseinheit 24 den Kartenpunkt des neu eingestellten Keyframe-Bilds unter Verwendung eines im Referenzdokument 5 beschriebenen Verfahrens, basierend auf jedem Standort des Fahrzeugs, dem neu eingestellten Keyframe-Bild und dem bis zum vorherigen Zeitpunkt erstellten Keyframe-Bild.
Referenzdokument 5: R.I. Hartley et al., „Triangulation, Computer Vision and Image Understanding", Band 68, Nr.2, S. 146-157, 1997.
Die Erzeugungseinheit 24 wählt aus den bis zum vorherigen Zeitpunkteingestellten Keyframe-Bildern das nächstgelegene Keyframe-Bild aus, das dem Standort des neu eingestellten Keyframe-Bilds am nächsten liegt, basierend auf jedem der dem Keyframe-Bild zugeordneten Standorte des Fahrzeugs. Als nächstes berechnet die Erzeugungseinheit 24 den Kartenpunkt eines neuen Keyframe-Bilds aus dem Merkmalspunkt des neuen Keyframe-Bilds und dem Kartenpunkt des nächsten Keyframes und einer relativen Lage zwischen der Lage des Fahrzeugs im neuen Keyframe-Bild und der Lage des Fahrzeugs im nächstgelegenen Keyframe-Bild.
Die Erzeugungseinheit 24 fügt das neu eingestellte Keyframe-Bild, den Standort des Fahrzeugs entsprechend dem neu eingestellten Keyframe-Bild und den Kartenpunkt des neu eingestellten Keyframe-Bilds zur lokalen Karte hinzu.
Die Erzeugungseinheit 24 erzeugt eine lokale Karte, die einer Fahrt des Fahrzeugs entspricht, indem sie die Schätzung des Standorts des Fahrzeugs durch die Standortschätzeinheit 22 wiederholt, das Keyframe-Bild bestimmt und den Kartenpunkt erzeugt, bis ein externes Signal, das anzeigt, dass das Fahrzeug anhält, erfasst wird.
Die fahrzeuginterne Steuereinheit 18 der fahrzeuginternen Vorrichtung 10 sendet die von der Erzeugungseinheit 24 erzeugte lokale Karte über die Sende- und Empfangseinheit 16 an die Datenverwaltungsvorrichtung 30.
Die Sende- und Empfangseinheit 32 einer in 3 dargestellten Datenverwaltungsvorrichtung 30 empfängt die von der fahrzeuginternen Vorrichtung 10 übertragene lokale Karte. Die Steuereinheit 34 gibt die von der Sende- und Empfangseinheit 32 empfangene lokale Karte an die Korrektureinheit 36 aus.
Die Korrektureinheit 36 identifiziert den Standort des Fahrzeugs anhand des Keyframe-Bilds, das in der lokalen Kartenausgabe der Steuereinheit 34 enthalten ist. Die Korrektureinheit 36 korrigiert jeden der Standorte des Fahrzeugs, der durch die lokale Karte und den Kartenpunkt des Keyframes dargestellt werden, basierend auf der lokalen Kartenausgabe der Steuereinheit 34 und dem Standort der erneuten Identifizierung.
Die Korrektureinheit 36 identifiziert beispielsweise einen Haltestandort des Fahrzeugs unter Verwendung eines in Referenzdokument 2 beschriebenen Relokalisierungsalgorithmus erneut, basierend auf dem Keyframe-Bild, das dem Haltestandort des Fahrzeugs in der lokalen Karte am nächsten liegt, neu. Anschließend konvertiert die Korrektureinheit 36 die Koordinaten der lokalen Karte so, dass ein Startpunkt der lokalen Karte mit einem Startpunkt der im Gesamtkartenspeicher 31 gespeicherten Gesamtkarte übereinstimmt.
Als nächstes erzeugt die Korrektureinheit 36 eine Graphenstruktur basierend auf dem Keyframe, das dem Haletstandort des Fahrzeugs in der lokalen Karte am nächsten liegt, jedem der vorbestimmten Keyframes und dem Keyframe, das dem neu identifizierten Standort des Fahrzeugs entspricht.
Die Korrektureinheit 36 korrigiert den Standort und Lage des Fahrzeugs in jedem der Keyframes, die dem Haltestandort des Fahrzeugs in der lokalen Karte und dem vorgegebenen Keyframe am nächsten liegen, unter Verwendung eines in Referenzdokument 2 beschriebenen Diagrammoptimierungsverfahrens.
Wie beispielsweise in 9 dargestellt, wird ein Fall, in dem jedes der Keyframes 9a, 9b und 9c in der lokalen Karte 9A erhalten wird, als Beispiel beschrieben. In diesem Fall stellt ein Keyframe 9a das Keyframe am Startpunkt dar. Ein Keyframe 9c stellt das Keyframe dar, das dem Haltestandort des Fahrzeugs am nächsten liegt. Ein Keyframe 9b ist das Keyframe, der sich zwischen dem Keyframe 9a und dem Keyframe 9c befindet. 9S stellt einen Reiselokus des in der lokalen Karte geschätzten Fahrzeugs dar, der nicht korrigiert wird. Ein Schlüsselbild 9X stellt den Haltestandort des Fahrzeugs dar, die durch die Korrektureinheit 36 neu identifiziert wurde.
Bei der Erzeugung der von der fahrzeuginternen Vorrichtung 10 übertragenen lokalen Karte werden Lage und Lage des Fahrzeugs basierend auf einer Zeitreihe der während der Fahrt aufgenommenen peripheren Bilder gemäß der Standortschätzeinheit 22 geschätzt. Es gibt jedoch einen Fall, in dem sich zum Zeitpunkt der Schätzverarbeitung Fehler ansammeln, die auf der Zeitreihe der peripheren Bilder des Fahrzeugs basieren und bei dem der Standort und Lage des Fahrzeugs nicht genau geschätzt werden kann. Dementsprechend kann sich eine Korrespondenzbeziehung zwischen dem Standort und der Lage des Fahrzeugs des Keyframes in der erzeugten lokalen Karte und dem Keyframe-Bild von der realen Welt unterscheiden.
In der vorliegenden Ausführungsform korrigiert die Korrektureinheit 36 das Keyframe basierend auf einem Standort 9a des Fahrzeugs am Startpunkt und einem Standort 9X des neu identifizierten Fahrzeugs und erhält eine lokale Karte 9B, wie in 9 dargestellt. Wie beispielsweise in 9Z in 9 veranschaulicht, wird eine Diagrammstruktur neu berechnet (1), so dass ein Abstand zwischen 9X und 9c 0 wird, und (2), so dass die Bewegung eines anderen Keyframes von einem ursprünglichen Standort minimal wird und jedes Keyframe der lokalen Karte korrigiert. Durch Korrigieren der lokalen Karte mit der Korrektureinheit 36 wird der nicht korrigierte Reiselokus 9S zum Reiselokus 9P des Fahrzeugs, und die der realen Welt entsprechende lokale Karte 9B wird erhalten.
Die Korrektureinheit 36 wandelt die Koordinaten der Kartenpunkte jedes Keyframes der Lokalen Karte entsprechend der Korrektur der Lage und Lage des Fahrzeugs jedes Keyframes der Lokalen Karte um.
Die Aktualisierungseinheit 38 aktualisiert die in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte basierend auf der von der Korrektureinheit 36 korrigierten lokalen Karte.
So löscht beispielsweise die Aktualisierungseinheit 38 das Keyframe, das zwischen dem Keyframe, das einem anfänglichen Standort des Fahrzeugs entspricht, und dem Keyframe, das dem neu identifizierten Standort des Fahrzeugs entspricht, und dem Kartenpunkt, der dem verteilten Keyframe entspricht. Die Aktualisierungseinheit 38 passt die korrigierte lokale Karte an den gelöschten Teil der Gesamtkarte an.
Die Steuereinheit 14 der fahrzeuginternen Vorrichtung 10 kann beispielsweise durch einen in 10 dargestellten Computer 50 realisiert werden. Der Computer 50 beinhaltet eine CPU 51, einen Speicher 52 als temporären Speicherbereich und eine nichtflüchtige Speichereinheit 53. Der Computer 50 beinhaltet auch die Kamera 12, den GPS-Sensor 13, eine Anzeigevorrichtung, eine Ein- und Ausgabeschnittstelle (I/F) 54, an die eine Ein- und Ausgabevorrichtung und dergleichen (nicht dargestellt) angeschlossen sind, und eine Lese-/Schreib-(engl. Read/Write, R/W)-Einheit 55, die das Lesen und Schreiben von Daten von und zu einem Aufzeichnungsmedium 59 steuert. Der Computer 50 beinhaltet ein Netzwerk-I/F 56, das mit einem Netzwerk wie dem Internet verbunden ist. Die CPU 51, der Speicher 52, die Speichereinheit 53, der Ein- und Ausgang-I/F 54, die R/W-Einheit 55 und das Netzwerk-I/F 56 sind über einen Bus 57 miteinander verbunden.
Die Speichereinheit 53 kann durch eine Festplatte (engl. hard disk drive, HDD), ein Solid State Drive (SSD), einen Flash-Speicher oder dergleichen realisiert werden. Die Speichereinheit 53 als Speichermedium speichert ein Lokalkarten-Erstellungsprogramm 60, um den Computer 50 als Steuereinheit 14 der fahrzeuginternen Vorrichtung 10 zu veranlassen. Das Lokalkarten-Erstellungsprogramm 60 beinhaltet einen Sende- und Empfangsprozess 62, einen Fahrzeugsteuerungsprozess 63, einen Bilderfassungsprozess 64, einen Standortschätzprozess 65 und einen Erzeugungsprozess 66.
Die CPU 51 liest das Lokalkarten-Erstellungsprogramm 60 aus der Speichereinheit 53, um im Speicher 52 zu entwickeln, und führt sequentiell Prozesse aus, die im Lokalkarten-Erstellungsprogramm 60 enthalten sind. Durch die Ausführung des Sende- und Empfangsprozesses 62 arbeitet die CPU 51 als Sende- und Empfangseinheit 16, wie in 2 dargestellt. Durch die Ausführung des Fahrzeugsteuerungsprozesses 63 arbeitet die CPU 51 als fahrzeuginterne Steuereinheit 18, wie in 2 dargestellt. Durch die Ausführung des Bilderfassungsprozesses 64 arbeitet die CPU 51 wie die in 2 dargestellte Bilderfassungseinheit 20. Durch die Ausführung des Standortschätzverfahrens 65 arbeitet die CPU 51 als die in 2 dargestellte Standortschätzeinheit 22. Durch die Ausführung des Erzeugungsprozesses 66 arbeitet die CPU 51 als die in 2 dargestellte Erzeugungseinheit 24. Dabei fungiert der Computer 50, der das Lokalkarten-Erstellungsprogramm 60 ausführt, als Steuereinheit 14 der fahrzeuginternen Vorrichtung 10. Dementsprechend ist ein Prozessor, der das Lokalkarten-Erstellungsprogramm 60, also Software, ausführt, Hardware.
Die durch das Lokalkarten-Erstellungsprogramm 60 realisierte Funktion kann auch z.B. durch eine integrierte Halbleiterschaltung, insbesondere eine anwendungsspezifische integrierte Schaltung (engl. application specific integrated circuit, ASIC) oder dergleichen realisiert werden.
So kann beispielsweise die Datenverwaltungsvorrichtung 30 durch den in 11 dargestellten Computer 80 realisiert werden. Der Computer 80 beinhaltet eine CPU 81, einen Speicher 82 als temporären Speicherbereich und eine nichtflüchtige Speichereinheit 83. Der Computer 80 beinhaltet einen Ein- und Ausgang-I/F 84, an den Ein- und Ausgabevorrichtungen (nicht dargestellt) wie eine Anzeigevorrichtung und eine Eingabevorrichtung angeschlossen sind, und eine R/W-Einheit 85, die das Lesen und Schreiben von Daten von und auf ein Aufzeichnungsmedium 89 steuert. Der Computer 80 beinhaltet ein Netzwerk-I/F 86, das mit einem Netzwerk wie dem Internet verbunden ist. Die CPU 81, der Speicher 82, die Speichereinheit 83, der Ein- und Ausgang-I/F 84, die R/W-Einheit 85 und das Netzwerk-I/F 86 sind über einen Bus 87 miteinander verbunden.
Die Speichereinheit 83 kann durch eine Festplatte, eine SSD, einen Flash-Speicher und dergleichen realisiert werden. Die Speichereinheit 83 als Speichermedium speichert ein Datenverwaltungsprogramm 90, um den Computer 80 als Datenverwaltungsvorrichtung 30 zu veranlassen. Ein Datenverwaltungsprogramm 90 beinhaltet einen Sende- und Empfangsprozess 92, einen Steuerprozess 93, einen Korrekturprozess 94 und einen Aktualisierungsprozess 95. Die Speichereinheit 83 beinhaltet einen Gesamtkartenspeicherbereich 96 zum Speichern von Informationen, die die Gesamtkartenspeichereinheit 31 konfigurieren.
Die CPU 81 liest das Datenverwaltungsprogramm 90 aus der Speichereinheit 83, um im Speicher 82 zu entwickeln, und führt die im Datenverwaltungsprogramm 90 enthaltenen Prozesse sequentiell aus. Durch die Ausführung des Sende- und Empfangsprozesses 92 arbeitet die CPU 81 als Sende- und Empfangseinheit 32, wie in 3 dargestellt. Durch die Ausführung des Steuerprozesses 93 arbeitet die CPU 81 wie die in 3 dargestellte Steuereinheit 34. Durch die Ausführung des Korrekturprozesses 94 arbeitet die CPU 81 als Korrektureinheit 36, wie in 3 dargestellt. Durch die Ausführung des Aktualisierungsprozesses 95 arbeitet die CPU 81 wie die in 3 dargestellte Aktualisierungseinheit 38. Die CPU 81 liest Informationen aus dem Gesamtkartenspeicherbereich 96 und entwickelt die Gesamtkartenspeichereinheit 31 im Speicher 82. Dabei fungiert der Computer 80, der das Datenverwaltungsprogramm 90 ausführt, als Datenverwaltungsvorrichtung 30. Dementsprechend ist ein Prozessor, der das Datenverwaltungsprogramm 90, also die Software, ausführt, Hardware.
Die durch das Datenverwaltungsprogramm 90 realisierte Funktion kann z.B. durch eine integrierte Halbleiterschaltung, insbesondere einen ASIC oder dergleichen, realisiert werden.
Als nächstes wird ein Betrieb des Datenverwaltungssystems 1 gemäß der vorliegenden Ausführungsform beschrieben. In der fahrzeuginternen Vorrichtung 10 bestimmt die fahrzeuginterne Steuereinheit 18, ob das Fahrzeug einen vorbestimmten Parkplatz betritt oder nicht, basierend auf den Standortinformationen des vom GPS-Sensor 13 erfassten Fahrzeugs. Wird bestimmt, dass das Fahrzeug den vorgegebenen Parkplatz betritt, sendet das fahrzeuginterne Steuereinheit 18 über die Sende- und Empfangseinheit 16 ein Steuersignal an die Datenverwaltungsvorrichtung 30. Die Sende- und Empfangseinheit 32 der Datenverwaltungsvorrichtung 30 überträgt die in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte über die Sende- und Empfangseinheit 32 entsprechend dem von der fahrzeuginternen Vorrichtung 10 übertragenen Steuersignal an die fahrzeuginterne Vorrichtung 10. Wenn die Sende- und Empfangseinheit 16 der fahrzeuginternen Vorrichtung 10 die von der Datenverwaltungsvorrichtung 30 gesendete Gesamtkarte empfängt, führt die Steuereinheit 14 der fahrzeuginternen Vorrichtung 10 eine lokale Kartenerstellungsverarbeitung durch, wie in 12 dargestellt. Jede Verarbeitung wird im Folgenden ausführlich beschrieben.
In Schritt S100 erfasst eine fahrzeuginterne Steuereinheit 18 eine von der Sende- und Empfangseinheit 16 empfangene Gesamtkarte. Die fahrzeuginterne Steuereinheit 18 gibt die Gesamtkarte an eine Standortschätzeinheit 22 aus.
In Schritt S101 erfasst die Bilderfassungseinheit 20 zum anfänglichen Zeitpunktein peripheres Bild, das von der Kamera 12 aufgenommen wurde.
In Schritt S102 schätzt die Standortschätzeinheit 22 ein anfänglicher Standort und eine anfängliche Lage eines Fahrzeugs basierend auf der Gesamtkartenausgabe in Schritt S100 und dem peripheren Bild zu der in Schritt S101 erfassten anfänglichen Zeit.
In Schritt S104 erfasst die Bilderfassungseinheit 20 das periphere Bild des von der Kamera 12 aufgenommenen Fahrzeugs.
In Schritt S106 schätzt die Standortschätzeinheit 22 den Standort und Lage des Fahrzeugs basierend auf dem peripheren Bild zu dem in Schritt S104 erfassten Zeitpunkt und dem in Schritt S104 erfassten peripheren Bild zu dem vorhergehenden Zeitpunkt.
In Schritt S108 bestimmt die Erzeugungseinheit 24, ob das periphere Bild zu dem in Schritt S104 erfassten Zeitpunkt als Keyframe-Bild eingestellt werden soll oder nicht. Wenn das periphere Bild zum aktuellen Zeitpunkt als Keyframe-Bild eingestellt ist, fährt die Verarbeitung mit Schritt S110 fort. Wenn das periphere Bild zum aktuellen Zeitpunkt nicht als Keyframe-Bild eingestellt ist, fährt die Verarbeitung mit Schritt S112 fort.
In Schritt S110 berechnet die Erzeugungseinheit 24 einen Kartenpunkt, der dreidimensionale Koordinaten der einzelnen Merkmalspunkte des peripheren Bildes angibt, das als Keyframe-Bild in Schritt S108 bestimmt wurde. Die Erzeugungseinheit 24 fügt das neu eingestellte Keyframe-Bild, der in Schritt S106 geschätzte Standort und Lage des Fahrzeugs und den Kartenpunkt des neu eingestellten Keyframe-Bilds zur lokalen Karte hinzu.
In Schritt S112 bestimmt die Erzeugungseinheit 24, ob ein externes Signal, das anzeigt, dass das Fahrzeug anhält, erkannt wird oder nicht. Wenn das externe Signal, das anzeigt, dass das Fahrzeug anhält, erkannt wird, fährt die Verarbeitung mit Schritt S114 fort. Wenn das externe Signal, das anzeigt, dass das Fahrzeug anhält, nicht erkannt wird, kehrt die Verarbeitung zu Schritt S104 zurück.
In Schritt S114 überträgt eine fahrzeuginterne Steuereinheit 18 die in Schritt S110 erzeugte lokale Karte über die Sende- und Empfangseinheit 16 an die Datenverwaltungsvorrichtung 30 und beendet die Verarbeitung.
Wenn die Sende- und Empfangseinheit 32 der Datenverwaltungsvorrichtung 30 die von der fahrzeuginternen Vorrichtung 10 gesendete lokale Karte empfängt, führt die Datenverwaltungsvorrichtung 30 eine in 13 dargestellte Datenverwaltungsverarbeitung durch.
In Schritt S200 erfasst die Steuereinheit 34 die von der Sende- und Empfangseinheit 32 empfangene lokale Karte und gibt die lokale Karte an die Korrektureinheit 36 aus.
In Schritt S202 identifiziert die Korrektureinheit 36 den Standort des Fahrzeugs anhand des Keyframe-Bilds, das in der lokalen Kartenausgabe in Schritt S200 enthalten ist.
In Schritt S204 korrigiert die Korrektureinheit 36 den Standort und Lage des Fahrzeugs in der lokalen Karte basierend auf der in Schritt S200 ausgegebenen lokalen Karte und des in Schritt S202 neu identifizierten Standorts des Fahrzeugs.
In Schritt S206 korrigiert die Korrektureinheit 36 den Kartenpunkt jedes Keyframes der lokalen Karte entsprechend der Korrektur des Standort und der Lage des Fahrzeugs in jedem Keyframe der lokalen Karte in Schritt S204.
In Schritt S208 aktualisiert die Aktualisierungseinheit 38 einen Teil, der der lokalen Karte der in der Gesamtkartenspeichereinheit 31 gespeicherten Gesamtkarte entspricht, basierend auf der in Schritt S204 und Schitt S206 korrigierten lokalen Karte.
Wie vorstehend beschrieben, erzeugt die fahrzeuginterne Vorrichtung im Datenverwaltungssystem gemäß der vorliegenden Ausführungsform die lokale Karte basierend auf jedem der geschätzten Standorte des Fahrzeugs und jedem der als Keyframe-Bild bestimmten peripheren Bilder. Die Datenverwaltungsvorrichtung aktualisiert die Gesamtkarte basierend auf der vom Fahrzeugvorrichtung übertragenen lokalen Karte. Dabei wird die Gesamtkarte unter Verwendung der sequentiell generierten lokalen Karte aktualisiert, und es besteht nicht der Wunsch, eine Karte zu halten, die einem Parkzustand entspricht, so dass es möglich ist, die Anzahl der Karten, die eine Zielregion darstellen, zu reduzieren.
Es ist möglich, die Anzahl der in der Datenverwaltungsvorrichtung gespeicherten Karten zu reduzieren und verschiedene dynamische Umgebungen zu bewältigen. Kumulative Fehler der lokalen Karte und eine Maßstabsabweichung können durch Korrektur der lokalen Karte der Datenverwaltungsvorrichtung unterdrückt werden.
Zweite Ausführungsform
Als nächstes wird eine zweite Ausführungsform beschrieben. Die zweite Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass ein Standort eines Fahrzeugs jedes Keyframes einer lokalen Karte in jedem vorbestimmten Intervall in einem Reiselokus, der eine Zeitreihe des Standorts des Fahrzeugs darstellt, neu identifiziert wird.
14 veranschaulicht ein Konfigurationsbeispiel einer Datenverwaltungsvorrichtung 230 gemäß der zweiten Ausführungsform. Wie in 14 dargestellt, beinhaltet die Datenverwaltungsvorrichtung 230 gemäß der zweiten Ausführungsform die Gesamtkartenspeichereinheit 31, die Sende- und Empfangseinheit 32, die Steuereinheit 34, die Korrektureinheit 36, die Aktualisierungseinheit 38 und eine Zuverlässigkeitsberechnungseinheit 235.
Die Zuverlässigkeitsberechnungseinheit 235 identifiziert jeden Standort eines in der Lokalen Karte dargestellten Fahrzeugs gemäß einem Standort des Fahrzeugs neu, wenn ein Keyframe-Bild einer von der fahrzeuginternen Vorrichtung 10 übertragenen Lokalen Karte erfasst wird. Die Zuverlässigkeitsberechnungseinheit 235 berechnet eine Zuverlässigkeit in Bezug auf die lokale Karte basierend auf jedem der neu identifizierten Standorte des Fahrzeugs.
So identifiziert beispielsweise die Zuverlässigkeitsberechnungseinheit 235 in regelmäßigen Abständen den Standort des Fahrzeugs der von der fahrzeuginternen Vorrichtung 10 übertragenen Lokalen Karte neu. Ein Re-Identifizierungsverfahren kann den in Referenzdokument 2 beschriebenen Relokalisierungsalgorithmus auf die gleiche Weise verwenden wie in der Korrektureinheit 36 gemäß der ersten Ausführungsform. So wird beispielsweise der Standort für jeden der vier Keyframeer als das Relokalisierungsintervall des Standortes des Fahrzeugs identifiziert.
Anschließend berechnet die Zuverlässigkeitsberechnungseinheit 235 die Zuverlässigkeit der lokalen Karte und bestimmt, ob der Standort jedes Keyframes korrigiert wird oder nicht. So berechnet beispielsweise die Zuverlässigkeitsberechnungseinheit 235 einen Standort jedes neu identifizierten Keyframes und einen Abstand zwischen jedem der ursprünglichen Keyframeer der lokalen Karte.
Die Korrektureinheit 36 korrigiert die lokale Karte, wenn ein durchschnittlicher Abstand jedes Keyframes als Beispiel für die Zuverlässigkeit in Bezug auf die von der Zuverlässigkeitsberechnungseinheit 235 berechnete lokale Karte kleiner oder gleich einem Schwellenwert ist (z.B. 0,3 m). Die Aktualisierungseinheit 38 aktualisiert die Gesamtkarte anhand der korrigierten lokalen Karte.
Wenn der von der Zuverlässigkeitsberechnungseinheit 235 berechnete durchschnittliche Abstand jedes Keyframes größer als der Schwellenwert ist (z.B. 0,3 m), aktualisiert die Korrektureinheit 36 die Gesamtkarte nicht. Wenn sich der Standort des Fahrzeugs des Keyframes der von der fahrzeuginternen Vorrichtung 10 übertragenen lokalen Karte zu stark von dem Standort des Fahrzeugs des Keyframes unterscheidet, der durch die Zuverlässigkeitsberechnungseinheit 235 neu identifiziert wurde, ist es durchaus möglich, dass die lokale Karte nicht die reale Welt darstellt.
15 ist ein erklärendes Diagramm, das die Standorte der in jedem vorgegebenen Intervall erneut identifizierten Fahrzeuge veranschaulicht. Wird beispielsweise die lokale Karte 15A von der fahrzeuginternen Vorrichtung 10 übertragen, identifiziert die Zuverlässigkeitsberechnungseinheit 235 in regelmäßigen Abständen die Standorte des Fahrzeugs im Keyframe der lokalen Karte neu und erhält das Re-Identifizierungsergebnis 15B. Anschließend berechnet die Zuverlässigkeitsberechnungseinheit 235 eine Zuverlässigkeit basierend auf dem Standort jedes Keyframes in der lokalen Karte 15A und dem Re-Identifizierungsergebnis 15B. Wenn die Zuverlässigkeit gleich oder größer als der Schwellenwert ist, korrigiert die Korrektureinheit 36 die lokale Karte unter Verwendung des Re-Identifizierungsergebnisses 15B. So korrigiert beispielsweise die Korrektureinheit 36 die lokale Karte, indem sie schrittweise ein Diagramm so optimiert, dass zunächst ein Standort zu einem anfänglich neu identifizierten Standort und dann zum ersten neu identifizierten Standort wird, und dann der Standort zum ersten neu identifizierten Standort und zum zweiten neu identifizierten Standort wird. Die Aktualisierungseinheit 38 aktualisiert die Gesamtkarte, indem sie die korrigierte lokale Karte verwendet, um die Gesamtkarte 15C zu erhalten.
Die Datenverwaltungsvorrichtung 230 kann durch den in 11 dargestellten Computer 80 realisiert werden. Ein Datenverwaltungsprogramm 290 zum Veranlassen der Funktion des Computers 80 als Datenverwaltungsvorrichtung 230 ist in der Speichereinheit 83 des Computers 80 gespeichert. Das Datenverwaltungsprogramm 290 beinhaltet den Sende- und Empfangsprozess 92, den Steuerprozess 93, den Korrekturprozess 94, den Aktualisierungsprozess 95 und einen Zuverlässigkeitsberechnungsprozess 296. Die Speichereinheit 83 beinhaltet den gesamten Kartenspeicherbereich 96, in dem Informationen zur Konfiguration des gesamten Kartenspeichers 31 gespeichert sind.
Die CPU 81 liest das Datenverwaltungsprogramm 290 aus der Speichereinheit 83, um im Speicher 82 zu entwickeln, und führt die im Datenverwaltungsprogramm 290 enthaltenen Prozesse sequentiell aus. Durch die Ausführung des Sende- und Empfangsprozesses 92 arbeitet die CPU 81 als Sende- und Empfangseinheit 32, wie in 14 dargestellt. Durch die Ausführung des Steuerprozesses 93 arbeitet die CPU 81 wie die in 14 dargestellte Steuereinheit 34. Durch die Ausführung des Korrekturprozesses 94 arbeitet die CPU 81 als Korrektureinheit 36, wie in 14 dargestellt. Durch die Ausführung des Aktualisierungsprozesses 95 arbeitet die CPU 81 wie die in 14 dargestellte Aktualisierungseinheit 38. Durch die Ausführung des Zuverlässigkeitsberechnungsprozesses 296 arbeitet die CPU 81 als die in 14 dargestellte Zuverlässigkeitsberechnungseinheit 235. Die CPU 81 liest Informationen aus dem Gesamtkartenspeicherbereich 96 und entwickelt die Gesamtkartenspeichereinheit 31 im Speicher 82. Dabei fungiert der Computer 80, der das Datenverwaltungsprogramm 290 ausführt, als Datenverwaltungsvorrichtung 230. Dementsprechend ist ein Prozessor, der das Datenverwaltungsprogramm 290 ausführt, das Software ist, Hardware.
Die durch das Datenverwaltungsprogramm 290 realisierte Funktion kann auch z.B. durch eine integrierte Halbleiterschaltung, genauer gesagt, ein ASIC oder dergleichen realisiert werden.
Als nächstes wird ein Betrieb der Datenverwaltungsvorrichtung 230 gemäß der zweiten Ausführungsform beschrieben. Wenn die Sende- und Empfangseinheit 32 die von der fahrzeuginternen Vorrichtung 10 gesendete lokale Karte empfängt, führt die Datenverwaltungsvorrichtung 230 die in 16 dargestellte Datenverwaltungsverarbeitung durch.
Die Schritte S200 und S206 bis S208 werden auf die gleiche Weise ausgeführt wie bei der ersten Ausführungsform.
In Schritt S400 identifiziert die Zuverlässigkeitsberechnungseinheit 235 jeden Standort des Fahrzeugs, der durch jedes Keyframe-Bild der lokalen Karte dargestellt wird, gemäß dem Standort des Fahrzeugs neu, wenn das Keyframe-Bild der in Schritt S200 erfassten lokalen Karte erfasst wird.
In einem Schritt S402 berechnet die Zuverlässigkeitsberechnungseinheit 235 einen durchschnittlichen Abstand zwischen dem Standort jedes in Schritt S400 erneut identifizierten Keyframes und jedem ursprünglichen Keyframe in der in Schritt S200 erfassten lokalen Karte und setzt den berechneten Abstand als Zuverlässigkeit der lokalen Karte.
Anschließend bestimmt die Korrektureinheit 36 in Schritt S404, ob die Zuverlässigkeit der in Schritt S402 berechneten lokalen Karte größer als ein Schwellenwert ist oder nicht. Wenn die Zuverlässigkeit der lokalen Karte größer als der Schwellenwert ist, fährt die Verarbeitung mit Schritt S406 fort. Wenn die Zuverlässigkeit der lokalen Karte gleich oder kleiner als der Schwellenwert ist, endet die Verarbeitung.
In Schritt S406 korrigiert die Korrektureinheit 36 den Standort und Lage des Fahrzeugs in der lokalen Karte basierend auf der in Schritt S200 ausgegebenen lokalen Karte und jedem in Schritt S400 erneut identifizierten Standorts des Fahrzeugs.
Wie vorstehend beschrieben, identifiziert die Datenverwaltungsvorrichtung 230 in der zweiten Ausführungsform jeden Standort des durch die lokale Karte dargestellten Fahrzeugs neu und berechnet die Zuverlässigkeit in Bezug auf die lokale Karte basierend auf jedem der neu identifizierten Standorte des Fahrzeugs. Die Datenverwaltungsvorrichtung 230 aktualisiert die Gesamtkarte unter Verwendung der lokalen Karte entsprechend der Zuverlässigkeit. Dadurch kann die Gesamtkarte durch die Zuverlässigkeit der lokalen Karte genau aktualisiert werden. Da beispielsweise eine Vielzahl von neu identifizierten Ergebnissen verwendet wird, wird eine Korrekturgenauigkeit erhöht. Wenn die Zuverlässigkeit der lokalen Karte geringer ist als der Schwellenwert, kann die lokale Karte abgelehnt werden.
Dritte Ausführungsform Als nächstes wird eine dritte Ausführungsform beschrieben. Die dritte Ausführungsform unterscheidet sich von der ersten und zweiten Ausführungsform dadurch, dass der einem Trägerfahrzeug entsprechende Kartenpunkt in der Gesamtkarte reflektiert wird.
Wenn beispielsweise ein Fahrzeug auf einem Parkplatz geparkt wird, wird das Fahrzeug, das eine lokale Karte generiert, auf einem beliebigen Parkplatz des Parkplatzes geparkt. Das Vorhandensein des auf dem Parkplatz geparkten Fahrzeugs spiegelt sich jedoch nicht in der vom Fahrzeug erzeugten lokalen Karte wider. In der dritten Ausführungsform wird ein dem Trägerfahrzeug entsprechender Kartenpunkt, der die lokale Karte erzeugt, in der Gesamtkarte reflektiert.
17 veranschaulicht ein Konfigurationsbeispiel einer Datenverwaltungsvorrichtung 330 gemäß der dritten Ausführungsform. Die Datenverwaltungsvorrichtung 330 gemäß der dritten Ausführungsform beinhaltet die Gesamtkartenspeichereinheit 31, die Sende- und Empfangseinheit 32, die Steuereinheit 34, die Korrektureinheit 36, die Aktualisierungseinheit 38 und eine Formmodell-Erzeugungseinheit 337 wie in 17 dargestellt. Die Datenverwaltungsvorrichtung 330 erfasst ein Bild des Trägerfahrzeugs, das die lokale Karte von einer externen Kamera 20C erzeugt.
Die externe Kamera 20C nimmt ein Bild des Trägerfahrzeugs auf, das die lokale Karte erzeugt.
18 ist ein erklärendes Diagramm, das die dritte Ausführungsform veranschaulicht. Das Beispiel von 18 veranschaulicht einen Zustand, in dem ein Trägerfahrzeug 20A auf einem Parkplatz geparkt wird. Die externe Kamera 20C ist um das Trägerfahrzeug 20A herum vorgesehen, um ein Bild des Trägerfahrzeugs 20A aufzunehmen. Ein Marker 20B mit einer bekannten Form und einem bekannten Befestigungswinkel an der Kamera ist an der Kamera des Trägerfahrzeugs 20A befestigt. Die externe Kamera 20C erfasst Bilder von zwei oder mehr Blickwinkeln von der Außenseite des Trägerfahrzeugs 20A, so dass die Markierung 20B abgebildet wird. Die externe Kamera 20C überträgt die Bilder des Trägerfahrzeugs 20A an die Datenverwaltungsvorrichtung 330.
Die Sende- und Empfangseinheit 32 der Datenverwaltungsvorrichtung 330 empfängt die von der externen Kamera 20C übertragenen Bilder des Trägerfahrzeugs. Die Steuereinheit 34 gibt die von der Sende- und Empfangseinheit 32 empfangenen Bilder des Trägerfahrzeugs an die Formmodell-Erzeugungseinheit 337 aus.
Die Formmodell-Erzeugungseinheit 337 erzeugt ein Formmodell, das dreidimensionale Koordinaten jedes Punktes auf dem Trägerfahrzeug darstellt, basierend auf von der Steuereinheit 34 ausgegebenen Bildern des Fahrzeugs. So erfasst beispielsweise die Formmodell-Erzeugungseinheit 337 die dreidimensionalen Koordinaten jedes Punktes am Trägerfahrzeug, indem sie den Blickwinkel der externen Kamera 20C nach einem im Referenzdokument 5 beschriebenen Verfahren als Ursprungspunkt einstellt. Die Formmodell-Erzeugungseinheit 337 erfasst eine Lage der Markierung, die im Bild des Fahrzeugs erscheint, das von der externen Kamera 20C nach einem im Referenzdokument 6 beschriebenen Verfahren aufgenommen wurde. So schätzt beispielsweise die Formmodell-Erzeugungseinheit 337 die Koordinaten von vier Ecken des Markers im Bild durch Binärisieren oder Beschriften und schätzt eine Rotationskomponente und eine Translatationskomponente des Markers, wodurch die Lage des Markers erfasst wird. Ein interner Parameter der externen Kamera 20C wird vorab durch eine Kalibrierung erfasst, die in Referenzdokument 4 beschrieben ist.
Referenzdokument 6: H. Kato et al., „Marker-Tracking und HMD-Kalibrierung für ein videobasiertes Augmented-Reality-Konferenzsystem", In Proc. von IEEE und ACM International Workshop on Augmented Reality (IWAR), S. 85-94, 1999.
Die Formmodell-Erzeugungseinheit 337 konvertiert die dreidimensionalen Koordinaten jedes Punktes am Trägerfahrzeug so, dass der Blickwinkel der externen Kamera 20C nicht als Ursprungspunkt, sondern der Marker als Ursprungspunkt gesetzt wird. So wandelt beispielsweise die Formmodell-Erzeugungseinheit 337 ein Koordinatensystem der externen Kamera 20C in ein Koordinatensystem der Kamera 12 um, basierend auf der Lage des Markers, der in dem von der externen Kamera 20C aufgenommenen Bild erscheint. Dadurch wird ein Formmodell erhalten, das die dreidimensionalen Koordinaten jedes Punktes auf dem Fahrzeug darstellt, in dem die Kamera 12 des Trägerfahrzeugs als Ursprungspunkt eingestellt ist. In dem in 18 dargestellten Beispiel stellt 20D jeden Punkt am Fahrzeug dar.
Die Aktualisierungseinheit 38 aktualisiert die in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte basierend auf dem Standort des Trägerfahrzeugs aus der lokalen Karte und dem von der Formmodell-Erzeugungseinheit 337 erzeugten Formmodell.
So ordnet beispielsweise die Aktualisierungseinheit 38 das von der Formmodell-Erzeugungseinheit 337 erzeugte Formmodell der Gesamtkarte zu, indem sie den Standort und Lage des Trägerfahrzeugs zum Zeitpunkt des Parkens verwendet, die zuvor aufgrund einer Neuidentifizierung des Standorts des Trägerfahrzeugs durch die Korrektureinheit 36 erhalten wurde.
Die Datenverwaltungsvorrichtung 330 kann durch einen Computer 80 realisiert werden, der in 11 dargestellt ist. Ein Datenverwaltungsprogramm 390, das bewirkt, dass der Computer 80 als Datenverwaltungsvorrichtung 330 fungiert, wird in der Speichereinheit 83 des Computers 80 gespeichert. Das Datenverwaltungsprogramm 390 beinhaltet den Sende- und Empfangsprozess 92, den Steuerprozess 93, den Korrekturprozess 94, den Aktualisierungsprozess 95 und einen Formmodell-Erzeugungsprozess 397. Die Speichereinheit 83 beinhaltet den gesamten Kartenspeicherbereich 96, der Informationen zur Konfiguration der gesamten Kartenspeichereinheit 31 speichert.
Die CPU 81 liest das Datenverwaltungsprogramm 390 aus der Speichereinheit 83, um im Speicher 82 zu entwickeln, und führt nacheinander die im Datenverwaltungsprogramm 390 enthaltenen Prozesse aus. Durch die Ausführung des Sende- und Empfangsprozesses 92 arbeitet die CPU 81 als Sende- und Empfangseinheit 32, wie in 17 dargestellt. Durch die Ausführung des Steuerprozesses 93 arbeitet die CPU 81 wie die in 17 dargestellte Steuereinheit 34. Durch die Ausführung des Korrekturprozesses 94 arbeitet die CPU 81 als Korrektureinheit 36, wie in 17 dargestellt. Durch die Ausführung des Aktualisierungsprozesses 95 arbeitet die CPU 81 wie die in 17 dargestellte Aktualisierungseinheit 38. Durch die Ausführung des Formmodellgenerierungsprozesses 397 arbeitet die CPU 81 als die in 17 dargestellte Formmodellgenerierungseinheit 337. Die CPU 81 liest Informationen aus dem gesamten Kartenspeicherbereich 96 und entwickelt den gesamten Kartenspeicher 31 im Speicher 82. Dabei fungiert der Computer 80, der das Datenverwaltungsprogramm 390 ausführt, als Datenverwaltungsvorrichtung 330. Dementsprechend ist ein Prozessor, der das Datenverwaltungsprogramm 390, also die Software, ausführt, Hardware.
Die durch das Datenverwaltungsprogramm 390 realisierte Funktion kann beispielsweise durch eine integrierte Halbleiterschaltung, insbesondere einen ASIC oder dergleichen, realisiert werden.
Als nächstes wird ein Betrieb der Datenverwaltungsvorrichtung 330 gemäß der dritten Ausführungsform beschrieben. Wenn die Sende- und Empfangseinheit 32 das von der externen Kamera 20C übertragene Bild des Trägerfahrzeugs empfängt, führt die Datenverwaltungsvorrichtung 330 eine Verarbeitung zur Erzeugung von Formmodellen durch, die in 19 dargestellt ist.
Zunächst erfasst die Formmodell-Erzeugungseinheit 337 in Schritt S500 ein Bild eines von der Steuereinheit 334 ausgegebenen Trägerfahrzeugs.
In Schritt S502 erzeugt die Formmodell-Erzeugungseinheit 337 ein Formmodell, das auf dem Bild des in Schritt S500 erfassten Trägerfahrzeugs basiert.
Als nächstes, wenn die Sende- und Empfangseinheit 32 eine von der fahrzeuginternen Vorrichtung 10 übertragene lokale Karte empfängt, führt die Datenverwaltungsvorrichtung 330 eine Datenverwaltungsverarbeitung durch, die in 20 dargestellt ist.
Jede Verarbeitung von Schritt S200 zu Schritt S208 wird auf die gleiche Weise ausgeführt wie in der ersten Ausführungsform. In Schritt S610 erfasst die Aktualisierungseinheit 38 das durch die Verarbeitung zur Erzeugung von Formmodellen erzeugte Formmodell.
In Schritt S612 aktualisiert die Aktualisierungseinheit 38 die in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte basierend auf einem in Schritt S206 korrigierten Standort des Trägerfahrzeugs und dem in Schritt S610 erfassten Formmodell und der Beendigung der Datenverwaltungsverarbeitung .
Wie vorstehend beschrieben, wird in der dritten Ausführungsform ein Formmodell erzeugt, das dreidimensionale Koordinaten jedes Punktes auf dem Trägerfahrzeug darstellt, und die Gesamtkarte wird basierend auf dem Formmodell aktualisiert. Dadurch kann ein Kartenpunkt, der die dreidimensionalen Koordinaten jedes Punktes auf dem Trägerfahrzeug anzeigt, der die lokale Karte erzeugt, in der Gesamtkarte reflektiert werden. Dementsprechend kann die Gesamtkarte einschließlich des Kartenpunkts des Trägerfahrzeugs genau aktualisiert werden.
Vierte Ausführungsform
Eine vierte Ausführungsform wird beschrieben. Die vierte Ausführungsform unterscheidet sich von der ersten zur dritten Ausführungsform dadurch, dass eine fahrzeuginterne Vorrichtung eine Gesamtkarte aktualisiert.
Eine in 21 dargestellte fahrzeuginterne Vorrichtung 410 beinhaltet die Kamera 12, den GPS-Sensor 13 und eine Steuereinheit 414. Die fahrzeuginterne Vorrichtung 410 erzeugt basierend auf einem von der Kamera 12 aufgenommenen peripheren Bild des Fahrzeugs eine lokale Karte um ein Fahrzeug herum und aktualisiert eine von einer Datenverwaltungsvorrichtung 430 übertragene Gesamtkarte, die im Folgenden beschrieben wird. Wie in 21 dargestellt, beinhaltet die Steuereinheit 414 die Sende- und Empfangseinheit 16, die fahrzeuginterne Steuereinheit 18, die Bilderfassungseinheit 20, die Standortschätzeinheit 22, die Erzeugungseinheit 24, die Korrektureinheit 36, die Aktualisierungseinheit 38 und einen fahrzeugseitigen Gesamtplanspeicher 440.
Die in 22 dargestellte Datenverwaltungsvorrichtung 430 beinhaltet dann die Gesamtkartenspeichereinheit 31, die Sende- und Empfangseinheit 32 und die Steuereinheit 34. Die Datenverwaltungsvorrichtung 430 speichert die von der fahrzeuginternen Vorrichtung 410 übertragene Gesamtkarte in der Gesamtkartenspeichereinheit 31.
Im Folgenden wird die spezifische Verarbeitung der fahrzeuginternen Vorrichtung 410 und der Datenverwaltungsvorrichtung 430 beschrieben.
Das fahrzeuginterne Steuervorrichtung 18 der fahrzeuginternen Vorrichtung 410 speichert die von der Sende- und Empfangseinheit 16 empfangene Gesamtkarte in der fahrzeugseitigen Gesamtkartenspeichereinheit 440. Die fahrzeuginterne Steuereinheit 18 gibt die von der Sende- und Empfangseinheit 16 empfangene Gesamtkarte an die Ortungseinheit 22 aus.
Die Korrektureinheit 36 korrigiert eine von der Erzeugungseinheit 24 erzeugte lokale Karte in gleicher Weise wie die Korrektureinheit 36 der Datenverwaltungsvorrichtung 30 gemäß der ersten Ausführungsform.
Die Aktualisierungseinheit 38 liest die in der fahrzeugseitigen Gesamtkartenspeichereinheit 440 gespeicherte Gesamtkarte und aktualisiert die Gesamtkarte basierend auf der von der Korrektureinheit 36 korrigierten lokalen Karte in gleicher Weise wie die Aktualisierungseinheit 38 der Datenverwaltungsvorrichtung 30 gemäß der ersten Ausführungsform.
Wenn die von der Aktualisierungseinheit 38 aktualisierte Gesamtkarte in der fahrzeugseitigen Gesamtkartenspeichereinheit 440 gespeichert ist, überträgt die fahrzeuginterne Steuereinheit 18 die im fahrzeugseitigen Gesamtkartenspeicher 440 gespeicherte Gesamtkarte über die Sende- und Empfangseinheit 16 an die Datenverwaltungsvorrichtung 430.
Die Sende- und Empfangseinheit 32 einer in 22 dargestellten Datenverwaltungsvorrichtung 430 empfängt die von einer fahrzeuginternen Vorrichtung 410 übertragene Gesamtkarte. Die Steuereinheit 34 speichert die von der Sende- und Empfangseinheit 32 empfangene Gesamtkarte in der Gesamtkartenspeichereinheit 31.
Die Steuereinheit 414 der fahrzeuginternen Vorrichtung 410 kann beispielsweise durch einen in 23 dargestellten Computer 50 realisiert werden. Die Speichereinheit 53 des Computers 50 speichert ein Gesamtkartenaktualisierungs-Programm 460, mit dem der Computer 50 als Steuereinheit 414 der fahrzeuginternen Vorrichtung 410 fungiert. Das Gesamtkartenaktualisierungs-Programm 460 beinhaltet den Sende- und Empfangsprozess 62, den fahrzeuginternen Steuerungsprozess 63, den Bilderfassungsprozess 64, den Standortschätzprozess 65, den Erzeugungsprozess 66, den Korrekturprozess 94 und den Aktualisierungsprozess 95. Die Speichereinheit 53 weist einen fahrzeugseitigen Gesamtkartenspeicherbereich 469 auf, in dem Informationen zur Konfiguration des fahrzeugseitigen Gesamtkartenspeichers 440 gespeichert sind.
Die CPU 51 liest das gesamte Kartenaktualisierungsprogramm 460 aus der Speichereinheit 53 aus, um im Speicher 52 zu entwickeln und führt sequentiell Prozesse des gesamten Kartenaktualisierungsprogramms 460 aus. Durch die Ausführung des Sende- und Empfangsprozesses 62 arbeitet die CPU 51 als Sende- und Empfangseinheit 16, wie in 21 dargestellt. Durch die Ausführung des Fahrzeugsteuerungsprozesses 63 arbeitet die CPU 51 als fahrzeuginterne Steuereinheit 18, wie in 21 dargestellt. Durch die Ausführung des Bilderfassungsprozesses 64 arbeitet die CPU 51 wie die in 21 dargestellte Bilderfassungseinheit 20. Durch die Ausführung des Standortschätzverfahrens 65 arbeitet die CPU 51 als die in 21 dargestellte Standortschätzeinheit 22. Durch die Ausführung des Erzeugungsprozesses 66 arbeitet die CPU 51 als die in 21 dargestellte Erzeugungseinheit 24. Durch die Ausführung des Korrekturprozesses 94 arbeitet die CPU 51 als Korrektureinheit 36, wie in 21 dargestellt. Durch die Ausführung des Aktualisierungsprozesses 95 arbeitet die CPU 51 wie die in 21 dargestellte Aktualisierungseinheit 38. Dabei kann der Computer 50, der das Gesamtkartenaktualisierungs-Programm 460 ausführt, als Steuereinheit 414 der fahrzeuginternen Vorrichtung 410 fungieren. Dementsprechend ist ein Prozessor, der das gesamte Kartenaktualisierungsprogramm 460, also Software, ausführt, Hardware.
Die durch das Gesamtkartenaktualisierungs-Programm 460 realisierte Funktion kann beispielsweise durch eine integrierte Halbleiterschaltung, insbesondere einen ASIC oder dergleichen, realisiert werden.
Die Datenverwaltungsvorrichtung 430 kann mit einem Computer 80 realisiert werden, der in 24 dargestellt ist. Ein Datenverwaltungsprogramm 490 zum Veranlassen der Funktion des Computers 80 als Datenverwaltungsvorrichtung 430 ist in der Speichereinheit 83 des Computers 80 gespeichert. Das Datenverwaltungsprogramm 490 beinhaltet den Sende- und Empfangsprozess 92 und den Steuerungsprozess 93. Die Speichereinheit 83 weist einen Gesamtkartenspeicherbereich 96 auf, der Informationen zur Konfiguration der Gesamtkartenspeichereinheit 31 speichert.
Die CPU 51 liest das Datenverwaltungsprogramm 490 aus der Speichereinheit 83, um im Speicher 82 zu entwickeln und führt sequentiell Prozesse des Datenverwaltungsprogramms 490 aus. Durch die Ausführung des Sende- und Empfangsprozesses 92 arbeitet die CPU 81 als Sende- und Empfangseinheit 32, wie in 22 dargestellt. Durch die Ausführung des Steuerprozesses 93 arbeitet die CPU 81 wie die in 22 dargestellte Steuereinheit 34. Die CPU 81 liest Informationen aus dem Gesamtkartenspeicherbereich 96 und entwickelt die Gesamtkartenspeichereinheit 31 im Speicher 82. Dabei fungiert der Computer 80, der das gesamte Kartenaktualisierungsprogramm 460 ausführt, als Datenverwaltungsvorrichtung 430. Dementsprechend ist ein Prozessor, der das Datenverwaltungsprogramm 490 ausführt, das Software ist, Hardware.
Die durch das Datenverwaltungsprogramm 490 realisierte Funktion kann beispielsweise durch eine integrierte Halbleiterschaltung, insbesondere einen ASIC oder dergleichen, realisiert werden.
Als nächstes wird ein Betrieb eines Datenverwaltungssystems gemäß der vierten Ausführungsform beschrieben. Die Sende- und Empfangseinheit 32 der Datenverwaltungsvorrichtung 430 sendet die in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte über die Sende- und Empfangseinheit 32 gemäß dem von der fahrzeuginternen Vorrichtung 410 übertragenen Steuersignal an die fahrzeuginterne Vorrichtung 410. Wenn die von der Datenverwaltungsvorrichtung 430 übertragene Gesamtkarte empfangen wird, speichert die Sende- und Empfangseinheit 16 der fahrzeuginternen Vorrichtung 410 die Gesamtkarte in der fahrzeugseitigen Gesamtkartenspeichereinheit 440. Anschließend führt die Steuereinheit 14 der fahrzeuginternen Vorrichtung 410 die in 25 dargestellte Gesamtkartenaktualisierung durch. Im Folgenden wird jede Verarbeitung im Detail beschrieben.
Jede Verarbeitung von Schritt S100 zu Schritt S112 und Schritt S202 zu Schritt S208 in der in 25 dargestellten Gesamtkartenaktualisierungsverarbeitung wird auf die gleiche Weise ausgeführt wie in der ersten Ausführungsform.
In Schritt S610 überträgt das fahrzeuginterne Steuereinheit 18 die im fahrzeugseitigen Gesamtkartenspeicher 440 gespeicherte Gesamtkarte über die Sende- und Empfangseinheit 16 an das Datenverwaltungsvorrichtung 430 und beendet die gesamte Kartenaktualisierungsverarbeitung.
Wenn die Sende- und Empfangseinheit 32 der Datenverwaltungsvorrichtung 430 die von der fahrzeuginternen Vorrichtung 410 gesendete Gesamtkarte empfängt, führt die Datenverwaltungsvorrichtung 430 eine in 26 dargestellte Datenverwaltungsverarbeitung durch.
In Schritt S700 erfasst die Steuereinheit 34 die von der Sende- und Empfangseinheit 32 empfangene Gesamtkarte.
In Schritt S702 speichert die Steuereinheit 34 die in Schritt S700 aufgenommene Gesamtkarte, die zuvor beschrieben wurde, in der Gesamtkartenspeichereinheit 31.
Die fahrzeuginterne Vorrichtung erzeugt die lokale Karte basierend auf jedem der geschätzten Standorte des Fahrzeugs und jedem der als Keyframe-Bild bestimmten peripheren Bilder. Anschließend aktualisiert die fahrzeuginterne Vorrichtung die Gesamtkarte basierend auf der lokalen Karte. Anschließend überträgt die fahrzeuginterne Vorrichtung die Gesamtkarte an die Datenverwaltungsvorrichtung. Dadurch ist es beispielsweise möglich, wenn die lokale Karte nicht übertragen werden kann, die Gesamtkarte vorab über die lokale Karte zu aktualisieren und die Gesamtkarte in Abhängigkeit von einem Parkzustand zu erzeugen. Wenn die lokale Karte übertragen werden kann, ist es möglich, die aktualisierte Gesamtkarte an die Datenverwaltungsvorrichtung zu übertragen und die Gesamtkarte zu aktualisieren.
Fünfte Ausführungsform
Als nächstes wird eine fünfte Ausführungsform beschrieben. Die fünfte Ausführungsform unterscheidet sich von der ersten bis vierten Ausführungsform dadurch, dass eine Datenverwaltungsvorrichtung 530 eine lokale Karte erzeugt und eine Gesamtkarte basierend auf der erzeugten lokalen Karte aktualisiert wird.
Eine in 27 dargestellte Fahrzeuginterne Vorrichtung 510 beinhaltet die Kamera 12, den GPS-Sensor 13 und eine Steuereinheit 514. Die fahrzeuginterne Vorrichtung 510 überträgt sequentiell periphere Bilder eines von der Kamera 12 erfassten Fahrzeugs an die Datenverwaltungsvorrichtung 530, die im Folgenden beschrieben wird. Die Steuereinheit 514 beinhaltet die Sende- und Empfangseinheit 16, die fahrzeuginterne Steuereinheit 18 und die Bilderfassungseinheit 20, wie in 27 dargestellt.
Die in 28 dargestellte Datenverwaltungsvorrichtung 530 beinhaltet die Gesamtkartenspeichereinheit 31, die Sende- und Empfangseinheit 32, die Steuereinheit 34, die Korrektureinheit 36, die Aktualisierungseinheit 38, die Standortschätzeinheit 22 und die Erzeugungseinheit 24. Die Datenverwaltungsvorrichtung 530 erzeugt eine lokale Karte basierend auf einem von der fahrzeuginternen Vorrichtung 510 übertragenen peripheren Bild und aktualisiert eine in der Gesamtkartenspeichereinheit 31 gespeicherte Gesamtkarte basierend auf der lokalen Karte. Die Sende- und Empfangseinheit 32 ist ein Beispiel für eine Empfangseinheit der offenbarten Technologie.
Da die Verarbeitung jeder Einheit der fahrzeuginternen Vorrichtung 510 und der Datenverwaltungsvorrichtung 530 und des Computers, der die fahrzeuginterne Vorrichtung 510 und die Datenverwaltungsvorrichtung 530 realisiert, die gleichen sind wie bei den ersten bis vierten Ausführungsformen, entfällt deren Beschreibung.
In der obigen Beschreibung wird ein Aspekt beschrieben, in dem jedes Programm zuvor in einer Speichereinheit gespeichert (installiert) ist, aber die Ausführungsform ist darauf nicht beschränkt. Ein Programm im Zusammenhang mit der offenbarten Technologie kann auch in einer Form bereitgestellt werden, in der das Programm auf einem Speichermedium wie einer CD-ROM, einer DVD-ROM oder einem USB-Speicher aufgezeichnet wird.
Alle in der vorliegenden Spezifikation beschriebenen Dokumente, Patentanmeldungen und technischen Normen werden durch Bezugnahme in die vorliegende Spezifikation aufgenommen, und zwar in dem gleichen Umfang, in dem ein einzelnes Dokument, eine Patentanmeldung und eine technische Norm durch Bezugnahme spezifisch und individuell beschrieben werden.
Als nächstes wird ein Änderungsbeispiel der oben beschriebenen Ausführungsform beschrieben.
In der obigen Ausführungsform wird als Beispiel ein Fall beschrieben, in dem Bildinformationen als Beispiel für ein Verfahren zum erneuten Identifizieren eines Standorts eines Fahrzeugs verwendet werden, wenn eine lokale Karte korrigiert wird, aber die Ausführungsform ist nicht darauf beschränkt. So kann beispielsweise der Standort des Fahrzeugs neu bestimmt werden, indem der Standort des Fahrzeugs mit einem hochgenauen GPS-Sensor gemessen wird. Wenn das Fahrzeug einen Sensor beinhaltet, der den Azimut des Fahrzeugs genau bestimmt, kann eine Lage des Fahrzeugs basierend auf dem vom Sensor erfassten Azimut geschätzt werden. Bildinformationen und andere Sensorinformationen können miteinander kombiniert werden.
In den oben beschriebenen Ausführungsformen ist als Beispiel ein Fall beschrieben, in dem eine fahrzeuginterne Vorrichtung eine lokale Karte an eine Datenverwaltungsvorrichtung überträgt, wenn das Fahrzeug anhält, aber die Ausführungsformen nicht darauf beschränkt sind. So kann beispielsweise die Fahrzeuginterne Vorrichtung die lokale Karte zu einem bestimmten Zeitpunkt an die Datenverwaltungsvorrichtung übertragen. Dadurch kann eine Gesamtkarte häufiger aktualisiert werden. Wenn sich das Fahrzeug beispielsweise nicht in einer Umgebung befindet, die in der Lage ist, die lokale Karte zu übertragen (z.B. wenn sich das Fahrzeug nicht in einer Umgebung befindet, in der die Informationskommunikation durchgeführt wird, und dergleichen), speichert die Fahrzeuginterne Vorrichtung die lokale Karte in einem vorbestimmten Speicherbereich, bis eine Kommunikationsumgebung eingerichtet ist, und kann die lokale Karte übertragen, wenn die Kommunikationsumgebung eingerichtet ist.
In den oben beschriebenen Ausführungsformen wird als Beispiel ein Fall beschrieben, in dem eine Gesamtkarte durch eine lokale Karte sequentiell aktualisiert wird, die Ausführungsformen sind jedoch nicht darauf beschränkt. So kann beispielsweise eine Vielzahl von Gesamtkarten erstellt werden, die einen Zustand mit hoher Häufigkeit zwischen den Zuständen des Zielgebiets darstellen. In diesem Fall, z.B. in einer Situation, in der die lokale Karte nicht von der fahrzeuginternen Vorrichtung übertragen wird, wird eine Vielzahl von zuvor erstellten Gesamtkarten verwendet.
In der ersten bis dritten Ausführungsform wird als Beispiel ein Fall beschrieben, in dem eine fahrzeuginterne Vorrichtung eine lokale Karte erzeugt und eine Datenverwaltungsvorrichtung eine Gesamtkarte aktualisiert, die auf der von der fahrzeuginternen Vorrichtung übertragenen lokalen Karte basiert, aber die Ausführungsformen sind nicht darauf beschränkt. In der vierten Ausführungsform wird ein Fall beschrieben, in dem die fahrzeuginterne Vorrichtung die lokale Karte erzeugt und die Gesamtkarte aktualisiert, und in der fünften Ausführungsform ein Beispiel, in dem die Datenverwaltungsvorrichtung die lokale Karte erzeugt und die Gesamtkarte aktualisiert wird, aber die Ausführungsform ist nicht darauf beschränkt. Die Anordnung der jeweiligen Einheiten in der fahrzeuginternen Vorrichtung und der Datenverwaltungsvorrichtung kann eine beliebige Anordnung sein, solange das Datenverwaltungssystem gemäß der vorliegenden Ausführungsform durch die Anordnung realisiert werden kann. So kann beispielsweise die Korrektur der lokalen Karte auf der Seite des Fahrzeugvorrichtungs durchgeführt werden, die fahrzeuginterne Vorrichtung kann die korrigierte lokale Karte an das Datenverwaltungsvorrichtung übertragen und das Datenverwaltungsvorrichtung kann die gesamte Karte basierend auf der korrigierten lokalen Karte aktualisieren.
Ergänzende Hinweise zu den jeweiligen Ausführungsformen
(Hinweis 1) Eine Informationsverarbeitungsvorrichtung, umfassend:

eine Erfassungseinheit, die konfiguriert ist, eine Gesamtkarte aus einem Speicher zu erfassen, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Erfassung des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt;
eine Standortschätzeinheit, die konfiguriert ist, einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder zu schätzen, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher unter den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungseinrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden;
eine Erzeugungseinheit, die konfiguriert ist, eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes zu berechnen, basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind, und konfiguriert ist, eine lokale Karte zu erzeugen, die jedes der peripheren Bilder, die als das Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des sich bewegenden Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
eine Aktualisierungseinheit, die konfiguriert ist, einen Abschnitt zu aktualisieren, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.

(Hinweis 2) Die Informationsverarbeitungsvorrichtung nach Hinweis 1, ferner umfassend:

eine Korrektureinheit, die konfiguriert ist, jeden der Standorte des sich bewegenden Objekts, der durch die lokale Karte dargestellt wird, und eine dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes zu korrigieren, basierend auf dem Standort des sich bewegenden Objekts, das aus dem Keyframe-Bild der erzeugten lokalen Karte identifiziert wird.

(Hinweis 3) Die Informationsverarbeitungsvorrichtung nach Hinweis 1 oder 2, ferner umfassend:

eine Zuverlässigkeitsberechnungseinheit, die konfiguriert ist, jeden der Standorte des sich bewegenden Objekts zu identifizieren, der durch die lokale Karte gemäß dem Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder dargestellt wird, die als Keyframe-Bild der lokalen Karte bestimmt sind, und die konfiguriert ist, eine Zuverlässigkeit für die lokale Karte basierend auf jedem der identifizierten Standorte des sich bewegenden Objekts zu berechnen; und
wobei die Aktualisierungseinheit die Gesamtkarte unter Verwendung der lokalen Karte gemäß der berechneten Zuverlässigkeit aktualisiert.

(Hinweis 4) Die Informationsverarbeitungsvorrichtung nach einem der Hinweise 1 bis 3, ferner umfassend:

eine Formmodell-Erzeugungseinheit, die konfiguriert ist, ein Formmodell zu erzeugen, das die dreidimensionale Koordinate jedes Punktes auf dem sich bewegenden Objekt darstellt;

(Hinweis 5) Eine Datenverwaltungsvorrichtung, umfassend:

eine Empfangseinheit, die konfiguriert ist, eine Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum zu empfangen, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung erfasst werden, die auf dem sich bewegenden Objekt montiert ist;
eine Standortschätzeinheit, die konfiguriert ist, einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder zu schätzen, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des sich bewegenden Objekts durch die Bilderfassungseinrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst wurden, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern, basierend auf der empfangenen Zeitreihe der peripheren Bilder, darstellt;
eine Erzeugungseinheit, die konfiguriert ist, eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes, basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind, zu berechnen, und konfiguriert ist, eine lokale Karte zu erzeugen, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des sich bewegenden Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
eine Aktualisierungseinheit, die konfiguriert ist, einen Abschnitt zu aktualisieren, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.

(Hinweis 6) Ein Datenverwaltungssystem, umfassend:

eine Informationsverarbeitungsvorrichtung, die Folgendes beinhaltet
eine Erfassungseinheit, die konfiguriert ist, eine Gesamtkarte aus einem Speicher zu erfassen, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Erfassung des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframes darstellt,
eine Standortschätzeinheit, die konfiguriert ist, einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder zu schätzen, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher unter den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungseinrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden,
eine Erzeugungseinheit, die konfiguriert ist, eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes zu berechnen, basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind, und konfiguriert ist, eine lokale Karte zu erzeugen, die jedes der peripheren Bilder, die als das Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des sich bewegenden Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt, und
eine Übertragungseinheit, die konfiguriert ist, die lokale Karte zu übertragen, die von der Erzeugungseinheit erzeugt wird; und
eine Datenverwaltungsvorrichtung, die Folgendes beinhaltet
eine Speichereinheit, die konfiguriert ist, die Gesamtkarte zu speichern, die jedes der Keyframe-Bilder, die Bilder darstellen, die gemäß den Standorten des sich bewegenden Objekts von der Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, aufgenommen werden, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt, und
eine Aktualisierungseinheit, die konfiguriert ist, einen Abschnitt, der der lokalen Karte der Gesamtkarte entspricht, die in der Speichereinheit gespeichert ist, basierend auf der lokalen Karte, die von der Informationsverarbeitungsvorrichtung übertragen wird, zu aktualisieren.

(Hinweis 7) Ein Informationsverarbeitungsverfahren, umfassend:

Erfassen einer Gesamtkarte aus einem Speicher, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeder der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt;
Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt des Erfassens jedes der peripheren Bilder, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden;

Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind;
Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
Aktualisieren eines Abschnitts, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
(Hinweis 8) Das Informationsverarbeitungsverfahren nach Hinweis 7, ferner umfassend:

Korrigieren jeder der Standorte des sich bewegenden Objekts, die durch die lokale Karte dargestellt wird und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf dem Standort des sich bewegenden Objekts, das aus dem Keyframe-Bild der erzeugten lokalen Karte identifiziert wird.

(Hinweis 9) Das Informationsverarbeitungsverfahren nach Hinweis 7, ferner umfassend:

Identifizieren jeder der Standorte des sich bewegenden Objekts, das durch die lokale Karte dargestellt wird, gemäß dem Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die als Keyframe-Bild der lokalen Karte bestimmt sind;
Berechnen einer Zuverlässigkeit für die lokale Karte basierend auf jedem der identifizierten Standorte des sich bewegenden Objekts; und Aktualisierung der Gesamtkarte durch Verwendung der lokalen Karte gemäß der berechneten Zuverlässigkeit.

(Hinweis 10) Das Informationsverarbeitungsverfahren nach einem der Hinweise 7 bis 9, ferner umfassend:

Erzeugen eines Formmodells, das die dreidimensionale Koordinate jedes der Punkte auf dem sich bewegenden Objekt darstellt; und
Aktualisieren der Gesamtkarte basierend auf dem Standort des sich bewegenden Objekts, die aus der lokalen Karte und dem Formmodell, das durch das Erzeugen eines Formmodells erzeugt wird, erhalten wird.

(Hinweis 11) Ein Datenverwaltungsverfahren, umfassend:

Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist;
Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, aufgenommen wurden, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt;
Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind;
Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.

(Hinweis 12) Ein Informationsverarbeitungsprogramm, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst:

Erfassen einer Gesamtkarte aus einem Speicher, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeder der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt;
Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt des Erfassens jedes der peripheren Bilder, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden;
Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind;
Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
Aktualisieren eines Abschnitts, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.

(Hinweis 13) Das Informationsverarbeitungsprogramm nach Hinweis 12, ferner umfassend:

(Hinweis 14) Das Informationsverarbeitungsprogramm nach Hinweis 12 oder 13, ferner umfassend:

(Hinweis 15) Das Informationsverarbeitungsprogramm nach einem der Hinweise 12 bis 14, ferner umfassend:

(Hinweis 16) Eine Datenverwaltungsprogramm, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst:

Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist;
Schätzen eines Standorts des bewegten Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des bewegten Objekts durch die Bilderfassungsvorrichtung, die auf dem bewegten Objekt montiert ist, erfasst wurden, jeden der Standorte des bewegten Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt;
Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind;
Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.

(Hinweis 17) Speichermedium, das ein von einem Computer durchgeführtes Informationsverarbeitungsverfahren speichert, wobei das Verfahren umfasst:

(Hinweis 18) Speichermedium, das ein Datenverwaltungsprogramm speichert, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst:

Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist;
Schätzen eines Standorts des bewegten Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des bewegten Objekts durch die Bilderfassungsvorrichtung, die auf dem bewegten Objekt montiert ist, erfasst wurden, jeden der Standorte des bewegten Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt;
Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind;

Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und
Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Bezugszeichenliste

10, 410, 510: Fahrzeuginterne Vorrichtungen
11: Netzwerk
12: Kamera
13: Sensor
14, 34, 334, 414, 514: Steuereinheit
16: Sende- und Empfangseinheit
18: Fahrzeuginterne Steuereinheit
20: Bilderfassungseinheit
22: Standortschätzeinheit
24: Erzeugungseinheit
30, 230, 330, 430, 530: Datenverwaltungsvorrichtung
31: Gesamtkartenspeichereinheit
32: Sende- und Empfangseinheit
36: Korrektureinheit
38: Aktualisierungseinheit
50, 80: Computer
53, 83: Speichereinheit
59, 89: Aufnahmemedium
60: Lokalkartenerzeugungsprogramm
90, 290, 390, 490: Datenverwaltungsprogramm
235: Zuverlässigkeitsberechnungseinheit
337: Formmodell-Erzeugungseinheit
440: fahrzeugseitige Gesamtkartenspeichereinheit
460: Gesamtkartenaktualisierungs-Programm

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Ra'ul Mur-Artal, J.M.M. Montiel, Mitglied, IEEE, und Juan D. Tard'os, Mitglied, IEEE, „ORB-SLAM: A versatile and Accurate Monocular SLAM System“, IEEE TRANSACTIONS ON ROBOTICS, VOL. 31, Nr. 5, OKTOBER 2015 [0032]
Ra'ul Mur-Artal und Juan D. Tard'os, „Fast Relocalisation and Loop Closing in Keyframe-Based SLAM“, 2014 IEEE International Conference on Robotics & Automation (ICRA) 31. Mai - 7. Juni 2014. Hongkong, China [0043]
V. Lepetit et al., „EPnP: An Accurate O(n) Solution to the PnP Problem“, International Journal of Computer Vision, Vol.81, No.2, pp.155-166(2008) [0047]
Z.Zhang et al., „A flexible new technique for camera calibration“, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000 [0049]
R.I. Hartley et al., „Triangulation, Computer Vision and Image Understanding“, Band 68, Nr.2, S. 146-157, 1997 [0058]
H. Kato et al., „Marker-Tracking und HMD-Kalibrierung für ein videobasiertes Augmented-Reality-Konferenzsystem“, In Proc. von IEEE und ACM International Workshop on Augmented Reality (IWAR), S. 85-94, 1999 [0125]

Claims

Eine Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinheit, die konfiguriert ist, eine Gesamtkarte aus einem Speicher zu erfassen, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Erfassung des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt; eine Standortschätzeinheit, die konfiguriert ist, einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder zu schätzen, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher unter den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungseinrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden; eine Erzeugungseinheit, die konfiguriert ist, eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes zu berechnen, basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind, und konfiguriert ist, eine lokale Karte zu erzeugen, die jedes der peripheren Bilder, die als das Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des sich bewegenden Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und eine Aktualisierungseinheit, die konfiguriert ist, einen Abschnitt zu aktualisieren, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Die Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: eine Korrektureinheit, die konfiguriert ist, jeden der Standorte des sich bewegenden Objekts, der durch die lokale Karte dargestellt wird, und eine dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes zu korrigieren, basierend auf dem Standort des sich bewegenden Objekts, das aus dem Keyframe-Bild der erzeugten lokalen Karte identifiziert wird.
Die Informationsverarbeitungsvorrichtung nach Anspruch 1 oder 2, ferner umfassend: eine Zuverlässigkeitsberechnungseinheit, die konfiguriert ist, jeden der Standorte des sich bewegenden Objekts zu identifizieren, der durch die lokale Karte gemäß dem Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder dargestellt wird, die als Keyframe-Bild der lokalen Karte bestimmt sind, und die konfiguriert ist, eine Zuverlässigkeit für die lokale Karte basierend auf jedem der identifizierten Standorte des sich bewegenden Objekts zu berechnen; und wobei die Aktualisierungseinheit die Gesamtkarte unter Verwendung der lokalen Karte gemäß der berechneten Zuverlässigkeit aktualisiert.
Die Informationsverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3, ferner umfassend: eine Formmodell-Erzeugungseinheit, die konfiguriert ist, ein Formmodell zu erzeugen, das die dreidimensionale Koordinate jedes Punktes auf dem sich bewegenden Objekt darstellt; wobei die Aktualisierungseinheit ferner die Gesamtkarte basierend auf dem Standort des sich bewegenden Objekts, die aus der lokalen Karte erhalten wird, und dem Formmodell, das durch die Formmodell-Erzeugungseinheit erzeugt wird, aktualisiert.
Eine Datenverwaltungsvorrichtung, umfassend: eine Empfangseinheit, die konfiguriert ist, eine Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum zu empfangen, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung erfasst werden, die auf dem sich bewegenden Objekt montiert ist; eine Standortschätzeinheit, die konfiguriert ist, einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder zu schätzen, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des sich bewegenden Objekts durch die Bilderfassungseinrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst wurden, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern, basierend auf der empfangenen Zeitreihe der peripheren Bilder, darstellt; eine Erzeugungseinheit, die konfiguriert ist, eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes, basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind, zu berechnen, und konfiguriert ist, eine lokale Karte zu erzeugen, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des sich bewegenden Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und eine Aktualisierungseinheit, die konfiguriert ist, einen Abschnitt zu aktualisieren, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Ein Datenverwaltungssystem, umfassend: eine Informationsverarbeitungsvorrichtung, die Folgendes beinhaltet eine Erfassungseinheit, die konfiguriert ist, eine Gesamtkarte aus einem Speicher zu erfassen, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Erfassung des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt, eine Standortschätzeinheit, die konfiguriert ist, einen Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder zu schätzen, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher unter den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungseinrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden, eine Erzeugungseinheit, die konfiguriert ist, eine dreidimensionale Koordinate jedes Merkmalspunktes des peripheren Bildes zu berechnen, basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind, und konfiguriert ist, eine lokale Karte zu erzeugen, die jedes der peripheren Bilder, die als das Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des sich bewegenden Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt, und eine Übertragungseinheit, die konfiguriert ist, die lokale Karte zu übertragen, die von der Erzeugungseinheit erzeugt wird; und eine Datenverwaltungsvorrichtung, die Folgendes beinhaltet eine Speichereinheit, die konfiguriert ist, die Gesamtkarte zu speichern, die jedes der Keyframe-Bilder, die Bilder darstellen, die gemäß den Standorten des sich bewegenden Objekts von der Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, aufgenommen werden, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt, und eine Aktualisierungseinheit, die konfiguriert ist, einen Abschnitt, der der lokalen Karte der Gesamtkarte entspricht, die in der Speichereinheit gespeichert ist, basierend auf der lokalen Karte, die von der Informationsverarbeitungsvorrichtung übertragen wird, zu aktualisieren.
Ein Informationsverarbeitungsverfahren, umfassend: Erfassen einer Gesamtkarte aus einem Speicher, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeder der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt; Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt des Erfassens jedes der peripheren Bilder, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Ein Datenverwaltungsverfahren, umfassend: Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist; Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, aufgenommen wurden, jeden der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Ein Informationsverarbeitungsprogramm, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst: Erfassen einer Gesamtkarte aus einem Speicher, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeder der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt; Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt des Erfassens jedes der peripheren Bilder, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Ein Datenverwaltungsprogramm, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst: Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist; Schätzen eines Standorts des bewegten Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des bewegten Objekts durch die Bilderfassungsvorrichtung, die auf dem bewegten Objekt montiert ist, erfasst wurden, jeden der Standorte des bewegten Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Ein Datenverwaltungsverfahren, umfassend: Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist; Schätzen eines Standorts des bewegten Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des bewegten Objekts durch die Bilderfassungsvorrichtung, die auf dem bewegten Objekt montiert ist, erfasst wurden, jeden der Standorte des bewegten Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Ein Informationsverarbeitungsprogramm, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst: Erfassen einer Gesamtkarte aus einem Speicher, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeder der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt; Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt des Erfassens jedes der peripheren Bilder, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Das Informationsverarbeitungsprogramm nach Anspruch 12, ferner umfassend: Korrigieren jeder der Standorte des sich bewegenden Objekts, die durch die lokale Karte dargestellt wird und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf dem Standort des sich bewegenden Objekts, das aus dem Keyframe-Bild der erzeugten lokalen Karte identifiziert wird.
Das Informationsverarbeitungsprogramm nach Anspruch 12 oder 13, ferner umfassend: Identifizieren jeder der Standorte des sich bewegenden Objekts, das durch die lokale Karte dargestellt wird, gemäß dem Standort des sich bewegenden Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die als Keyframe-Bild der lokalen Karte bestimmt sind; Berechnen einer Zuverlässigkeit für die lokale Karte basierend auf jedem der identifizierten Standorte des sich bewegenden Objekts; und Aktualisierung der Gesamtkarte durch Verwendung der lokalen Karte gemäß der berechneten Zuverlässigkeit.
Das Informationsverarbeitungsprogramm nach einem der Ansprüche 12 bis 14, ferner umfassend: Erzeugen eines Formmodells, das die dreidimensionale Koordinate jedes der Punkte auf dem sich bewegenden Objekt darstellt; und Aktualisieren der Gesamtkarte basierend auf dem Standort des sich bewegenden Objekts, die aus der lokalen Karte und dem Formmodell, das durch das Erzeugen eines Formmodells erzeugt wird, erhalten wird.
Eine Datenverwaltungsprogramm, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst: Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist; Schätzen eines Standorts des bewegten Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des bewegten Objekts durch die Bilderfassungsvorrichtung, die auf dem bewegten Objekt montiert ist, erfasst wurden, jeden der Standorte des bewegten Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Speichermedium, das ein von einem Computer durchgeführtes Informationsverarbeitungsverfahren speichert, wobei das Verfahren umfasst: Erfassen einer Gesamtkarte aus einem Speicher, der die Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die von einer Bilderfassungsvorrichtung aufgenommen werden, die an einem sich bewegenden Objekt montiert ist, gemäß den Standorten des sich bewegenden Objekts, jeder der Standorte des sich bewegenden Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und einer dreidimensionalen Koordinate jedes der Merkmalspunkte des Keyframe-Bilds darstellt; Schätzen eines Standorts des sich bewegenden Objekts zum Zeitpunkt des Erfassens jedes der peripheren Bilder, die bestimmt sind, um einem der Keyframe-Bilder zu entsprechen, die im Speicher zwischen den peripheren Bildern gespeichert sind, basierend auf einer Zeitreihe der peripheren Bilder um das sich bewegende Objekt herum, die während der Bewegung des sich bewegenden Objekts durch die Bilderfassungsvorrichtung, die auf dem sich bewegenden Objekt montiert ist, erfasst werden; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der erfassten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.
Speichermedium, das ein Datenverwaltungsprogramm speichert, um einen Computer zu veranlassen, einen Prozess durchzuführen, der umfasst: Empfangen einer Zeitreihe von peripheren Bildern um ein sich bewegendes Objekt herum, die während der Bewegung des sich bewegenden Objekts von einer Bilderfassungsvorrichtung aufgenommen werden, die auf dem sich bewegenden Objekt montiert ist; Schätzen eines Standorts des bewegten Objekts zum Zeitpunkt der Aufnahme jedes der peripheren Bilder, die bestimmt sind, einem der Keyframe-Bilder zu entsprechen, die in einem Speicher gespeichert sind, der eine Gesamtkarte speichert, die jedes der Keyframe-Bilder, die Bilder darstellen, die zuvor gemäß den Standorten des bewegten Objekts durch die Bilderfassungsvorrichtung, die auf dem bewegten Objekt montiert ist, erfasst wurden, jeden der Standorte des bewegten Objekts zum Zeitpunkt der Aufnahme des Keyframe-Bilds und eine dreidimensionale Koordinate jedes der Merkmalspunkte des Keyframe-Bilds unter den peripheren Bildern basierend auf der empfangenen Zeitreihe der peripheren Bilder darstellt; Berechnen einer dreidimensionalen Koordinate jedes der Merkmalspunkte des peripheren Bildes basierend auf jedem der geschätzten Standorte des sich bewegenden Objekts und jedem der peripheren Bilder, die als Keyframe-Bild bestimmt sind; Erzeugen einer lokalen Karte, die jedes der peripheren Bilder, die als Keyframe-Bild bestimmt sind, jeden der geschätzten Standorte des bewegten Objekts und die dreidimensionale Koordinate jedes der Merkmalspunkte des peripheren Bildes darstellt; und Aktualisieren eines Abschnitts, der der lokalen Karte der vom Speicher gespeicherten Gesamtkarte entspricht, basierend auf der erzeugten lokalen Karte.