DE102016124856A1

DE102016124856A1 - Verfahren zur Erstellung einer Umgebungskarte für ein Bearbeitungsgerät

Info

Publication number: DE102016124856A1
Application number: DE102016124856.8A
Authority: DE
Inventors: Lorenz Hillen
Original assignee: Vorwerk and Co Interholding GmbH
Current assignee: Vorwerk and Co Interholding GmbH
Priority date: 2016-12-19
Filing date: 2016-12-19
Publication date: 2018-06-21
Also published as: TW201823768A; US11269350B2; JP2020502653A; EP3555721A1; WO2018114412A1; CN110088702A; US20190324473A1

Abstract

Die Erfindung betrifft ein Verfahren zur Erstellung einer Umgebungskarte (2) für ein sich selbsttätig innerhalb einer Umgebung (3) fortbewegendes Bearbeitungsgerät (1), wobei eine Detektionseinrichtung (4) Umgebungsmerkmale (5) und/oder Objekte (6) innerhalb der Umgebung (3) detektiert, und wobei Positionsdaten der Umgebungsmerkmale (5) und/oder Objekte (6) von einer Auswerteeinrichtung zu einer Umgebungskarte (2) verarbeitet werden. Um eine intuitive Nutzer-Bearbeitungsgerät-Interaktion zu erreichen, wird vorgeschlagen, dass die detektierten Umgebungsmerkmale (5) und/oder Objekte (6) durch eine 3D-Rekonstruktion zu einer fotorealistischen dreidimensionalen Umgebungskarte (2) verarbeitet werden.

Description

Gebiet der Technik
Die Erfindung betrifft ein Verfahren zur Erstellung einer Umgebungskarte für ein sich selbsttätig innerhalb einer Umgebung fortbewegendes Bearbeitungsgerät, wobei eine Detektionseinrichtung Umgebungsmerkmale und/oder Objekte innerhalb der Umgebung detektiert, und wobei Positionsdaten der Umgebungsmerkmale und/oder Objekte von einer Auswerteeinrichtung zu einer Umgebungskarte verarbeitet werden.
Stand der Technik
Verfahren der vorgenannten Art sind im Stand der Technik bekannt. Ein beispielsweise zur Reinigung einer Bodenfläche verwendetes Bearbeitungsgerät fährt selbsttätig nach einer vorprogrammierten Fahr- und gegebenenfalls Bearbeitungsstrategie innerhalb der Umgebung, beispielsweise innerhalb einer Wohnung oder dergleichen. In diesem Zusammenhang ist es ebenfalls bekannt, dass das Bearbeitungsgerät über eine Umgebungskarte der Wohnung, gegebenenfalls über mehrere Umgebungskarten für mehrere Räume der Wohnung, verfügt. Die Umgebungskarte ist bevorzugt in einem Datenspeicher des Bearbeitungsgerätes oder eines externen Gerätes abgelegt. In der Umgebungskarte sind Positionsdaten von Objekten, beispielsweise Hindernissen und/oder Möbeln, Begrenzungswänden und dergleichen vermerkt.
Zur Erstellung der Umgebungskarte ist es bekannt, das Bearbeitungsgerät im Rahmen einer Lernfahrt durch die Umgebung fahren zu lassen. Ebenso kann die Umgebungskarte jedoch auch im Zuge einer Bearbeitungsfahrt des Bearbeitungsgerätes erstellt oder zumindest ergänzt werden.
Im Stand der Technik sind unterschiedliche Detektionseinrichtungen zur Erfassung der Umgebung bekannt. Die DE 10 2008 014 912 A1 offenbart beispielsweise ein Bearbeitungsgerät mit einem Rundum-Scanner. Die Detektion basiert auf einem optischen Triangulationsverfahren, welches Abstände zu Objekten misst.
Des Weiteren ist es im Stand der Technik auch bekannt, Umgebungskarten aus mosaikartig zusammengesetzten Bildern zu erstellen, die mittels einer an dem Bearbeitungsgerät angeordneten Kamera aufgenommen werden.
Der Aufbau der Umgebungskarte aus den mittels der Detektionseinrichtung aufgenommenen Daten kann beispielsweise nach bekannten Verfahren des visuellen SLAM (Simultaneous Localisation And Mapping) erfolgen. Dabei werden neu aufgenommene Daten der Detektionseinrichtung genutzt, um das Bearbeitungsgerät zum einen in der Umgebungskarte zu lokalisieren und zum anderen die bestehende Umgebungskarte zu erweitern oder zu verbessern.
Obwohl mit dem bekannten Verfahren eine Umgebungskarte erstellt werden kann, ist diese für einen Nutzer teilweise schwer zu lesen. Dies liegt daran, dass die Umgebung des Bearbeitungsgerätes häufig als 2D-Gitterkarte dargestellt wird. Diese Gitterkarte ist eine sehr vereinfachte, schematische Darstellung der Umgebung und ähnelt einem Grundriss von Räumen. Typischerweise enthält diese ausschließlich Informationen, welche innerhalb einer horizontalen Detektionsebene, die der Arbeitshöhe des Bearbeitungsgerätes entspricht, aufgenommen wurden, und unterscheidet auch nicht zwischen Umgebungsmerkmalen wie beispielsweise Wand-Boden-Übergängen und Objekten wie beispielsweise Möbeln. Unterfahrbare Objekte wie beispielsweise Betten, Tische oder Stühle werden typischerweise nicht in ihrer Gesamtheit in die Umgebungskarte eingetragen, sondern nur solche Bereiche, zum Beispiel Tischbeine, welche in der Detektionsebene liegen. Insgesamt sind die bekannten Gitterkarten somit für einen Nutzer weniger intuitiv erfassbar, da diese nicht der Wahrnehmung des Menschen entsprechen.
Zusammenfassung der Erfindung
Es ist daher Aufgabe der Erfindung, ein Verfahren zur Erstellung einer Umgebungskarte zu schaffen, bei welchem die erstellte Umgebungskarte für einen Nutzer einfacher zu lesen ist als die im Stand der Technik bekannten Umgebungskarten.
Zur Lösung der vorgenannten Aufgabe wird mit der Erfindung vorgeschlagen, dass die detektierten Umgebungsmerkmale und/oder Objekte der Umgebung durch eine 3D-Rekonstruktion zu einer fotorealistischen dreidimensionalen Umgebungskarte verarbeitet werden.
Durch die erfindungsgemäße fotorealistische 3D-Rekonstruktion der Umgebung wird dem Nutzer des Bearbeitungsgerätes nun eine intuitive Ansicht der Umgebung angeboten, welche mehr Informationen enthält als die bisher im Stand der Technik erstellten zweidimensionalen und oft schematisch gehaltenen Umgebungskarten. Dadurch kann sich der Nutzer leicht in der Umgebungskarte zurechtfinden, das Bearbeitungsgerät verfolgen und diesem Anweisungen für Bearbeitungsaufgaben erteilen. Mittels der 3D-Rekonstruktion erfolgt eine Rückgewinnung einer Tiefeninformation der Umgebung, welche bei der Aufnahme der Umgebungsmerkmale bzw. Objekte verloren gegangen ist. Damit wird ein Nachteil behoben, welcher bei der Detektion eines Umgebungsmerkmals bzw. eines Objektes in einer Szene der Umgebung besteht. Die erzeugte fotorealistische dreidimensionale Umgebungskarte stellt einem Nutzer des Bearbeitungsgerätes die Umgebung so dar, wie auch der Nutzer die Umgebung unmittelbar mit seinen Augen wahrnehmen würde. Die Perspektive der dargestellten Umgebung richtet sich dabei nach der Perspektive, mit welcher die Umgebung aufgenommen wurde, d. h. gegebenenfalls nach einer Ebene, welche tiefer liegt als die üblicherweise vogelperspektivische Draufsicht des Nutzers auf Objekte innerhalb der Umgebung. Allerdings können beispielsweise auch aus der Froschperspektive eines Bearbeitungsgerätes Übergänge zwischen Wänden und Zimmerdecken dargestellt werden. Die Detektionseinrichtung kann grundsätzlich auch ein relativ zu dem Bearbeitungsgerät verlagerbares separates Gerät sein, beispielsweise eine Kamera eines Mobiltelefons, Tablet-Computers und dergleichen.
Im Sinne von Umgebungsmerkmalen sind beispielsweise Übergänge zwischen Wänden, Bodenflächen und Deckenflächen eines Raumes gemeint. Unter dem Begriff Objekt wird in erster Linie ein Hindernis verstanden, wie beispielsweise ein Möbelstück, welches eine Fortbewegungsroute für das Bearbeitungsgerät versperrt.
Es wird vorgeschlagen, dass Umgebungsmerkmale und/oder Objekte, insbesondere Objektpunkte und/oder Objektflächen, zeitlich aufeinanderfolgend aus voneinander abweichenden Perspektiven der Detektionseinrichtung aufgenommen werden, wobei die Umgebungskarte aus den aufeinanderfolgenden Aufnahmen rekonstruiert wird. Während einer Fortbewegung der Detektionseinrichtung werden in zeitlichen Abständen Daten aufgenommen, nämlich beispielsweise Kamerabilder oder Abstandsdaten einer Distanzmesseinrichtung. Die zeitlichen und/oder räumlichen Abstände zwischen aufeinanderfolgenden Aufnahmen sind bekannt, besonders vorzugsweise können die Aufnahmen in regelmäßigen Abständen erfolgen, wobei die Regelmäßigkeit entweder auf eine zeitliche Komponente oder eine Distanzkomponente einer Fortbewegung der Detektionseinrichtung bezogen sein kann. Aus zwei aufeinanderfolgenden Aufnahmen lässt sich dann eine dreidimensionale Position des Umgebungsmerkmals und/oder des Objektes in der Umgebung berechnen, wenn eine zurückgelegte Strecke der Detektionseinrichtung, insbesondere eine gefahrene Distanz des Bearbeitungsgerätes, zwischen zwei Aufnahmen, beispielsweise Kamerabildern, bekannt ist. Die räumlichen Abstände können dabei beispielsweise durch eine Odometrie-Einrichtung des Bearbeitungsgerätes berechnet werden. Eine Positionsschätzung kann nicht nur für Umgebungsmerkmale, wie beispielsweise Ecken oder sonstige Wand-Boden- oder Wand-Decken-Übergänge, durchgeführt werden, sondern auch für Flächen. Die Flächen können als Punktewolke oder Flächenprimitive, wie beispielsweise Rechtecke oder Dreiecke, repräsentiert werden. Denkbar ist ein Kartenaufbau mit Punktewolken, welche in einem Nachbearbeitungsschritt in Flächenprimitive umgewandelt werden. Dadurch kann die Datenmenge, die verarbeitet werden muss, reduziert werden.
Die Erstellung der Umgebungskarte kann nach bekannten Verfahren des visuellen SLAM (Simultaneous Localisation And Mapping) erfolgen, wobei Algorithmen für die Verarbeitung von Punktewolken und/oder Flächenprimitiven benutzt werden. Unabhängig von der Art der verwendeten Kartenrepräsentation ist den SLAM-Algorithmen gemeinsam, dass die mittels der Detektionseinrichtung aufgenommenen Daten dabei einerseits genutzt werden, um eine Umgebungskarte zu erstellen, zu erweitern oder zu verbessern, und andererseits um gleichzeitig das Bearbeitungsgerät innerhalb der Umgebungskarte zu lokalisieren. Neu aufgenommene Daten werden in der Regel mit Hilfe von probabilistischen Schätzverfahren oder Optimierungsverfahren mit den bereits vorhandenen Daten einer Umgebungskarte fusioniert. Insgesamt kann somit aus zeitlich und/oder räumlich abweichenden Aufnahmen der Detektionseinrichtung für jedes Umgebungsmerkmal und/oder Objekt der Umgebung eine Position in Bezug auf ein Weltkoordinatensystem berechnet werden.
Insbesondere erhalten Objektpunkte und/oder Objektflächen einen bestimmten Punkt des Weltkoordinatensystems zugewiesen.
Insbesondere wird vorgeschlagen, dass die Umgebungsmerkmale und/oder Objekte während einer Fortbewegung des Bearbeitungsgerätes, insbesondere im Rahmen einer Bodenbearbeitung, aufgenommen werden. Beispielsweise kann die Umgebungskarte während einer Reinigungsfahrt des Bearbeitungsgerätes erstellt werden. Somit ist keine separate Detektionsfahrt des Bearbeitungsgerätes zur Aufnahme von Daten zur Erstellung der Umgebungskarte notwendig. Alternativ kann der Aufbau der Umgebungskarte auch zeitlich nach einer speziellen Detektionsfahrt erfolgen, während welcher das Bearbeitungsgerät keine Bearbeitungsaufgabe, wie beispielsweise das Saugen und/oder Wischen einer Bodenfläche, ausführt. Eine solche Detektionsfahrt kann entweder autonom von dem Bearbeitungsgerät oder durch einen Nutzer des Bearbeitungsgerätes gesteuert werden. Des Weiteren ist es auch möglich, dass der Kartenaufbau zeitlich nach einer Bearbeitungstätigkeit des Bearbeitungsgerätes erfolgt, beispielsweise wenn sich das Bearbeitungsgerät zum Laden an einer Basisstation befindet Nach Ende der jeweiligen Fahrt, egal ob Detektionsfahrt, Bearbeitungsfahrt oder eine Kombination dieser, hat das Bearbeitungsgerät vorzugsweise die gesamte erreichbare Umgebung kartiert und ein entsprechendes 3D-Modell berechnet, mit welchem der Nutzer interagieren kann, oder welches Ausgangspunkt für weitere Anwendungen ist.
Es wird vorgeschlagen, dass die Detektionseinrichtung eine Kamera ist, welche Bilder der Umgebung aufnimmt. In einem besonders einfachen Fall kann die Detektionseinrichtung eine unidirektionale Kamera sein, welche auf dem Bearbeitungsgerät (oder auch in einem anderen mobilen Gerät) installiert ist. Alternativ können Bilder der Umgebung auch mittels eines omnidirektionalen Kamerasystems aufgenommen werden, d. h. mittels eines Kamerasystems mit einem deutlich größeren Sichtfeld als unidirektionale Kameras. Ein solches Kamerasystem kann beispielsweise ein Panoramakamerasystem mit einem horizontalen Gesichtsfeld von 360 Grad sein, oder ein Kamerasystem mit Fischaugenlinsen, welche in entgegengesetzte Richtungen ein Sichtfeld von 180 Grad und mehr aufweisen. Des Weiteren kann ein Stereo-Kamerasystem verwendet werden, bei welchem zwei Kameras nebeneinander angeordnet sind, oder eine Tiefenkamera, häufig als RGB-D-Kamera bezeichnet, bei welcher eine Stereoberechnung durch Projektion eines bekannten Punktemusters erfolgt. Ebenso kann auch eine zur Decke gerichtete Kamera verwendet werden. Besonders bevorzugt werden mehrere optische Systeme oder Detektionseinrichtungen miteinander kombiniert.
Alternativ oder zusätzlich zu der Verwendung einer Kamera als Detektionseinrichtung kann auch ein Laserdistanzsensor Anwendung finden, welcher besonders vorzugsweise Daten nicht nur in einer Ebene erfasst, sondern durch Verschwenken in einer Vielzahl von Ebenen. Des Weiteren können auch Informationen von Bildsensoren und Abstandssensoren miteinander fusioniert werden, beispielsweise indem Daten einer Kamera und Daten einer Distanzmesseinrichtung, wie beispielsweise eines Laserentfernungsmessers, miteinander kombiniert werden.
Es kann vorgesehen sein, dass die detektierten Umgebungsmerkmale und/oder Objekte zur Erstellung der Umgebungskarte in einem externen Gerät, insbesondere einem mobilen Gerät und/oder einem Server, verarbeitet werden. Die zur Erstellung der Umgebungskarte benötigten Berechnungen können somit nicht nur von einem eigenen Onboard-Computer des Bearbeitungsgerätes durchgeführt werden, sondern alternativ auch von einem externen Server, d. h. einer Cloud, oder mittels eines Computers eines mobilen Endgerätes, wie beispielsweise eines Mobiltelefons, eines Laptops, eines Tablet-Computers oder dergleichen. Denkbar sind auch Teillösungen, bei welchen ein Teil der Berechnungen auf dem Bearbeitungsgerät selbst und ein Teil der Berechnungen auf einem externen Gerät wie einem Server ausgeführt werden. Beispielsweise kann ein SLAM-Verfahren auf der Grundlage von Punktewolken auf dem Bearbeitungsgerät durchgeführt werden, während eine Umrechnung der Kartenrepräsentation in Flächenprimitive auf einem Server erfolgt. Im Falle einer zumindest teilweise externen Berechnung werden die detektierten Umgebungsmerkmale und/oder Objekte bzw. daraus bereits berechnete Daten als Datenmenge über eine bevorzugt drahtlose Netzwerkverbindung an ein externes Gerät übermittelt, welches dann die Berechnungen durchführt.
Es wird vorgeschlagen, dass die Umgebungskarte auf einem Display eines externen Gerätes, insbesondere eines mobilen Gerätes, dargestellt wird. Die Visualisierung der Umgebungskarte und die Nutzerinteraktion kann somit auf einem anderen Gerät als dem Bearbeitungsgerät selbst erfolgen. Insbesondere empfiehlt sich die Visualisierung auf dem Display eines mobilen Endgerätes. Beispielsweise kann die Umgebungskarte auf dem Display eines Mobiltelefons, Laptops, Tablet-Computers, Fernsehers, einer Küchenmaschine und dergleichen erfolgen. Denkbar ist jedoch auch die Darstellung der Umgebungskarte auf dem Display des Bearbeitungsgerätes in Verbindung mit entsprechenden Bedienelementen des Bearbeitungsgerätes. Im letztgenannten Fall entfällt eine Datenübertragung über ein Netzwerk. Die Umgebungskarte kann bereits während des Kartenaufbaus dargestellt werden, und/oder erst, wenn eine Fortbewegung des Bearbeitungsgerätes innerhalb der Umgebung beendet ist.
Es kann vorgesehen sein, dass zumindest ein Teilbereich der dargestellten Umgebungskarte und/oder ein in der Umgebungskarte dargestelltes Objekt rotiert, vergrößert und/oder verschoben werden kann. Damit kann ein Nutzer die Ansicht der Umgebungskarte derart verändern, dass beispielsweise eine Perspektive verändert wird, die Ansicht vergrößert und/oder verschoben wird und ähnliches. Beispielsweise kann die Ansicht auf ein Objekt auch so variiert werden, dass die Perspektive, aus welcher das Objekt dargestellt ist, einer aktuellen Ansicht des Nutzers in die Umgebung entspricht. Alternativ kann ein Objekt innerhalb der Umgebungskarte, oder auch die gesamte dargestellte Umgebung, so rotiert werden, dass die Ansicht einer aktuellen Fortbewegungsrichtung des Bearbeitungsgerätes entspricht.
Es kann zudem vorgesehen sein, dass ein Nutzer des Bearbeitungsgerätes einem in der Umgebungskarte vorhandenen Raum und/oder Raumteilbereich und/oder Objekt einen Namen und/oder einen Farbcode und/oder ein Symbol zuordnet, welche in Steuerbefehle zur Steuerung einer Fortbewegung des Bearbeitungsgerätes eingebunden werden können. Dadurch wird es dem Nutzer des Bearbeitungsgerätes erleichtert, sich in der Umgebungskarte zurechtzufinden. Beispielsweise können Räume einer Wohnung durch Zuweisung von Farben und/oder Namen gekennzeichnet werden, beispielsweise mit dem Namen „Küche“ und einer roten Einfärbung. Alternativ zu einzelnen Räumen können auch nur einzelne Bereiche eines Raumes in gleicher Art und Weise benannt werden, beispielsweise mit dem Namen „Hundeecke“ und der Farbe braun. Es können des Weiteren bestimmte Objekte durch Zuweisen eines Namens markiert werden, beispielsweise mit dem Namen „Sofa“, „Bett“ usw. Darüber hinaus kann die aktuelle Position des Bearbeitungsgerätes in der Umgebungskarte dargestellt werden. Dies kann auf einfache Art und Weise geschehen, beispielsweise indem ein Symbol wie ein Punkt oder ein Fähnchen zur Repräsentation des Bearbeitungsgerätes dargestellt wird. Aufwendigere Darstellungen zeigen ein 3D-Modell des Bearbeitungsgerätes in der Umgebungskarte. Aufbauend auf den Namen und/oder Farbcodes und/oder Symbolen können Funktionen zur Interaktion mit dem Bearbeitungsgerät implementiert werden. Beispielsweise kann ein zugeordneter Name und/oder ein zugeordneter Farbcode für das Anwählen eines Startpunktes oder einer Position, die das Bearbeitungsgerät in der Umgebung anfahren soll, genannt werden. Beispielsweise kann eine Position einer Basisstation innerhalb der Umgebungskarte gewählt werden, um das Bearbeitungsgerät dort für einen Ladevorgang eines Akkumulators hinzuschicken. Es können definierte Räume oder definierte Bereiche, die das Bearbeitungsgerät ansteuern soll, ausgewählt werden, beispielsweise durch Befehle wie „Reinige das Wohnzimmer“ oder „Reinige die Hundeecke“. Des Weiteren können auch Bereiche, die nicht mit einem Namen oder Farbcode verknüpft sind, durch Markieren ausgewählt werden, beispielsweise für eine Spotreinigung. Ebenso ist es möglich, Bereiche oder Räume innerhalb der Umgebungskarte auszuwählen, die nicht bearbeitet und nicht befahren werden sollen, nicht bearbeitet werden sollen aber befahren werden dürfen, oder besonders intensiv oder mit bestimmten Bearbeitungsparametern bearbeitet werden sollen.
Sollte das Bearbeitungsgerät zur Navigation eine andere Umgebungskarte nutzen als dem Nutzer zur Benutzerinteraktion auf dem Display dargestellt wird, so ist sicherzustellen, dass zum Beispiel eine Position, die der Nutzer in der angezeigten Umgebungskarte auswählt, korrekt in die von dem Bearbeitungsgerät verwendete Karte umgerechnet wird. Eine solche Umrechnung wird beispielsweise notwendig, wenn die Umgebungskarte, die dem Nutzer dargestellt wird, stark nachbearbeitet wurde, beispielsweise durch eine Umrechnung von Punktewolken in Flächenprimitive, Ausreißer-Eliminierung, d. h. Entfernen fehlerbehafteter Messwerte/Hindernispunkte, oder Anpassung von geraden Segmenten an eine Punktewolke.
Es kann vorgesehen sein, dass ein Objekt innerhalb der Umgebungskarte segmentiert wird und aus der Umgebungskarte extrahiert wird, wobei das extrahierte Objekt und/oder die um das extrahierte Objekt reduzierte Umgebungskarte in ein Datenverarbeitungsprogramm importiert und von diesem weiterverarbeitet wird. Ausgehend von der 3D-Umgebungskarte lassen sich somit einzelne Objekte der Umgebung, beispielsweise einzelne Möbelstücke, segmentieren und extrahieren. Die Segmentierung kann beispielsweise darauf beruhen, dass zusätzlich eine Bodenfläche, eine Decke und/oder Wände detektiert werden, beispielsweise ein Boden als waagerechte Fläche ohne Elevation, eine Wand als raumhohe vertikale Fläche und dergleichen. Nachfolgend wird das Objekt aus der 3D-Umgebungskarte herausgerechnet, also entfernt. Bei den übrig gebliebenen Strukturen im 3D-Modell handelt es sich dann mit großer Wahrscheinlichkeit ausschließlich um Objekte innerhalb der Umgebung, welche sich beispielsweise als Möbelstücke identifizieren lassen, indem man nach einer Ebene parallel zu einer Bodenfläche in geeigneter Höhe sucht, beispielsweise mit einem Abstand von ca. 80 cm bis 120 cm. Somit lassen sich Objekte wie Tische, Stühle, Schränke, Regale und viele weitere Möbelstücke identifizieren. Die segmentierten Objekte kann der Nutzer dann beispielsweise in ein anderes 3D-Modellierungsprogramm zur Weiterverarbeitung importieren. Beispielsweise können Möbelstücke aus der Umgebungskarte entfernt werden, um einen Grundriss eines Raumes oder einer Wohnung ohne Möbelstücke zu erhalten. Dieser Grundriss kann beispielsweise genutzt werden, um den Raum vermessen zu können, um ein anderes Möbelstück aus einer Möbeldatenbank in das 3D-Modell zu integrieren, um eine Einrichtung der Wohnung oder des Raumes zu ändern, um zu sehen wie andere Anordnungen von Möbelstücken aussehen würden, und dergleichen. Der Nutzer kann das errechnete 3D-Modell der Umgebung in ein Netzwerk hochladen und mit anderen Nutzern teilen.
Dies kann im Rahmen geeigneter Plattformen erfolgen, beispielsweise Social Media Plattformen wie Facebook, spezielle Einrichtungsportale und dergleichen. Alternativ kann das Bearbeitungsgerät auch ein bereits berechnetes 3D-Modell als Referenz abspeichern, gegebenenfalls unter Zuhilfenahme eines externen Gerätes, Servers oder dergleichen. Zur Erkennung von Veränderungen der Umgebung, beispielsweise während einer Patrouillenfahrt des Bearbeitungsgerätes, kann das Bearbeitungsgerät sein aktuelles Detektionsergebnis mit dem Referenzmodell vergleichen. Werden dabei unplausible Veränderungen oder sich fortbewegende Objekte erkannt, so kann das Bearbeitungsgerät einen Alarm ausgeben, zum Beispiel indem der Nutzer eine Mitteilung auf ein mobiles Endgerät erhält.
Schließlich wird vorgeschlagen, dass eine aktuelle Position des Bearbeitungsgerätes in der Umgebungskarte angezeigt wird. Dadurch erhält der Nutzer beispielsweise auch dann eine Information über die aktuelle Position des Bearbeitungsgerätes innerhalb der Umgebung, wenn er das Bearbeitungsgerät nicht selbst wahrnehmen kann, weil sich dieses beispielsweise in einem anderen Raum befindet als der Nutzer selbst.
Figurenliste
Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. Es zeigen:

1 ein Bearbeitungsgerät in einer perspektivischen Ansicht von außen,
2 eine Umgebung, in welcher ein Bearbeitungsgerät entlang einer Fortbewegungsroute verfährt,
3 ein Bearbeitungsgerät während einer Vermessung der Umgebung,
4 eine fotorealistische dreidimensionale Umgebungskarte.

Beschreibung der Ausführungsformen
1 zeigt ein sich selbsttätig fortbewegendes Bearbeitungsgerät 1, welches hier als Saugroboter ausgebildet ist. Das Bearbeitungsgerät 1 verfügt über eine Detektionseinrichtung 4, welche innerhalb des Gehäuses des Bearbeitungsgerätes 1 angeordnet ist. Die Detektionseinrichtung 4 ist hier ein Kamerachip, beispielsweise ein CMOS- oder CCD-Chip, welcher ein Bild einer Umgebung 3 über in dem Gehäuse des Bearbeitungsgerätes 1 ebenfalls angeordnete Spiegel empfängt. Die Detektionseinrichtung 4 ist rotationsbeweglich, hier beispielsweise um 360 Grad, innerhalb des Gehäuses angeordnet, so dass Bilder der Umgebung rundum das Bearbeitungsgerät 1 herum aufgenommen werden können. Alternativ zu der Ausbildung der Detektionseinrichtung 4 als Kamera kann die Detektionseinrichtung 4 auch als optische Triangulationsmesseinrichtung oder dergleichen ausgebildet sein.
Das Bearbeitungsgerät 1 ist über Verfahrräder (nicht dargestellt) über eine zu reinigende Fläche verfahrbar. Des Weiteren weist das Bearbeitungsgerät 1 unterseitig, der zu reinigenden Fläche zugewandt, elektromotorisch angetriebene Bürsten (ebenfalls nicht dargestellt) auf. Des Weiteren weist das Bearbeitungsgerät 1 im Bereich der Bürsten eine nicht weiter dargestellte Saugmundöffnung auf, über welche mittels einer Motor-Gebläse-Einheit mit Sauggut beaufschlagte Luft in das Bearbeitungsgerät 1 eingesaugt werden kann. Für die Elektroversorgung der einzelnen Elektrokomponenten, beispielsweise für den Antrieb der Verfahrräder und der Bürsten und darüber hinaus weiter vorgesehener Elektronik, weist das Bearbeitungsgerät 1 einen wieder aufladbaren Akkumulator auf.
Die von der Detektionseinrichtung 4 aufgenommenen Bilder der Umgebung 3 können zu einer Umgebungskarte 2 kombiniert werden, wobei der Kartenaufbau nach bekannten Verfahren des visuellen SLAM (Simultaneous Localisation And Mapping) erfolgt.
2 zeigt eine Umgebung 3 des Bearbeitungsgerätes 1, welche hier ein Teilbereich einer Wohnung ist, innerhalb welcher das Bearbeitungsgerät 1 selbsttätig verfahren kann. Die Umgebung 3 wird von dem Bearbeitungsgerät 1 entlang einer Fortbewegungsroute 9 durchfahren, wobei die Fortbewegungsroute 9 in äquidistanten Abständen eine Vielzahl von Messorten 10 aufweist, an welchen eine Aufnahme von Umgebungsmerkmalen 5 und/oder Objekten 6 der Umgebung 3 mittels der Detektionseinrichtung 4 erfolgt. Eine Schätzung einer Fahrdistanz d zwischen zwei Messorten 10 der Fortbewegungsroute 9 kann mittels Odometrie erfolgen, so dass stets auch auf die aktuelle Position des Bearbeitungsgerätes 1 innerhalb der Umgebung 3 geschlossen werden kann. Während der Fortbewegung des Bearbeitungsgerätes 1 werden in den dargestellten Abständen Bilder der Umgebung 3 aufgenommen. Aus jeweils zwei aufeinanderfolgenden Bildern werden dann Objektpunkte A, B, bzw. Objekte 6 und/oder Umgebungsmerkmale 5 mit Koordinaten eines Weltkoordinatensystems versehen.
3 zeigt eine Detektion von Umgebungsmerkmalen 5 am Beispiel eines Wand-Decken-Übergangs, welcher einen Objektpunkt A aufweist, und am Beispiel eines bodennahen Objektes 6, welches einen Objektpunkt B aufweist. Die Positionen der Objektpunkte A und B innerhalb eines Weltkoordinatensystems können berechnet werden, indem zunächst an zwei aufeinanderfolgenden Messorten 10 ein Kamerabild aufgenommen wird. Eine Positionsschätzung für die Messorte 10 ist über ein Lokalisationsverfahren in einer bereits aufgebauten Umgebungskarte 2 möglich. Ein solches Verfahren wird ohnehin zur Navigation des Bearbeitungsgerätes 1 innerhalb der Umgebung 3 benötigt. Eine Schätzung für die von dem Bearbeitungsgerät 1 zurückgelegte Strecke zwischen zwei aufeinanderfolgenden Messorten 10 wird mittels Odometrie oder Vektorsubtraktion zwischen den aufeinanderfolgenden Messorten 10 entlang der Fortbewegungsroute 9 berechnet. Aus dem Abstand der Messorte 10, einem jeweiligen Detektionsausgangspunkt C₁ , C₂ der Detektionseinrichtung 4 sowie zwei Winkeln α und α₂ für den Objektpunkt A und zwei Winkeln β₁ und β₂ für den Objektpunkt B können die Objektpunkte A, B in Bezug auf die aktuelle Position der Detektionseinrichtung 4 korrespondierend zu den jeweiligen Messorten 10 berechnet werden. Da die Position der Detektionseinrichtung 4 auf dem Bearbeitungsgerät 1 bekannt ist, können die Positionsschätzungen der Objektpunkte A und B in Bezug auf die Messorte 10 und somit das Weltkoordinatensystem durchgeführt werden.
Auf diese Art und Weise kann eine große Vielzahl von Objektpunkten A, B berechnet werden, so dass sich eine Punktewolke ergibt. Diese Punktewolke kann dann in eine dreidimensionale Darstellung der Umgebung 3, die aus Flächenprimitiven, beispielsweise Rechtecken und Dreiecken, besteht, umgerechnet werden.
Die Berechnungen zur Erstellung der Umgebungskarte 2 können grundsätzlich innerhalb des Bearbeitungsgerätes 1, mittels eines Onboard-Computers, durchgeführt werden. In dem gezeigten Ausführungsbeispiel werden die von der Detektionseinrichtung 4 aufgenommenen Bilddaten jedoch per drahtloser Kommunikation an ein externes Gerät 8, hier ein Laptop, übermittelt. Auf dem Laptop werden sowohl das SLAM-Verfahren auf der Grundlage von Punktewolken als auch die Umrechnung der Punktewolken in Flächenprimitive, aus welchen schließlich die fotorealistische dreidimensionale Umgebungskarte 2 aufgebaut ist, durchgeführt.
Gemäß 3 weist das externe Gerät 8, nämlich das Laptop, ein Display 7 auf, auf welchem die erstellte Umgebungskarte 2 angezeigt wird. In der Umgebungskarte 2 ist zum einen das Bearbeitungsgerät 1 selbst dargestellt, als auch Objekte 6, nämlich hier Möbelstücke, welche innerhalb der Umgebung 3 vorhanden sind. Die Anzeige der Umgebungskarte 2 auf dem Display 7 des Gerätes 8 kann noch während einer Fortbewegung des Bearbeitungsgerätes 1 durch die Umgebung 3 erfolgen. Nach Ende der Fortbewegung des Bearbeitungsgerätes 1 ist dann die gesamte entlang der Fortbewegungsroute 9 durchfahrene Umgebung 3 kartiert und ein entsprechendes 3D-Modell berechnet, mit welchem der Nutzer interagieren kann und welches Ausgangspunkt für weitere Anwendungen sein kann. Die dargestellte fotorealistische Umgebungskarte 2 ermöglicht dem Nutzer des Bearbeitungsgerätes 1 eine intuitive Orientierung innerhalb der Umgebungskarte 2, so dass sich der Nutzer besonders leicht in der Umgebungskarte 2 zurechtfinden, das Bearbeitungsgerät 1 verfolgen und diesem Anweisungen geben kann.
4 zeigt eine Umgebungskarte 2 eines Raumes, welche anhand von unterschiedlichen Perspektiven des Bearbeitungsgerätes 1 erstellt wurde. Diese Umgebungskarte 2 ist eine fotorealistische dreidimensionale Darstellung der Umgebung 3, welche eine Vielzahl von Objekten 6 und auch eine aktuelle Position des Bearbeitungsgerätes 1 zeigt. Da das Bearbeitungsgerät 1 teilweise eine geringere Höhe als die Objekte 6, d. h. hier Möbelstücke, aufweist, beinhaltet die Umgebungskarte 2 eine Froschperspektive auf die Umgebung.
Die in der Umgebungskarte 2 dargestellten Objekte 6 können mit Namen und/oder Farbcodes versehen werden. Beispielsweise können hier Bereiche des dargestellten Raumes mit „Hundeecke“ oder dergleichen benannt werden. Des Weiteren können entsprechende Farben zugeordnet werden, beispielsweise die Farbe „Braun“ für die Hundeecke. Die Umgebungskarte 2 kann auf dem Display 7 des Gerätes 8 gedreht, vergrößert oder verschoben werden, so dass die Umgebungskarte 2 so orientiert ist, wie der Nutzer den jeweiligen Raum sieht, wenn er diesen betritt. Auch kann die aktuelle Position des Bearbeitungsgerätes 1 alternativ zu dem dargestellten 3D-Modell als Punkt, Fähnchen oder dergleichen in die Umgebungskarte 2 integriert werden.
Aufbauend auf den vorgenannten Funktionen zur Erstellung der Umgebungskarte 2 können auch weitere Funktionen zur Interaktion mit dem Bearbeitungsgerät 1 implementiert werden. Beispielsweise können Orte innerhalb des dargestellten Raumes ausgewählt werden, welche das Bearbeitungsgerät 1 gezielt anfahren soll. Zum Beispiel kann ein Befehl wie „Reinige die Hundeecke“ erfolgen.
Ausgehend von der dargestellten 3D-Umgebungskarte 2 lassen sich einzelne Objekte 6, beispielsweise Möbelstücke, segmentieren und aus der Umgebungskarte 2 extrahieren. Die Segmentierung und Extrahierung kann beispielsweise darauf beruhen, dass zunächst Wände und Bodenflächen als waagerechte bzw. vertikale Flächen erkannt und aus dem 3D-Modell der Umgebung 3 herausgerechnet werden. Bei den übriggebliebenen Strukturen des 3D-Modells handelt es sich dann mit großer Wahrscheinlichkeit um Objekte 6 wie Möbelstücke. Die Art der Objekte 6 lässt sich identifizieren, indem beispielsweise nach Ebenen parallel zu der Bodenfläche in ca. 80 cm bis 120 cm Abstand gesucht wird. Ähnlich lassen sich auch Suchkriterien für bestimmte Merkmale von Stühlen, Schränken, Regalen und dergleichen anwenden. Die segmentierten Objekte 6 kann der Nutzer dann in ein anderes 3D-Modellierungsprogramm zur Weiterverarbeitung importieren, beispielsweise in ein Programm zur Variation einer Inneneinrichtung oder dergleichen, um zu sehen, wie eine andere Anordnung von Möbelstücken in einem Raum aussehen würde. Der Nutzer kann das errechnete 3D-Modell der Umgebung 3 des Weiteren mit anderen Nutzern teilen, indem er dieses auf einem allgemein zugänglichen Server einer Social Media Plattform hochlädt.
Bezugszeichenliste

1: Bearbeitungsgerät
2: Umgebungskarte
3: Umgebung
4: Detektionseinrichtung
5: Umgebungsmerkmal
6: Objekt
7: Display
8: Gerät
9: Fortbewegungsroute
10: Messort
A: Objektpunkt
B: Objektpunkt
C₁: Detektionsausgangspunkt
C₂: Detektionsausgangspunkt
d: Fahrdistanz
α₁: Winkel
α₂: Winkel
β₁: Winkel
β₂: Winkel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008014912 A1 [0004]

Claims

Verfahren zur Erstellung einer Umgebungskarte (2) für ein sich selbsttätig innerhalb einer Umgebung (3) fortbewegendes Bearbeitungsgerät (1), wobei eine Detektionseinrichtung (4) Umgebungsmerkmale (5) und/oder Objekte (6) innerhalb der Umgebung (3) detektiert, und wobei Positionsdaten der Umgebungsmerkmale (5) und/oder Objekte (6) von einer Auswerteeinrichtung zu einer Umgebungskarte (2) verarbeitet werden, dadurch gekennzeichnet, dass die detektierten Umgebungsmerkmale (5) und/oder Objekte (6) durch eine 3D-Rekonstruktion zu einer fotorealistischen dreidimensionalen Umgebungskarte (2) verarbeitet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Umgebungsmerkmale (5) und/oder Objekte (6), insbesondere Objektpunkte (A, B) und/oder Objektflächen, zeitlich aufeinanderfolgend aus voneinander abweichenden Perspektiven der Detektionseinrichtung (4) aufgenommen werden, wobei die Umgebungskarte (2) aus den aufeinanderfolgenden Aufnahmen rekonstruiert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Umgebungsmerkmale (5) und/oder Objekte (6) während einer Fortbewegung des Bearbeitungsgerätes (1), insbesondere im Rahmen einer Bodenbearbeitung, aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Detektionseinrichtung (4) eine Kamera ist, welche Bilder der Umgebung (3) aufnimmt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die detektierten Umgebungsmerkmale (5) und/oder Objekte (6) zur Erstellung der Umgebungskarte (2) in einem externen Gerät (8), insbesondere einem mobilen Gerät (8) und/oder einem Server, verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungskarte (2) auf einem Display (7) eines externen Gerätes (8), insbesondere eines mobilen Gerätes (8), dargestellt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zumindest ein Teilbereich der dargestellten Umgebungskarte (2) und/oder ein in der Umgebungskarte (2) dargestelltes Objekt (6) rotiert, vergrößert und/oder verschoben werden kann.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Nutzer des Bearbeitungsgerätes (1) einem in der Umgebungskarte (2) vorhandenen Raum und/oder Raumteilbereich und/oder Objekt (6) einen Namen und/oder einen Farbcode und/oder ein Symbol zuordnet, welcher in Steuerbefehle zur Steuerung einer Fortbewegung des Bearbeitungsgerätes (1) eingebunden werden kann.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Objekt (6) innerhalb der Umgebungskarte (2) segmentiert wird und aus der Umgebungskarte (2) extrahiert wird, wobei das extrahierte Objekt (6) und/oder die um das extrahierte Objekt (6) reduzierte Umgebungskarte (2) in ein Datenverarbeitungsprogramm importiert und von diesem weiterverarbeitet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine aktuelle Position des Bearbeitungsgerätes (1) in der Umgebungskarte (2) angezeigt wird.