DE102013000964A1

DE102013000964A1 - Verfahren zum Erfassen und Darstellen von dreidimensionalen Objekten und Vorrichtung zur Durchführung eines solchen Verfahrens

Info

Publication number: DE102013000964A1
Application number: DE201310000964
Authority: DE
Inventors: Michael Wagner; Werner Dürr; Ralph Schönfelder
Original assignee: IPO PLAN GmbH
Current assignee: IPO Plan GmbH
Priority date: 2013-01-22
Filing date: 2013-01-22
Publication date: 2014-07-24
Also published as: DE202014000433U1

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten (7) in einer festlegbaren Umgebung (1), wobei mittels eines Sensorsystems (9) mit zumindest einem Tiefensensor (Sensor 19) der Tiefensensor zum Erfassen der Objekte (7) gegenüber den zu erfassenden Objekten (7) relativ bewegt wird, aus erfassten Sensordaten des Sensorsystems (9) zumindest ein digitales dreidimensionales Modell (29') von zumindest einem der erfassten Objekte (7) erzeugt und zumindest das digitale Modell (29') des Objekts (7) auf einer Darstellungseinrichtung (30) abgebildet wird.

Description

Die Erfindung betrifft ein Verfahren zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten in einer festlegbaren Umgebung.
Aus der DE 103 31 460 A1 ist ein Roboter bekannt, an dessen Roboterarm ein Projektor und eine Kamera in einem Raum bewegbar angeordnet sind. Ferner ist ein Objektträger beschrieben, der eine zu der Kamera und dem Projektor kalibrierte, relative Position einnimmt. Mit dem Projektor wird ein auf dem Objektträger angeordnetes Objekt beleuchtet und mit der Kamera werden einzelne Punkte auf der Oberfläche des Objektes aufgezeichnet. Um das dreidimensionale Objekt erfassen zu können, musst die Kamera in verschiedene, kalibrierte Relativpositionen zu dem Objekt gebracht werden. Aus vielen aufgezeichneten Punkten wird mit Hilfe des Triangulationsprinzips die Gestalt des dreidimensionalen Objekts ermittelt.
Ein solcher Roboter ist für die Erfassung von mehreren Objekten ungeeignet, da einerseits die Erfassung und Ermittlung nach dem Triangulationsprinzip relativ lange dauert und andererseits jeweils eine kalibrierte Position zu dem zu erfassenden Objekt eingestellt werden muss.
Aufgabe der Erfindung ist es, ein Verfahren der eingangs genannten Art anzugeben, das diese Nachteile nicht aufweist.
Gelöst wird diese Aufgabe mit einem Verfahren zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten in einer festlegbaren Umgebung, mit den Merkmalen des Patentanspruchs 1. Vorteilhafte Ausgestaltungen, Weiterbildungen und Ausführungsbeispiele der Erfindung sind Gegenstand der abhängigen Ansprüche.
Das erfindungsgemäße Verfahren nach Anspruch 1 zeichnet sich dadurch aus, dass dreidimensionale, zumindest zeitweise ruhende Objekte in einer festlegbaren Umgebung erfasst und dargestellt werden können, wobei hierfür ein Sensorsystem mit zumindest einem Tiefensensor zum Erfassen der Objekte gegenüber diesen Objekten relativ bewegt wird, aus den erfassten Sensordaten zumindest ein digitales, dreidimensionales Modell von zumindest einem der erfassten Objekte erzeugt und das digitale Modell auf einer Darstellungseinrichtung abgebildet wird.
Der Tiefensensor arbeitet vorzugsweise nach dem Prinzip der Lichtlaufzeitmessung. Der Tiefensensor besitzt zumindest eine Lichtquelle, beispielsweise Infrarotlichtquelle, und einen Empfangssensor, vorzugsweise eine Kamera, der das von einem Objekt bzw. von einem Objektpunkt reflektierte Licht der Lichtquelle erfasst. Solche Sensoren werden auch als TOF-Kamera (Time-of-Flight) bezeichnet. Die Zeitdauer zwischen der Aussendung des Lichts und dem Empfang des reflektierten Lichts in der Kamera wird für einzelne Objektpunkte ermittelt, wodurch der Abstand der einzelnen Objektpunkte zum Sensor und aus der Bewegung des Sensors der Abstand einzelner Objektpunkte zueinander bestimmt werden kann. Es kann dadurch vorzugsweise eine so genannte Punktewolke, allgemein Sensordaten, ermittelt werden, die zum Erzeugen eines digitalen dreidimensionalen Modells dient, das das erfasste Objekt zumindest vereinfacht darstellt. Es wird also vorzugsweise ein digitales Modell aus der Geometrie des zu erfassenden dreidimensionalen Objekts anhand eines Flächen- und Volumenmodells erzeugt. Das digitale dreidimensionale Modell wird auf einer Darstellungseinrichtung, wie beispielsweise einem Display oder Bildschirm, angezeigt bzw. abgebildet.
Damit bei einem solchen Sensorsystem Sensordaten erzeugt werden können, durch die das digitale dreidimensionale Modell erzeugt werden kann, wird erfindungsgemäß der Sensor relativ zu dem zu erfassenden Objekt bewegt.
Die mit einem Tiefensensor erzeugte Datenmenge ist vorzugsweise geringer im Vergleich zu einer Datenmenge, die mit an sich bekannten Laserscannern erzeugt wird. Das erfindungsgemäße Verfahren kann damit in Echtzeit arbeiten.
Das erfindungsgemäße Verfahren eignet sich insbesondere zur Erzeugung eines dreidimensionalen Abbildes von Gegenständen (Objekten) in einer festlegbaren Umgebung, wie beispielsweise einer Lager- oder Fertigungshalle oder einer Wohnung. Die zu erfassenden dreidimensionalen Objekte sind also beispielsweise Einrichtungsgegenstände, wie beispielsweise Regale, Ablageflächen, Ständer oder dergleichen. Darüber hinaus können auf den Einrichtungsgegenständen abgelegte dreidimensionale Objekte mit dem erfindungsgemäßen Verfahren erfasst werden.
Eine bevorzugte Anwendung des erfindungsgemäßen Verfahrens ist beispielsweise die Erzeugung eines dreidimensionalen Abbildes von Einrichtungsgegenständen in Produktionsstätten, in denen entlang einer Fertigungsstraße Regale und/oder Ablageflächen vorhanden sind, die mit Bauteilen etc. für die Fertigung bestückt sind. Die Bauteile können vorzugsweise in so genannten Kleinladungsträgern (KLT) oder anderen Verpackungseinheiten angeordnet sein, wobei diese KLT auf den Regalen oder Ablageflächen, gegebenenfalls auch gestapelt und/oder nebeneinander bzw. in Reihe zueinander, bis zur Entnahme abgestellt sind. Mit dem erfindungsgemäßen Verfahren können somit die Regale und Ablageflächen sowie die KLT und/oder Verpackungseinheiten in Form digitaler dreidimensionaler Modell erfasst und als gesamtes Abbild abgebildet werden. Dies erleichtert die Materialwirtschaft und die Planung der Produktionsstätten, wodurch Wege für Werker optimiert werden können.
Eine andere bevorzugte Anwendung des erfindungsgemäßen Verfahrens besteht beispielsweise darin, eine Wohnung mit den darin angeordneten Einrichtungsgegenständen (Objekten) zu digitalisieren und entsprechend darzustellen.
Eine weitere bevorzugte Anwendung des erfindungsgemäßen Verfahrens kann darin bestehen, eine Inventur in Lagerstätten und/oder Verkaufsräumen automatisiert durchführen zu können, da mit dem erfindungsgemäßen Verfahren nicht nur die Regale bzw. Ablageflächen als Objekte, sondern auch die darin bzw. darauf abgelegten Produkte als Objekte der Anzahl nach erfasst werden können.
Nach einer Weiterbildung der Erfindung, die in Anspruch 2 angegeben ist, ist vorgesehen, dass zusätzlich die Farbe des zumindest einen dreidimensionalen Objekts erfasst wird. Hierfür ist insbesondere ein weiterer Sensor dem Sensorsystem zugeordnet. Dabei kann es sich um eine Farbkamera handeln. Damit ist es möglich, nicht nur das dreidimensionale Objekt in seiner Gestalt zu erfassen, vielmehr können auch mehrere Objekte mit identischer Gestalt, jedoch unterschiedlicher Farbgebung erfasst und unterschieden werden. Mit Hilfe des weiteren Sensors können beispielsweise auch auf den Objekten angebrachte Strichcodes, QR-Codes und/oder Beschriftungen etc. gelesen bzw. erfasst werden, so dass eine weitere Identifizierung bzw. Attributierung der erfassten dreidimensionalen Objekte möglich ist. So kann beispielsweise durch entsprechende Codes oder Beschriftungen auf den Inhalt einer Verpackung oder eines KLT geschlossen werden. Vorzugsweise umfasst die Attributierung des Objektes dessen Größe, dessen Inhalt und die Art des Gegenstandes, so dass beispielsweise auf einen bestimmten KLT mit einem oder mehreren darin abgelegten Bauteilen rückgeschlossen werden kann.
Nach einer Weiterbildung der Erfindung mit den in Anspruch 4 angegebenen Merkmalen ist vorgesehen, dass das erzeugte digitale dreidimensionale Modell mit einer mehrere Referenzobjekte enthaltenden Objektbibliothek bzw. Objektdatenbank verglichen und bei einer Übereinstimmung des digitalen Modells mit einem Referenzobjekt das, vorzugsweise dreidimensionale, Referenzobjekt anstelle des digitalen Modells auf der Darstellungseinrichtung abgebildet wird. Der Vergleich zwischen digitalem Modell und den Referenzobjekten kann als so genannter semantischer und/oder geometrischer Vergleich erfolgen. Vorzugsweise ist die Objektbibliothek mit bekannten Objekten als weitere Referenzobjekte erweiterbar.
Nach einem bevorzugten Ausführungsbeispiel gemäß Anspruch 5 ist vorgesehen, dass bei einer Nichtübereinstimmung des digitalen Modells mit einem der Referenzobjekte der Objektbibliothek das digitale Modell als Flächen- und Volumenmodell auf der Darstellungseinrichtung abgebildet wird. Vorzugsweise kann ein entsprechend zugeordenbares Referenzobjekt der Objektbibliothek später hinzugefügt werden.
Nach einer Weiterbildung der Erfindung mit den in Anspruch 6 genannten Merkmalen ist vorgesehen, dass das ermittelte Referenzobjekt und/oder das digitale dreidimensionale Modell bzw. Flächen- und Volumenmodell lagerichtig auf der Darstellungseinrichtung abgebildet wird.
Nach einem besonders bevorzugten Ausführungsbeispiel gemäß Anspruch 7 wird das ermittelte Referenzobjekt und/oder das Flächen- und Volumenmodell in der lagerichtigen Position in der festlegbaren Umgebung dargestellt und vorzugsweise mit einer Soll-Anordnung von Referenzobjekten und/oder Flächen- und Volumenmodellen in der festlegbaren Umgebung abgeglichen. In besonders vorteilhafter Weise ist es dadurch möglich, Unterschiede zwischen der Soll-Zustand, der zuvor mit dem erfindungsgemäßen Verfahren ermittelt wurde, und dem Ist-Zustand der Ablageflächen und/oder Regale entlang einer Produktionsstraße festzustellen, so dass gegebenenfalls falsch abgelegte Objekte oder eine falsche Anzahl der abgelegten Objekte festgestellt und manuell Abhilfe geschaffen werden kann. Während der Produktion kann somit der Produktionsablauf optimiert werden, so dass beispielsweise immer genügend Bauteile und auch die tatsächlich benötigten Bauteile entlang der Produktionsstraße bereitgestellt werden können.
Besonders bevorzugt wird ein Ausführungsbeispiel mit den in Anspruch 8 angegebenen Merkmalen, bei dem das Sensorsystem in der festlegbaren Umgebung entlang einer Reihe von Objekten bewegbar ist. Damit kann beispielsweise eine Vielzahl von Objekten entlang der Fertigungsstraße erfasst und dargestellt werden. Alternativ wäre es möglich, einem oder mehreren zu erfassenden Objekten jeweils ein fest montiertes Sensorsystem zuzuordnen, bei dem lediglich der zumindest eine Sensor bewegt wird.
In einer bevorzugten Ausführungsform, die in Anspruch 9 angegeben ist, ist das Sensorsystem automatisiert in der Umgebung bewegbar. Vorzugsweise kann das Sensorsystem selbstfahrend ausgebildet sein. Dafür kann eine Streckenführung verwendet werden, die das selbstfahrende Sensorsystem roboterähnlich durch die Umgebung steuert. Die Streckenführung kann als eine so genannte Liniensteuerung (linienartige Markierungen auf der zu befahrenden Oberfläche), wie in Anspruch 15 angegeben, oder alternativ Marker gesteuert ausgeführt sein, so dass ein oder mehrere Referenzpunkte der Streckenführung angesteuert werden können.
Grundsätzlich wäre es alternativ denkbar, das Sensorsystem manuell entlang der Objekte zu bewegen. Somit können entlang einer Produktionsstraße die bereitgestellten Objekte erfasst und dargestellt werden.
Ein bevorzugtes Ausführungsbeispiel mit den in Anspruch 10 angegebenen Merkmalen zeichnet sich dadurch aus, dass der zumindest eine Sensor des Sensorsystems relativ zu einem Sensorträger bewegt wird. Damit wird unabhängig von der Bewegung des Sensorsystems entlang von Objekten die notwendige Relativbewegung von dem Sensor zu dem zu erfassenden Objekt erreicht. Insbesondere wird dabei der Sensor bzw. das Sensorsystem in einer Ebene bewegt, die etwa parallel zu einer Ebene der zu erfassenden Objekte verläuft. Die Erkennungsgenauigkeit des Sensorsystems kann damit verbessert werden. Umfasst das Sensorsystem mehrere Sensoren (Anspruch 16), werden diese vorzugsweise gleichartig bewegt, wie dies nach einem weiteren Ausführungsbeispiel gemäß Anspruch 11 vorgesehen ist.
Vorzugsweise wird die Lage der Sensoren zueinander eingestellt, wenn mehrere Sensoren am Sensorsystem angebracht sind.
Ein besonders bevorzugtes Ausführungsbeispiel nach Anspruch 12 zeichnet sich dadurch aus, dass eine Datenübertragung von Sensordaten des Sensorsystems zu einer Leiteinrichtung erfolgt, wobei vorzugsweise in der Leiteinrichtung die Objektbibliothek mit den Referenzobjekten vorhanden ist. Die Datenübertragung erfolgt vorzugsweise über eine drahtlose Schnittstelle. An bzw. in der Leiteinrichtung können anhand der ermittelten digitalen dreidimensionalen Modelle die entsprechenden Referenzobjekte ausgewählt und in der festlegbaren Umgebung lagerichtig dargestellt werden. Damit lässt sich ein gesamtes Abbild der entlang der Produktionsstraße angeordneten Gegenstände (Regale, Ablageflächen, Bauteile, KLT, etc.) lagerichtig erfassen und darstellen.
Entsprechend kann nach einem bevorzugten Ausführungsbeispiel nach Anspruch 13 die festlegbare Umgebung als Layout bzw. räumliche Karte zumindest in der Leiteinrichtung hinterlegt sein. Vorzugsweise kann dieses Layout bzw. diese Karte mit dem erfindungsgemäßen Verfahren zuvor erzeugt worden sein.
Nach einem weiteren Ausführungsbeispiel mit den in Anspruch 14 angegebenen Merkmalen ist vorgesehen, dass der festlegbaren Umgebung Referenzpunkte zugeordnet sind, anhand derer das Sensorsystem in der festlegbaren Umgebung bewegt wird.
Die vorstehend erwähnte Aufgabe, die der Erfindung zugrunde liegt, wird auch mit einer Vorrichtung gelöst, die die Merkmale des Anspruchs 17 aufweist. Die erfindungsgemäße Vorrichtung wird zur Durchführung des vorstehend beschriebenen erfindungsgemäßen Verfahrens verwendet und umfasst ein Sensorsystem mit zumindest einem Tiefensensor, der vorzugsweise nach dem Prinzip der Lichtlaufzeitmessung arbeitet. Ferner weist die Vorrichtung einen Sensorträger mit Antrieb für das Sensorsystem auf, um dieses gegenüber den zu erfassenden Objekten bewegen zu können. Außerdem ist eine Datenverarbeitungseinrichtung für die Sensordaten Bestandteil der Vorrichtung, um ein digitales dreidimensionales Modell von zumindest einem der erfassten Objekte erzeugen können. Außerdem umfasst die erfindungsgemäße Vorrichtung eine Darstellungseinrichtung für das anhand der Sensordaten erzeugte digitale dreidimensionale Modell.
Die in dieser Anmeldung beschriebenen und/oder gezeigten Merkmale können für sich alleine und in beliebiger Kombination mit einem anderen der beschriebenen und/oder gezeigten Merkmale kombiniert werden. Dies gilt auch für ein Merkmal, welches nur zusammen mit einem anderen beschriebenen und/oder gezeigten Merkmal kombiniert widergegeben ist.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels mit Bezug auf die Zeichnung näher erläutert. Es zeigen:
1 eine Vorrichtung zum Erfassen und Darstellen von dreidimensionalen Objekten in einer festgelegten Umgebung und
2 ein Sensorsystem mit einem selbstfahrenden Sensorträger.
1 zeigt in einer festgelegten Umgebung 1, beispielsweise einen Raum bzw. eine Halle einer Produktionsstätte, eine Fertigungsstraße 2. Von der Fertigungsstraße 2 ist ein entlang eines hier nicht dargestellten Montagebandes der Fertigungsstraße 2 angeordnetes Lagersystem 3 dargestellt. Das Lagersystem 3 umfasst jeweils ein oder mehrere Regale 4 und/oder Ablageflächen 5, die in Reihe entlang der Fertigungsstraße 2 und/oder hintereinander angeordnet sind. In bzw. auf dem Lagersystem 3 können Produktionsmittel (nicht dargestellt), wie beispielsweise Werkzeuge oder Verbrauchsmaterialien etc., Bauteile (nicht dargestellt), Bauteileaufnahmen bzw. Bauteileträger, wie beispielsweise Kisten bzw. Kleinladungsträger 6 und Verpackungseinheiten, abgelegt werden. Die Produktionsmittel, Bauteile, Bauteileaufnahmen bzw. Bauteileträger, insbesondere Kleinladungsträger 6, und Verpackungseinheiten (nicht dargestellt) können auf den Regalen 4 und/oder Ablageflächen 5 gestapelt und/oder in mehreren Ablageebenen und/oder hintereinander und/oder nebeneinander an der Fertigungsstraße 2 angeordnet sein. Die Produktionsmittel, Bauteile, Bauteileaufnahmen bzw. Bauteileträger, insbesondere Kleinladungsträger 6, und Verpackungseinheiten können verschiedene Größen und/oder Formen und/oder Farben und/oder Beschriftungen und/oder Etiketten und/oder Codes aufweisen. Die Produktionsmittel, Bauteile, Bauteileaufnahmen bzw. Bauteileträger, insbesondere Kleinladungsträger 6, und Verpackungseinheiten und/oder die Regale 4 und/oder Ablageflächen 5 bilden dreidimensionale Objekte 7, die in der Umgebung 1 zumindest zeitweise ruhend angeordnet sind und die von einer nachfolgend beschriebenen Vorrichtung 8 erfasst und dargestellt werden.
Die Vorrichtung 8 weist ein Sensorsystem 9 auf, welches auf einer vorgebbaren Streckenführung 10 gegenüber den Objekten 7 bzw. einer Reihe von Objekten 7 relativ bewegt wird, wenn das Sensorsystem 9 entlang der Streckenführung 10 an den Objekten 7 vorbeibewegt wird. Die Streckenführung 10 kann gerade Abschnitte 11 und hier nicht dargestellte Kurvenabschnitte aufweisen. Vorzugsweise wird das Sensorsystem 9 mit Abstand AB < 1 m zu der dem Sensorsystem 9 zugewandten Sichtseite 12 des Lagersystems 3 und etwa parallel zu dieser Sichtseite 12 entlang bewegt, wie der Pfeil PF zeigt. Die Tiefe TL des Lagersystem 3 beträgt typischerweise mehrere Zentimeter bis mehrere Meter und kann entlang der Fertigungsstraße 2 variieren. Entsprechend weißt das Sensorsystem 9 eine Erfassungstiefe ET auf, die der Tiefe TL entspricht, vorzugsweise jedoch größer als die Tiefe TL des Lagersystem 3 ist, so dass auch gegebenenfalls hinter dem Lagersystem 3 befindliche Objekte 7' noch vom Sensorsystem 9 erfasst werden können. Sofern lediglich Teilabschnitte des Lagersystem 3 erfasst werden sollen, kann die Erfassungstiefe ET auch kleiner als die größte Tiefe TL des Lagersystem 3 sein.
Anhand der 1 und 2 wird das Sensorsystem 9 nachfolgend näher erläutert. Es weist einen Sensorträger 13 auf, der eine Fahreinheit 14 mit einem hier nicht dargestellten gesteuerten Antrieb und vorzugsweise einer gesteuerten Lenkeinrichtung umfasst. Die Lenkeinrichtung führt das fahrbare Sensorsystem 9 auf der Streckenführung 10. Die Fahreinheit 14 bildet einen Fuß des Sensorträgers 13. Von dem Fuß geht eine aufrechte Tragsäule 15 aus, die höhenverstellbar (Pfeil 16) ausgebildet sein kann, beispielsweise durch teleskopartig ausgebildete Säulenabschnitte 17, 18. Für die Höhenverstellbarkeit kann ein hier nicht dargestellter gesteuerter Antrieb vorgesehen sein. Etwa am oberen Ende der Tragsäule 15 ist zumindest einen Sensor 19 angeordnet, der als Tiefensensor ausgebildet und der zu der Tragsäule 15 relativ bewegbar an der Tragsäule 15 aufgehängt ist, so dass der Sensor 19 in einem vorgegebenen Bewegungsfeld eine hin und her gehende Bewegung ausführen kann, was durch einen Pfeil 20 angedeutet ist. Diese Bewegung kann eine Pendelbewegung sein, sie kann aber auch eine lineare Bewegung sein, so dass der Sensor 19 entsprechend Pfeil 16 auf und ab bewegt wird. Denkbar wäre auch eine überlagerte Bewegung aus einer Pendelbewegung und einer linearen Bewegung. Die Bewegung des Sensors 19 erfolgt vorzugsweise in einer Ebene 21, die vorzugsweise parallel und mit Abstand zu der Sichtseite 12 liegt.
Vorzugsweise ist der Sensor 19 an einem an der Tragsäule 15 bewegbar und gesteuert antreibbar angelenkten Tragarm 22 mit seitlichem Abstand zur Tragsäule 15 befestigt. Der Sensor 19 kann entlang des Tragarms 22 verschiedene Positionen einnehmen. Für die oben beschriebene Bewegung des Sensors 19 relativ zu den Objekten 7 könnte der Sensor 19 auch entlang des Tragarms 22 hin und her bewegt werden. Vorzugsweise ist die Position des Sensors 19 auf dem Tragarm 22 jedoch fest eingestellt, kann aber variiert werden. Dem etwa waagerechten Tragarm 22 gegenüberliegend ist an der Tragsäule 15 ein weiterer Tragarm 23 bewegbar und gesteuert antreibbar angelenkt, der einen weiteren Sensor 19 trägt, der als Tiefensensor ausgebildet ist. Das zu dem rechten Sensor 19 am Tragarm 22 und zu dem Tragarm 22 selbst Gesagte gilt in gleicher Weise auch für den am linken Tragarm 23 angebrachten Sensor 19.
Denkbar wäre es, einen oder mehrere hier nicht dargestellte weitere Tragarme in identischer bzw. komplementäre Weise an der Tragsäule 15 anzubringen bzw. anzulenken. Denkbar wäre es auch, an zumindest einem der Tragarme 22, 23 zumindest einen weiteren Sensor 19, der als Tiefensensor ausgebildet ist, anzubringen. Vorzugsweise werden die Sensoren 19 paarweise an dem Sensorträger 13 angebracht, es sind also vorzugsweise zwei, vier oder mehr Sensoren 19 an den Tragarmen 22, 23 vorhanden.
Bei dem zumindest einen Sensor 19 handelt es sich – wie erwähnt – um einen so genannten Tiefensensor, der vorzugsweise nach dem Prinzip der Lichtlaufzeitmessung arbeitet. Dabei wird in einem kreissektorförmigen Erfassungsbereich EB1, EB2 zumindest ein vom Sensor 19 in Richtung der Objekte 7 ausgestrahlter Lichtstrahl 24, 25 (1) an den bzw. dem Objekt(en) 7 bzw. an zumindest einem Objektpunkt reflektiert und der reflektierte Anteil des Lichtstrahls 24, 25 am Sensor 19 wieder empfangen. Um eine Doppelerfassung eines Objekts 7 in einem Schnittbereich SB der Erfassungsbereiche EB1, EB2 zu vermeiden, kann der Schnittbereich SB entsprechend gefiltert werden, wenn zwei oder mehr Sensoren 19 verwendet werden.
Eine Datenverarbeitungseinrichtung 26, die am Sensorträger 13 angeordnet sein kann, ist mit dem zumindest einen Sensor 19 verbunden und ermittelt die Laufzeit, die das ausgestrahlte Licht benötigt, um den Weg zwischen Sensor 19 und dem Objekt 7 und wieder zurück zum Sensor 19 zurückzulegen. Aus diesen Laufzeit- bzw. Sensordaten wird der Abstand eines oder mehrerer Punkte am Objekt 7 zum Sensor 19 von der Datenverarbeitungseinrichtung 26 ermittelt. So können verschiedene Punkte an dem zumindest einen Objekt erfasst werden. Die so ermittelten unterschiedlichen Abstände mehrerer Punkte an einem Objekt 7 werden als Rohdaten vorzugsweise von der Datenverarbeitungseinrichtung 26 erfasst und zumindest vorübergehend gespeichert und verarbeitet. Vorzugsweise kann die Datenverarbeitungseinrichtung 26 anhand dieser Rohdaten zumindest ein digitales dreidimensionales Modell des erfassten Objekts 7 erzeugen und das jeweilige digitale Modell eines erfassten Objekt 7 über eine, vorzugsweise drahtlose, Schnittstelle 27 zu einer Leiteinrichtung 28 übertragen. In einer alternativen Ausführungsform können auch die Rohdaten an die Leiteinrichtung 28 übertragen werden, so dass in der Leiteinrichtung 28 das digitale dreidimensionale Modell eines erfassten Objekts 7 erzeugt wird.
Wie vorstehend erwähnt, bilden auch die Regale 4 bzw. Ablageflächen 5 Objekte 7, die mit dem Sensorsystem 9 erfasst werden können. Die auf den Regalen bzw. Ablageflächen angeordneten Objekte 7 werden somit lagerichtig im dreidimensionalen Raum der Umgebung 1 erfasst, so dass ein vollständiges Abbild des bestückten Lagersystem 3 als ein vollständiges digitales dreidimensionales Gesamtmodell bzw. Abbild mit mehreren einzelnen digitalen Modellen der erfassten Objekte 7, insbesondere in der Leiteinrichtung 28, erzeugt werden kann.
Die Leiteinrichtung 28 speichert eine Objektbibliothek mit vorzugsweise mehreren Referenzobjekten, die dem jeweiligen realen Objekt 7 zugeordnet sind. Anhand des erzeugten digitalen dreidimensionalen Modells eines erfassten Objekts 7 kann aus der Objektbibliothek gegebenenfalls ein passendes Referenzobjekt ausgewählt werden. Entsprechend kann auf dem vollständigen Abbild nicht nur das digitale Modell, sondern ersatzweise das passende Referenzobjekt 29 dargestellt werden. Dazu weist die Vorrichtung 8 eine Darstellungseinrichtung 30 auf, die an der Leiteinrichtung 28 und/oder der Datenverarbeitungseinrichtung 26 vorhanden sein kann.
Die Leiteinrichtung 28 ist insbesondere als Computer mit Bildschirm ausgebildet. Die Datenverarbeitungseinrichtung 26 kann als so genannter Tablet-PC ausgebildet sein.
Die Schnittstelle 27 kann in alternativer Ausführung eine Lade- und Dockingstation 31 für den Sensorträger sein, die von dem Sensorträger 13 angefahren werden kann und die mit der Leiteinrichtung 28 über eine Schnittstelle 27' verbunden sein kann. Die Schnittstelle 27' kann drahtgebunden oder drahtlos ausgeführt sein.
Für den Fall, dass einem digitalen dreidimensionalen Modell kein Referenzobjekt 29 aus der Objektbibliothek zugeordnet werden kann, kann auf der Darstellungseinrichtung 30 das digitale Modell 29 als Flächen- und Volumenmodell lagerichtig abgebildet werden. Sowohl jedes ermittelte Referenzobjekt 29 als auch das Flächen- und Volumenmodell 29' wird nicht nur bezüglich des Lagersystems 3 lagerichtig auf der Darstellungseinrichtung 30 abgebildet, sondern es kann auch das gesamte Abbild des Lagersystems 3 mit den als Objekten 7 erfassten Regalen 4 und/oder Ablageflächen lagerichtig in der Umgebung 1 angezeigt werden. Dazu ist insbesondere vorgesehen, dass das Layout der Umgebung 1 zumindest in der Leiteinrichtung 28 abgelegt ist. Das Layout der Umgebung 1 kann in bevorzugter Ausführungsform mit der Vorrichtung 8 erfasst und auf der Darstellungseinrichtung 30 angezeigt werden.
Der Sensorträger 13 kann zusätzlich zu dem zumindest einen Sensor 19, der als Tiefensensor ausgebildet ist, zumindest einen weiteren Farbsensor 19', vorzugsweise in Form einer Farbkamera, aufweisen, mit dem die Farbe und/oder Beschriftungen bzw. Etiketten der Objekte 7 erfasst werden können. Die daraus gewonnenen Sensordaten können zusammen mit dem digitalen Modell für die Bestimmung des zugehörigen Referenzobjekts verwendet werden. Die Farbkamera bzw. der Farbsensor kann Bestandteil der Datenverarbeitungseinrichtung 26 sein. Jeweils ein Farbsensor kann einem Sensor 19 bzw. jedem Sensor 19 kann eine Farbsensor 19' zugeordnet bzw. Bestandteil eines Sensors 19 sein. Der zumindest eine Farbsensor 19' kann an einem der Tragarme 22, 23 befestigt sein.
Die Vorrichtung 8 zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden bzw. abgelegten bzw. abgestellten Objekten 7 in einer festlegbaren Umgebung 1 umfasst das Sensorsystem 9, die Datenverarbeitungseinrichtung 26, die im Übrigen eine Steuereinrichtung für den selbstfahrenden Sensorträger 13 umfassen kann, den Sensorträger 13 und die Datenverarbeitungseinrichtung 26 sowie vorzugsweise die Leiteinrichtung 28, gegebenenfalls die Dockingstation 31 und die Schnittstellen 27 bzw. 27'.
Bezugszeichenliste

1: Umgebung
2: Fertigungsstraße
3: Lagersystem
4: Regal
5: Ablagefläche
6: Kleinladungsträger
7, 7': Objekt
8: Vorrichtung
9: Sensorsystem
10: Streckenführung
11: gerader Abschnitt
12: Sichtseite
13: Sensorträger
14: Fahreinheit
15: Tragsäule
16: Pfeil
17: Säulenabschnitt
18: Säulenabschnitt
19: Sensor
19': Farbsensor
20: Pfeil
21: Ebene
22: Tragarm
23: Tragarm
24: Lichtstrahl
25: Lichtstrahl
26: Datenverarbeitungseinrichtung
27, 27': Schnittstelle
28: Leiteinrichtung
29: Referenzobjekt
29': digitales dreidimensionales Modell
30: Darstellungseinrichtung
31: Lade- und Dockingstation
AB: Abstand
ET: Erfassungstiefe
PF: Pfeil
SB: Schnittbereich
EB1, EB2: Erfassungsbereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10331460 A1 [0002]

Claims

Verfahren zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten (7) in einer festlegbaren Umgebung (1), wobei mittels eines Sensorsystems (9) mit zumindest einem Tiefensensor (Sensor 19) der Tiefensensor zum Erfassen der Objekte (7) gegenüber den zu erfassenden Objekten (7) relativ bewegt wird, aus erfassten Sensordaten des Sensorsystems (9) zumindest ein digitales dreidimensionales Modell (29') von zumindest einem der erfassten Objekte (7) erzeugt und zumindest das digitale Modell (29') des Objekts (7) auf einer Darstellungseinrichtung (30) abgebildet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass von dem Sensorsystem (9) zusätzlich die Farbe des zumindest einen Objekts (7) erfasst wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass von dem Sensorsystem (9) zusätzlich ein Strichcode und/oder QR-Code und/oder eine Beschriftung bzw. ein Etikett des zu erfassenden Objekts (7) gelesen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das digitale Modell (29') mit einer mehrere Referenzobjekte (29) enthaltenden Objektbibliothek verglichen und bei einer Übereinstimmung des digitalen Modells (29') mit einem Referenzobjekt (29) das Referenzobjekt (29) auf der Darstellungseinrichtung (30) abgebildet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer Nichtübereinstimmung des digitalen Modells (29') mit einem Referenzobjekt (29) der Objektbibliothek das digitale Modell (29') als Flächen- und Volumenmodell auf der Darstellungseinrichtung (30) abgebildet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das ermittelte Referenzobjekt (29) und/oder das Flächen- und Volumenmodell des digitalen Modells (29') lagerichtig in der festlegbaren Umgebung (1) auf der Darstellungseinrichtung (30) abgebildet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das ermittelte Referenzobjekt (29) und/oder das Flächen- und Volumenmodell eines digitalen Modells (29') in ihrer lagerichtigen Position in der festlegbaren Umgebung (1) abgebildet und vorzugsweise mit einer Soll-Anordnung von Referenzobjekten und/oder Flächen- und Volumenmodellen in derselben festlegbaren Umgebung (1) abgeglichen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensorsystem (9) in der festlegbaren Umgebung (1) entlang einer Reihe von Objekten (7) bewegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensorsystem in (9) automatisiert bewegt bzw. selbstfahrend ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine Sensor (19) des Sensorsystems (9) während der Erfassung eines Objekts (7) relativ zu einem Sensorträger (13) bewegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine Sensor (19) des Sensorsystems (9) in einer Ebene (21) bewegt wird, die etwa parallel zu einer Ebene (Sichtebene 12) der zu erfassenden Objekte (7) verläuft.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Datenübertragung von dem Sensorsystem (9) zu einer Leiteinrichtung (28), die die Objektbibliothek aufweisen kann, über eine drahtlose Schnittstelle (27) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die festlegbare Umgebung (1) als Layout zumindest in der Leiteinrichtung (28) hinterlegt ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der festlegbaren Umgebung (1) Referenzpunkte (Streckenführung 10) zugeordnet sind, anhand derer das Sensorsystem (9) in der festlegbaren Umgebung (1) bewegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensorsystem (9) anhand einer Liniensteuerung (Streckenführung 10) in der festlegbaren Umgebung (1) bewegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Sensorsystem (9) zumindest zwei Sensoren (19) umfasst, die die gleiche Bewegung bei der Erfassung des zumindest einen Objekts (7) ausführen.
Vorrichtung zum Erfassen und Darstellen von dreidimensionalen, zumindest zeitweise ruhenden Objekten (7) in einer festlegbaren Umgebung, mit einem zumindest einen Tiefensensor (Sensor 19) aufweisenden Sensorsystem (9), einem gegenüber den zu erfassenden Objekten (7) relativ bewegbaren Sensorträger (13), der vorzugsweise einen Antrieb aufweist, einer Datenverarbeitungseinrichtung (26) für Sensordaten, um ein digitales dreidimensionales Modell (29') von zumindest einem der erfassten Objekte (7) erzeugen zu können, und mit einer Darstellungseinrichtung (30) für das digitale Modell (29'), zur Durchführung des Verfahrens nach zumindest einem der Ansprüche 1 bis 16.