DE102017213601A1 - Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung - Google Patents

Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung Download PDF

Info

Publication number
DE102017213601A1
DE102017213601A1 DE102017213601.4A DE102017213601A DE102017213601A1 DE 102017213601 A1 DE102017213601 A1 DE 102017213601A1 DE 102017213601 A DE102017213601 A DE 102017213601A DE 102017213601 A1 DE102017213601 A1 DE 102017213601A1
Authority
DE
Germany
Prior art keywords
sensors
server
factory environment
information
object map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017213601.4A
Other languages
English (en)
Inventor
Keerthana Govindaraj
Tobias Hiller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017213601.4A priority Critical patent/DE102017213601A1/de
Priority to US16/634,700 priority patent/US11774545B2/en
Priority to PCT/EP2018/069919 priority patent/WO2019025221A1/de
Priority to CN201880050474.3A priority patent/CN110914640B/zh
Publication of DE102017213601A1 publication Critical patent/DE102017213601A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40323—Modeling robot environment for sensor based robot system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen einer Objektkarte (130) für eine Fabrikumgebung (100) unter Verwendung von in der Fabrikumgebung (100) vorhandenen Sensoren (120, 121, 122), wobei von wenigstens einem Teil eines Objekts (200, 210) in der Fabrikumgebung (100) Informationen (125) in Bezug auf seine Position von wenigstens zwei der Sensoren (120, 121, 122) erfasst werden, wobei die von den Sensoren (120, 121, 122) erfassten Informationen (125) an einen den Sensoren zugeordneten Server (110) übertragen werden, und wobei unter Verwendung des Servers (110) basierend auf den von den Sensoren erfassten und übertragenen Informationen (125) eine Objektkarte (130) für die Fabrikumgebung (100) mit einer Position des wenigstens einen Teils des Objektes (200, 210) erstellt wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung wie eine Werkshalle unter Verwendung von in der Fabrikumgebung vorhandenen Sensoren.
  • Stand der Technik
  • In modernen Fabrikumgebungen wie beispielsweise Werks- bzw. Montagehallen und dergleichen werden heutzutage zunehmend mehr Abläufe automatisiert. Hierzu werden beispielsweise Roboter und automatisierte Fahrzeuge eingesetzt. Dies ist auch unter dem Begriff „Industrie 4.0“ bekannt. Trotz der Automatisierung ist es weiterhin nötig, dass sich auch Menschen in der Fabrikumgebung bewegen und mit den dort vorhandenen Geräten, also beispielsweise auch Robotern, arbeiten bzw. zusammenarbeiten.
  • Hierzu ist es wünschenswert, möglichst genaue Informationen über die Position einzelner Objekte - hierunter fallen insbesondere automatisierte Geräte wie Roboter oder Fahrzeuge, aber auch Personen - zu erhalten. Auch Teilobjekte und deren Positionen sollen überwacht werden können, etwa der Arm eines Roboters oder die Silhouette eines Menschen. Dies ist nicht zuletzt wichtig, um einen gefahrlosen Betrieb für die Personen zu ermöglichen. Außerdem könnten auf diese Weise auch der Produkt- bzw. Materialfluss in einer Fabrik überwacht werden.
  • Möglich ist es dabei, unter Verwendung von Sensoren wie GPS (dies allerdings nur im Außenbereich), W-LAN-Einheiten, LIDARs, Kameras und dergleichen, die exakte Position von Objekten zu ermitteln. Aus der CN 104 385 282 A ist es beispielsweise bekannt, die Informationen mehrerer Sensoren zusammenzuführen. Auch aus „ C. Ramer, J. Sessner, M. Scholz, X. Zhang and J. Franke, „Fusing low-cost sensor data for localization and mapping of automated guided vehicle fleets in indoor applications,“ Multisensor Fusion and Integration for Intelligent Systems (MFI), 2015 IEEE International Conference on, San Diego, CA, 2015, pp. 65-70" ist es bekannt, die Informationen verschiedener Arten von Sensoren zusammenzuführen. Problematisch sind dabei jedoch immer noch die vorhandenen Latenzzeiten.
  • Offenbarung der Erfindung
  • Erfindungsgemäß werden ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
  • Ein erfindungsgemäßes Verfahren dient zum Erstellen einer Objektkarte für eine Fabrikumgebung unter Verwendung von in der Fabrikumgebung vorhandenen Sensoren. Als Fabrikumgebung kommt dabei insbesondere eine Werks- bzw. Montagehalle in Betracht. Dabei werden von wenigstens einem Teil eines Objekts in der Fabrikumgebung Informationen in Bezug auf seine Position von wenigstens zwei der Sensoren erfasst. Denkbar ist insbesondere auch, dass von jedem der Sensoren jeweils wenigstens ein Objekt (bzw. dessen Teil) in der Fabrikumgebung erfasst wird. Unter Objekten sind hierbei insbesondere automatisierte Geräte wie Roboter oder Fahrzeuge, aber auch Personen zu verstehen, unter Teilobjekten beispielsweise der Arm eines Roboters oder die Silhouette eines Menschen. Ebenso sind darunter Produkte bzw. Material und deren Zustände, beispielsweise in einer Fabrik, zu verstehen. Die von den Sensoren erfassten Informationen werden dann an einen den Sensoren zugeordneten Server übertragen, und unter Verwendung des Servers wird dann basierend auf den von den Sensoren erfassten und übertragenen Informationen eine Objektkarte für die Fabrikumgebung mit einer Position des wenigstens einen Teils des Objektes erstellt. Die Objektkarte kann dabei insbesondere von dem Server, also beispielsweise durch geeignete, darauf laufende Software, erstellt werden. Ein solcher Server weist hierzu zweckmäßigerweise wenigstens einen Prozessor, einen Speicher und eine Netzwerkanbindung auf. Die Sensoren können dabei vorzugsweise drahtlos an den Server angebunden sein. Je nach Art des Sensors wäre jedoch auch eine kabelgebundene Anbindung denkbar. Als ein solcher Server kommt dabei insbesondere ein sog. Edge-Sever in Betracht, also ein sehr leistungsfähiger Server. Dieses Vorgehen kann dabei vorzugsweise auch laufend oder zumindest in gewissen zeitlichen Abständen, insbesondere basierend auf der vorherigen KartenInformation als Referenz, wiederholt werden, d.h. die Objektkarte kann aktualisiert werden.
  • Auf diese Weise müssen von den einzelnen Sensoren lediglich Informationen wie insbesondere eine Entfernung eines Objektes bzw. eines Teils davon erfasst und an den Server übertragen werden. Die Verarbeitung der Informationen wird dann zweckmäßigerweise nur in bzw. auf dem Server, zumindest aber unter Verwendung des Servers, vorgenommen. Dies ermöglicht also eine besonders schnelle und effiziente Verarbeitung von Informationen und damit entsprechend eine schnelle und effiziente Erstellung der Objektkarte, da die Sensoren direkt mit dem leistungsfähigen (Edge-)Server verbunden sind. Dadurch, dass nun zudem von wenigstens einem Teil eines Objekts Informationen in Bezug auf seine Position in der Fabrikumgebung von wenigstens zwei der Sensoren erfasst werden, kann zumindest in Bezug auf dieses wenigstens eine Objekt bzw. einen Teil davon eine besonders genaue Position ermittelt werden. Dabei kann berücksichtigt werden, dass verschiedenen Sensoren beispielsweise unterschiedliche Blickwinkel auf ein Objekt haben können oder aber dass verschiedene Sensoren unterschiedliche Arten der Entfernungsmessung verwenden können. Auf diese Weise ist dann eine Korrektur der Position, wie sie durch einen der Sensoren ermittelt würde, möglich. Hierzu sei angemerkt, dass auch für jedes einer Vielzahl von Objekten bzw. Teilen davon jeweils von zwei - oder auch mehr - verschiedenen Sensoren Informationen in Bezug auf seine jeweilige Position erfasst werden können. Insgesamt kann damit also eine Objektkarte mit sehr genauen Positionen einer Vielzahl von Objekten bzw. Teilen davon in der Fabrikumgebung - nach Möglichkeit sogar von allen (relevanten) Objekten - erstellt werden.
  • Vorzugsweise wird die Objektkarte an wenigstens eine in der Fabrikumgebung vorhandene Vorrichtung übertragen. Dort kann anhand der Objektkarte dann beispielsweise eine Steuerung der Vorrichtung erfolgen.
  • Vorteilhafterweise wird wenigstens eine in der Fabrikumgebung vorhandene Vorrichtung basierend auf der Objektkarte gesteuert. Dort kann dann zweckmäßigerweise ein Aktuator (oder auch mehrere Aktuatoren) angesteuert werden. Hierzu kann insbesondere die Objektkarte auf die Vorrichtung übertragen werden. Denkbar ist also beispielsweise die Steuerung eines Roboters basierend auf der Objektarte, in welche die genaue Position einer Person enthalten ist. Auf diese Weise kann beispielsweise sichergestellt werden, dass der Roboter - oder eine andere Vorrichtung - nur dann gesteuert bzw. angesteuert wird, wenn Personen einen ausreichenden Sicherheitsabstand einhalten. Ebenso ist in Abhängigkeit von der Position der Person eine bestimmte bzw. angepasste Steuerung der Vorrichtung möglich.
  • Besonders bevorzugt ist es, wenn von dem Server basierend auf den von den Sensoren erfassten und übertragenen Informationen eine Teil-Objektkarte für die Fabrikumgebung erstellt wird. Dann können von wenigstens einem weiteren der Sensoren (oder auch zwei oder mehr dieser Sensoren) erfasste Informationen an einen dem wenigstens einen weiteren Sensor zugeordneten, weiteren Server übertragen werden. Von dem weiteren Server kann dann basierend auf den von dem wenigstens einen weiteren Sensor erfassten und übertragenen Informationen eine weitere Teil-Objektkarte für die Fabrikumgebung erstellt werden, wobei aus der Teil-Objektkarte und der weiteren Teil-Objektkarte dann die Objektkarte für die Fabrikumgebung mit der Position des wenigstens einen Teils des Objektes erstellt werden kann. Auf diese Weise kann also die Erstellung der Objektkarte auf zwei oder mehr Server aufgeteilt werden, die dann jeweils nur von einem Teil der Sensoren Informationen erhalten, um eine Teil-Objektkarte - also insbesondere auch nur für einen Teil der Fabrikumgebung - zu erstellen. Damit können beispielsweise größere Fabrikumgebungen sehr einfach abgedeckt werden. Es versteht sich, dass nicht nur insgesamt zwei Server, sondern auch drei, vier oder noch mehr solcher Server verwendet werden können, mittels welcher jeweils eigene solcher Teil-Objektkarten erstellt werden können, die dann zu einer Objektkarte zusammengesetzt werden.
  • Während im erwähnten Fall zunächst nicht notwendigerweise von dem weiteren Sensor auch ein Objekt oder ein Teil davon erfasst werden muss bzw. nicht Informationen in Bezug auf eine Position eines Objekts erfasst werden müssen (es könnte auch kein Objekt in Reichweite des weiteren Sensors sein), ist es dennoch bevorzugt, wenn auch die von dem wenigstens einen weiteren der Sensoren erfassten Informationen Informationen in Bezug auf eine Position wenigstens eines Teils eines weiteren Objektes in der Fabrikumgebung umfassen. Dann kann aus der Teil-Objektkarte und der weiteren Teil-Objektkarte die Objektkarte für die Fabrikumgebung mit der Position des wenigstens einen Teils des Objektes und des wenigstens einen Teils des weiteren Objektes erstellt werden.
  • Es ist von Vorteil, wenn die Teil-Objektkarten (also die Teil-Objektkarte und die weitere Teil-Objektkarte, je nach Situation auch noch mehr als zwei Teil-Objektkarten) von dem jeweiligen Server an einen übergeordneten Server übertragen werden, wobei von dem übergeordneten Server die Objektkarte erstellt wird. Auf dem übergeordneten Server können die einzelnen Teil-Objektkarten also zusammengesetzt werden. Denkbar ist dabei auch, dass die Teil-Objektkarten teilweise überlappen und eine solche Überlappung dann bei Erstellung der Objektkarte berücksichtigt bzw. entfernt wird.
  • Vorzugsweise umfassen die von den dem Server zugeordneten Sensoren erfassten Informationen Informationen für einen ersten Bereich und einen zweiten Bereich, der von einer Referenz weiter entfernt ist als der erste Bereich. Als Referenz kann dabei der entsprechende Server dienen, aber auch ein bestimmter Punkt in der Fabrikumgebung oder eine bestimmte Vorrichtung wie ein Roboter in der Fabrikumgebung. Es werden dann nur Informationen für den zweiten Bereich und/oder die Teilobjektkarte nur mit aus den Informationen für den zweiten Bereich ermittelten Positionen von Objekten bzw. Teilen davon in der Fabrikumgebung direkt oder indirekt an den weiteren Server übertragen. Die indirekte Übertragung kann dabei umfassen, dass von dem übergeordneten Server nur die für einen bestimmten Server relevanten Informationen bzw. Positionen von Objekten bzw. Teilen davon (bzw. eine entsprechend erstellte Objektkarte) an diesen Server übertragen werden. Damit ist es möglich, einem Server nur die tatsächlich benötigten Informationen zu übermittelten, basierend worauf dann beispielsweise eine Steuerung einer Vorrichtung möglich ist. So ist beispielweise eine in der Nähe eines Roboters befindliche Person nur für den entsprechenden Server relevant, dem die Sensoren in der Nähe des Roboters zugeordnet sind. Eine sich von einem Roboter wegbewegende oder sich anderweitig bewegende Person ist hingegen beispielsweise auch für einen anderen Server relevant, in dessen Nähe ein anderer Roboter vorgesehen ist. Diese Person könnte sich nämlich zu diesem Roboter hin bewegen. Auf diese Weise können die Information nach Relevanz von einem Server an einen anderen Server übermittelt werden. Denkbar ist zudem, einen dritten Bereich (oder noch mehr Bereiche) zu verwenden, sodass unterschiedlich relevante Informationen unterschiedlich weit, d.h. mit unterschiedlich vielen bzw. unterschiedlich weit entfernten Servern ausgetauscht werden können.
  • Vorzugsweise sind die Sensoren wenigstens teilweise aus den folgenden Sensoren ausgewählt: Kameras, insbesondere Videokameras und Stereokameras, Ultraschallsensoren, Mikrofone, Annäherungssensoren, , RADAR-Einheiten, LIDAR-Einheiten, Funkmodule, insbesondere WLAN-Einheiten und Bluetooth-Einheiten, Inertialsensoren und Abstandssensoren. All diese Sensoren sind insbesondere in Fabrikumgebungen üblich und können verwendet werden, um möglichst viele Informationen über die Position von Objekten bzw. Teilen davon in der Fabrikumgebung zu sammeln.
  • Zweckmäßig ist es auch, wenn die Sensoren wenigstens teilweise aus Sensoren ausgewählt sind, die an Objekten und/oder Vorrichtungen in der Fabrikumgebung angeordnet sind. So können also nicht nur separat angeordnete Sensoren verwendet werden, sondern auch an beispielsweise manuell oder automatisiert bewegten Vorrichtungen (beispielsweise Roboter) oder Fahrzeugen (beispielsweise Gabelstapler). Denkbar sind auch Sensoren an sog. „Augmented-Reality-Brillen“ oder „Augmented-Reality-Helmen“, die beispielsweise von Personen in der Fabrikumgebung verwendet werden, um geführte Montagearbeiten oder dergleichen durchzuführen.
  • Zusätzlich zu Positionsinformationen können auch weitere orts- und objektbezogene Informationen in selber Weise über die Edge-Server generiert und abgeglichen werden. Beispiele sind Informationen über den Arbeitsfortschritt, das geltende Sicherheitslevel, die passende Information zu einem Objekt (z.B. Betriebsanleitung der Maschine, vor der ein Arbeiter in diesem Moment steht oder die er ansieht) oder Warnhinweise an Personen.
  • Die auf dem Server entstandene Karte bietet weiterhin die Möglichkeit, Informationen beispielsweise in Form eines Mobilitäts-Musters zu nutzen, wenn etwa sich die von zwei Servern abgedeckten Gebiete nicht überschneiden, um beispielsweise Abstand, mittlere Geschwindigkeit, etc. zwischen den Gebieten zu schätzen. Dies erhöht die Sicherheit weiter, indem ein Eintreten in den zweiten Bereich mit hoher Wahrscheinlichkeit erwartet werden kann.
  • Um eine Harmonisierung der Karten der einzelnen Server zu gewährleisten, kann ein übergeordneter Edge-Server die Karteninformation von jedem Server in der Hierarchie darunter bekommen und die Informationen koordinieren und zusammenfügen.
  • Ein erfindungsgemäßes System mit wenigstens einem Server und mit Sensoren ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
  • Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
  • Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
  • Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
  • Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
  • Figurenliste
    • 1 zeigt schematisch eine Fabrikumgebung mit einem erfindungsgemäßen System in bevorzugter Ausführungsform, mit dem ein erfindungsgemäßes Verfahren durchführbar ist.
    • 2 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in bevorzugter Ausführungsform.
    • 3 zeigt schematisch ein erfindungsgemäßes System in weiterer bevorzugter Ausführungsform.
    • 4 zeigt schematisch verschiedene Bereiche für die Durchführung eines erfindungsgemäßen Verfahrens in weiterer bevorzugter Ausführungsform.
  • Detaillierte Beschreibung der Zeichnung
  • In 1 ist schematisch eine Fabrikumgebung 100 mit einem erfindungsgemäßen System in bevorzugter Ausführungsform, mit dem ein erfindungsgemäßes Verfahren durchführbar ist, dargestellt. Bei der Fabrikumgebung kann es sich beispielsweise um eine Werkshalle handeln. Das System umfasst dabei einen Server 110 sowie beispielhaft verschiedene Sensoren 120, 121 und 122.
  • Der Server 110 weist hier einen Prozessor 111 und einen Speicher 112 sowie eine Netzwerkanbindung 113, hier in Form eines Funkmoduls, insbesondere W-LAN bzw. WiFi, auf. Bei den mit 120 bezeichneten Sensoren handelt es sich hier beispielhaft um Kameras, bei den mit 121 bezeichneten Sensoren um LIDARs und bei dem mit 122 bezeichneten Sensor um einen Sensor an einer sog. „Augmented-Reality-Brille“, worunter auch wiederum eine Kamera fallen kann.
  • Weiterhin sind nun eine Person 200, die die „Augmented-Reality-Brille“ trägt, sowie eine als automatisierter Roboter ausgebildete Vorrichtung 210 als Objekte in der Fabrikumgebung 100 dargestellt. Einige der oben erwähnten Sensoren sind dabei auch an dem Roboter 210 angeordnet.
  • Die einzelnen Sensoren können nun Informationen in Bezug auf die Position der Person 200 und des Roboters 210 in der Fabrikumgebung 100 erfassen und an den Server 110 übertragen.
  • In 2 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in bevorzugter Ausführungsform dargestellt. Die einzelnen Sensoren 120, 121 und 122 können nun Informationen 125 in Bezug auf die Position der Objekte, also beispielsweise der Person 200 und des Roboters 210 gemäß 1, in der Fabrikumgebung 100 erfassen und an den Server 110 übertragen. Dabei können sowohl von der Person 200 als auch von dem Roboter 210 jeweils von mehreren verschiedenen Sensoren Informationen in Bezug auf deren Position erfasst werden.
  • Auf dem Server 110 kann nun aus den erhaltenen Informationen 125 eine Objektkarte 130 erstellt werden, in welcher die Positionen der Person 200 und des Roboters 210 in der Fabrikumgebung 100 enthalten sind. Denkbar ist dabei, dass nicht nur eine einzelne Positionsangabe eines Objekts in der Objektkarte 130 enthalten sind, sondern es können auch detailliertere Positionsinformationen wie beispielswiese die Stellung eines Roboterarms enthalten sein. Aufgrund der Informationen in Bezug auf eine Position von Objekten von jeweils mehreren verschiedenen Sensoren können, wie erwähnt, besonders genaue Positionen ermittelt werden.
  • Die Objektkarte 130 kann dann beispielsweise an den Roboter 210 übertragen werden, sodass dieser bzw. einer oder mehrere Aktuatoren davon, gesteuert werden können. Dabei kann also die aktuelle Position der Person 200 bei der Steuerung des Roboters 210 berücksichtigt werden. Auf diese Weise können Gefahrensituationen vermieden werden, da beispielsweise der Roboter 210 angehaltern werden kann, wenn die Person 200 dem Roboter 210 zu nahe kommt. Dieser Vorgang der Erstellung der Objektarte kann dabei laufend wiederholt werden, sodass ständig aktuelle Daten zu den Positionen der einzelnen Objekte in der Fabrikumgebung vorliegen.
  • In 3 ist nun schematisch ein erfindungsgemäßes System in weiterer bevorzugter Ausführungsform dargestellt. Hierzu ist der Server 110 erneut gezeigt, hier beispielhaft nur mit Sensoren 120 und 121, die dem Server 110 zugeordnet sind.
  • Weiterhin sind nun zwei weitere Server 110' und 110" gezeigt, denen ebenfalls jeweils beispielhaft Sensoren 120 und 121 zugeordnet sind. Jeder der Sensoren kann nun von ihm erfasste Informationen, insbesondere in Bezug auf Positionen von Objekten, an den ihm zugeordneten Server übertragen. Mittels der Server 110, 110' und 110" kann dann jeweils eine Teil-Objektkarte 150, 150' bzw. 150" erstellt werden, welche dann wiederum an einen übergeordneten Server 140 übertragen werden. Der übergeordnete Server 140 kann an sich gleichartig wie die anderen Server aufgebaut sein. Dort kann dann die Objektkarte 130 aus den einzelnen Teil-Objektkarten zusammengesetzt werden.
  • In 4 sind schematisch verschiedene Bereiche B1 , B2 und B3 für die Durchführung eines erfindungsgemäßen Verfahrens in weiterer bevorzugter Ausführungsform dargestellt. Hier ist in der Nähe des Servers 110 eine Referenz R festgelegt, die beispielsweise in Abhängigkeit von dem Roboter 210 vorgegeben sein kann.
  • In Bezug auf die Referenz R sind nun beispielhaft ein erster Bereich Bi, ein weiter von der Referenz R entfernter Bereich B2 und ein noch weiter von der Referenz R entfernter Bereich B3 vorgegeben. Die Bereiche sind hier beispielhaft ringförmig ausgebildet. Wenn nun beispielsweise die Person 200 in dem ersten Bereich B1 und damit in der Nähe des Roboters 210 erfasst wird, so ist diese Information zunächst nur für den Server 110 relevant. Diese Information bzw. eine zugehörige Position muss nicht an einen anderen Server übertragen werden.
  • Wird hingegen eine Person - hier eine Person 200' - in dem zweiten Bereich B2 erfasst, so kann diese Information beispielsweise auch für den Server 110' relevant sein, in dessen Nähe sich beispielsweise ein Roboter 210' befinden kann. Es ist nämlich denkbar, dass sich die Person 200' auf den Roboter 210' zubewegt, wie hier durch einen Pfeil angedeutet. Insofern ist es zweckmäßig, diese Information an den Server 110' zu übertragen.
  • Denkbar ist auch, dass sich die Person 200' zu einem späteren Zeitpunkt im Bereich B3 befindet. Daraus kann dann beispielsweise mit höherer Sicherheit geschlossen werden, dass diese Person sich auf den Roboter 210' zubewegt.
  • Insgesamt kann auf diese Weise also eine sehr genaue Objektarte für eine Fabrikumgebung erstellt werden, basierend auf welcher ein besonders sicherer und effizienter Betrieb in dieser Fabrikumgebung möglich ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • CN 104385282 A [0004]

Claims (14)

  1. Verfahren zum Erstellen einer Objektkarte (130) für eine Fabrikumgebung (100) unter Verwendung von in der Fabrikumgebung (100) vorhandenen Sensoren (120, 121, 122), wobei von wenigstens einem Teil eines Objekts (200, 210) in der Fabrikumgebung (100) Informationen (125) in Bezug auf seine Position von wenigstens zwei der Sensoren (120, 121, 122) erfasst werden, wobei die von den Sensoren (120, 121, 122) erfassten Informationen (125) an einen den Sensoren zugeordneten Server (110) übertragen werden, und wobei unter Verwendung des Servers (110) basierend auf den von den Sensoren erfassten und übertragenen Informationen (125) eine Objektkarte (130) für die Fabrikumgebung (100) mit einer Position des wenigstens einen Teils eines Objektes (200, 210) erstellt wird.
  2. Verfahren nach Anspruch 1, wobei von jedem der Sensoren (120, 121, 122) jeweils wenigstens ein Teil eines Objekts (200, 210) in der Fabrikumgebung (100) erfasst wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei die Objektkarte (130) an wenigstens eine in der Fabrikumgebung (100) vorhandene Vorrichtung (210) übertragen wird.
  4. Verfahren nach einem der vorstehenden Ansprüche, wobei wenigstens eine in der Fabrikumgebung (100) vorhandene Vorrichtung (210) basierend auf der Objektkarte (130) gesteuert wird.
  5. Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektkarte (130) von dem Server (110) erstellt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 4, wobei von dem Server (110) basierend auf den von den Sensoren (120, 121, 122) erfassten und übertragenen Informationen (125) eine Teil-Objektkarte (150) für die Fabrikumgebung (100) erstellt wird, wobei von wenigstens einem weiteren der Sensoren (120, 121) erfasste Informationen an einen dem wenigstens einen weiteren Sensor zugeordneten, weiteren Server (110', 110") übertragen werden, wobei von dem weiteren Server (110', 110") basierend auf den von dem wenigstens einen weiteren Sensor (120, 121) erfassten und übertragenen Informationen eine weitere Teil-Objektkarte (150', 150") für die Fabrikumgebung (100) erstellt wird, und wobei aus der Teil-Objektkarte (150) und der weiteren Teil-Objektkarte (150', 150") die Objektkarte (130) für die Fabrikumgebung (100) mit der Position des wenigstens einen Teils des Objektes (200, 210) erstellt wird.
  7. Verfahren nach Anspruch 6, wobei die von dem wenigstens einen weiteren der Sensoren (120, 121, 122) erfassten Informationen Informationen in Bezug auf eine Position wenigstens einen Teil eines weiteren Objektes (2001') in der Fabrikumgebung (100) umfassen, und wobei aus der Teil-Objektkarte (150) und der weiteren Teil-Objektkarte (150', 150") die Objektkarte (130) für die Fabrikumgebung (100) mit der Position des wenigstens einen Teils des Objektes (200, 210) und des wenigstens einen Teils des weiteren Objektes (210') erstellt wird.
  8. Verfahren nach Anspruch 6 oder 7, wobei die Teil-Objektkarten (150, 150', 150") von dem jeweiligen Server (110, 110', 110") an einen übergeordneten Server (140) übertragen werden, und wobei von dem übergeordneten Server (140) die Objektkarte (130) erstellt wird.
  9. Verfahren nach einem der Ansprüche 6 bis 8, wobei von den dem Server (110) zugeordneten Sensoren (120, 121, 122) erfassten Informationen (125) Informationen für einen ersten Bereich (B1) und einen zweiten Bereich (B2), der von einer Referenz (R) weiter entfernt ist als der erste Bereich (B1) , umfassen, und wobei nur Informationen für den zweiten Bereich (B2) und/oder die Teilobjektkarte nur mit aus den Informationen für den zweiten Bereich (B2) ermittelten Position von Objekten in der Fabrikumgebung direkt oder indirekt an den weiteren Server (110') übertragen werden.
  10. Verfahren nach einem der vorstehenden Ansprüche, wobei die Sensoren (120, 121, 122) wenigstens teilweise aus den folgenden Sensoren ausgewählt sind: Kameras, insbesondere Videokameras und Stereokameras, Ultraschallsensoren, Mikrofone, Annäherungssensoren, RADAR-Einheiten, LIDAR-Einheiten, Funkmodule, insbesondere WLAN-Einheiten und Bluetooth-Einheiten, Inertialsensoren und Abstandssensoren.
  11. Verfahren nach einem der vorstehenden Ansprüche, wobei die Sensoren (120, 121, 122) wenigstens teilweise aus Sensoren ausgewählt sind, die an Objekten (200) und/oder Vorrichtungen (210) in der Fabrikumgebung (100) angeordnet sind.
  12. System mit wenigstens einem Server (110, 110', 110", 140) und mit Sensoren (120, 121, 122), das dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.
  13. Computerprogramm, das ein System mit wenigstens einem Server (110, 110', 110", 140) und mit Sensoren (120, 121, 122) veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen, wenn es auf dem System ausgeführt wird.
  14. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 13.
DE102017213601.4A 2017-08-04 2017-08-04 Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung Pending DE102017213601A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102017213601.4A DE102017213601A1 (de) 2017-08-04 2017-08-04 Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung
US16/634,700 US11774545B2 (en) 2017-08-04 2018-07-23 Method for creating an object map for a factory environment
PCT/EP2018/069919 WO2019025221A1 (de) 2017-08-04 2018-07-23 Verfahren zum erstellen einer objektkarte für eine fabrikumgebung
CN201880050474.3A CN110914640B (zh) 2017-08-04 2018-07-23 用于创建用于工厂环境的对象地图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017213601.4A DE102017213601A1 (de) 2017-08-04 2017-08-04 Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung

Publications (1)

Publication Number Publication Date
DE102017213601A1 true DE102017213601A1 (de) 2019-02-07

Family

ID=63013031

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017213601.4A Pending DE102017213601A1 (de) 2017-08-04 2017-08-04 Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung

Country Status (4)

Country Link
US (1) US11774545B2 (de)
CN (1) CN110914640B (de)
DE (1) DE102017213601A1 (de)
WO (1) WO2019025221A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112936268A (zh) * 2021-01-30 2021-06-11 埃夫特智能装备股份有限公司 一种协作机器人安全控制***
WO2021165106A1 (de) * 2020-02-19 2021-08-26 Franka Emika Gmbh Aufstellort eines robotermanipulators

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258987B2 (en) 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
US11170538B2 (en) 2018-10-31 2021-11-09 Milwaukee Electric Tool Corporation Spatially-aware tool system
WO2020092497A2 (en) 2018-10-31 2020-05-07 Milwaukee Electric Tool Corporation Spatially-aware tool system
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods
DE102021115833A1 (de) 2021-06-18 2022-12-22 Minebea Mitsumi Inc. Handhabungsvorrichtung für ein Arbeitsverfahren
DE102021121766A1 (de) * 2021-08-23 2023-02-23 Still Gesellschaft Mit Beschränkter Haftung Verfahren und System zum Einrichten einer robotischen und/oder assistierenden Systemeinheit eines Flurförderzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104385282A (zh) 2014-08-29 2015-03-04 暨南大学 一种视觉智能数控***及其视觉计测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823739B1 (ko) * 2006-12-08 2008-04-21 한국전자통신연구원 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법
KR100920821B1 (ko) * 2008-11-11 2009-10-08 (주) 애니트론 국지적 환경정보 수집 및 예측 시스템
US9068847B2 (en) * 2009-04-22 2015-06-30 Honeywell International Inc. System and method for collaborative navigation
DE112011100458B4 (de) * 2010-02-05 2024-02-01 Trimble Navigation Limited Systeme und Verfahren zur Verarbeitung von Kartierungs- und Modellierungsdaten
KR20130137077A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스 제공 장치 및 방법
JP5439552B2 (ja) * 2012-08-06 2014-03-12 株式会社日立産機システム ロボットシステム
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
JP6354120B2 (ja) * 2013-05-21 2018-07-11 株式会社デンソー 道路情報送信装置、地図生成装置、道路情報収集システム
US10026001B2 (en) * 2013-09-25 2018-07-17 Intel Corporation Systems and methods for mapping
CN104038743A (zh) * 2014-06-23 2014-09-10 浙江工业大学 一种融合位置跟踪的视频监控方法及其***
CN104385287A (zh) 2014-11-06 2015-03-04 重庆市威浩齿轮有限责任公司 双夹爪机构
KR101976241B1 (ko) * 2016-01-22 2019-08-28 경희대학교 산학협력단 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
CN205861102U (zh) * 2016-06-07 2017-01-04 国网浙江兰溪市供电公司 基于电线杆的环境监测***
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
EP3645972A4 (de) * 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. Kartenerzeugungssysteme und -verfahren

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104385282A (zh) 2014-08-29 2015-03-04 暨南大学 一种视觉智能数控***及其视觉计测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021165106A1 (de) * 2020-02-19 2021-08-26 Franka Emika Gmbh Aufstellort eines robotermanipulators
CN112936268A (zh) * 2021-01-30 2021-06-11 埃夫特智能装备股份有限公司 一种协作机器人安全控制***

Also Published As

Publication number Publication date
CN110914640B (zh) 2024-03-12
US11774545B2 (en) 2023-10-03
US20200198141A1 (en) 2020-06-25
CN110914640A (zh) 2020-03-24
WO2019025221A1 (de) 2019-02-07

Similar Documents

Publication Publication Date Title
DE102017213601A1 (de) Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung
DE102007007576B4 (de) Verfahren und Vorrichtung zum Sichern eines Arbeitsraums
DE102018212531B4 (de) Artikeltransfervorrichtung
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE102018118265B4 (de) Verfahren und Überwachungssystem zum Absichern einer Maschine
EP3445538B1 (de) Verfahren zur steuerung einer mehrzahl von mobilen fahrerlosen manipulatorsystemen
EP3271231A1 (de) Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit
DE102017125103A1 (de) Einstellvorrichtung und einstellsystem zum konfigurieren von einstellungen für eine mehrzahl von maschinen
EP3008660B1 (de) Assistenzvorrichtung und verfahren zum unterstützen eines fahrers eines fahrzeugs
DE102018215560A1 (de) Verfahren zum Koordinieren und Überwachen von Objekten
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102014210752A1 (de) Verfahren und Vorrichtung zum Überwachen einer Solltrajektorie eines Fahrzeugs
DE102018101162A1 (de) Messsystem und Verfahren zur extrinsischen Kalibrierung
EP3974936B1 (de) Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich
DE102018128535B4 (de) Trainieren eines künstlichen neuronalen Netzwerks mit durch Sensoren eines Fahrzeugs erfassten Daten
DE102017206344A1 (de) Fahrerassistenzsystem für ein Fahrzeug
EP3575912A1 (de) Mähroboter
DE102015012344A1 (de) Verfahren zum Kalibrieren einer Kamera
DE102015218686A1 (de) Verfahren zum Modellieren eines dreidimensionalen Bewegungsraumes zumindest einer Lastentransporteinrichtung und/oder zumindest einer Komponente der Lastentransporteinrichtung und/oder zumindest eines von der Lastentransporteinrichtung transportierten Transportguts, Verfahren zum Betreiben einer Lastentransporteinrichtung sowie Vorrichtung
DE102006010955B3 (de) Verfahren zur visuellen Überwachung eines Raumbereiches
DE102006038303B4 (de) Verfahren und Vorrichtung zum Bestimmen der Koordinaten von Referenzpunkten
DE102019201696B4 (de) Steuerung einer Bearbeitungsmaschine
EP2703920B1 (de) Verfahren zum Einlernen der Steuerung einer Maschine
EP4186651B1 (de) System und verfahren mit einem system
DE102022211970A1 (de) Verfahren zum Betreiben mindestens einer Arbeitsmaschine in einem Arbeitsumfeld

Legal Events

Date Code Title Description
R012 Request for examination validly filed