WO2019025221A1 - Verfahren zum erstellen einer objektkarte für eine fabrikumgebung - Google Patents

Verfahren zum erstellen einer objektkarte für eine fabrikumgebung Download PDF

Info

Publication number
WO2019025221A1
WO2019025221A1 PCT/EP2018/069919 EP2018069919W WO2019025221A1 WO 2019025221 A1 WO2019025221 A1 WO 2019025221A1 EP 2018069919 W EP2018069919 W EP 2018069919W WO 2019025221 A1 WO2019025221 A1 WO 2019025221A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensors
server
information
factory environment
object map
Prior art date
Application number
PCT/EP2018/069919
Other languages
English (en)
French (fr)
Inventor
Keerthana GOVINDARAJ
Tobias HILLER
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201880050474.3A priority Critical patent/CN110914640B/zh
Priority to US16/634,700 priority patent/US11774545B2/en
Publication of WO2019025221A1 publication Critical patent/WO2019025221A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0252—Radio frequency fingerprinting
    • G01S5/02521—Radio frequency fingerprinting using a radio-map
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40323—Modeling robot environment for sensor based robot system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a method of creating an object map for a factory environment, such as a factory floor, using sensors present in the factory environment.
  • a method according to the invention is used to create an object map for a factory environment using sensors present in the factory environment.
  • a factory or assembly hall is considered as a factory environment.
  • At least part of an object in the factory environment receives information relating to its position from at least two of the sensors. It is also conceivable, in particular, for each of the sensors to detect at least one object (or its part) in the factory environment.
  • objects here are in particular automated devices such as robots or vehicles, but also persons to understand, among sub-objects, for example, the arm of a robot or the silhouette of a person. Likewise, these include products or material and their states, for example, in a factory to understand.
  • the information captured by the sensors is then transmitted to a server associated with the sensors, and using the server, an object map for the factory environment is then created based on the information collected and transmitted by the sensors with a position of the at least part of the object.
  • the object card can be created by the server, for example by means of suitable software running on it.
  • a server expediently has at least one processor, a memory and a network connection.
  • the sensors can preferably be connected wirelessly to the server. Depending on the type of sensor, however, a wired connection would be conceivable.
  • a server is in particular a so-called. Edge server into consideration, so a very powerful server.
  • This procedure can preferably also be repeated continuously or at least at certain time intervals, in particular based on the previous map information as a reference, ie the object map can be updated.
  • the object map can be updated.
  • only information such as in particular removal of an object or a part thereof must be detected by the individual sensors and transmitted to the server.
  • the processing of the information is then expediently carried out only in or on the server, or at least using the server. This allows a particularly fast and efficient processing of information and thus a fast and efficient creation of the object card, since the sensors are connected directly to the powerful (edge) server.
  • a particularly accurate position can be determined at least with respect to this at least one object or a part thereof .
  • different sensors can, for example, have different viewing angles to an object or else that different sensors can use different types of distance measurement.
  • a correction of the position as would be determined by one of the sensors, is possible.
  • information relating to its respective position can also be acquired for each of a plurality of objects or parts thereof, each of two or even more different sensors.
  • the object card is transferred to at least one device present in the factory environment. There can then take place, for example, a control of the device based on the object card.
  • At least one device present in the factory environment is controlled based on the object map.
  • an actuator or several actuators
  • the object card can be transferred to the device.
  • the control of a robot based on the object map in which the exact position of a person is included.
  • the robot - or another device - is only controlled or controlled if persons maintain a sufficient safety distance.
  • a specific or adapted control of the device is possible. It is particularly preferred if a partial object map for the factory environment is created by the server based on the information acquired and transmitted by the sensors.
  • information acquired by at least one other of the sensors can be transmitted to a further server assigned to the at least one further sensor.
  • a further partial object map created for the factory environment from the partial object map and the other partial object map then the object map for the factory environment with the Position of the at least part of the object can be created.
  • the creation of the object map can be divided into two or more servers, which then receive information only from a part of the sensors to create a partial object map - so in particular only for a part of the factory environment.
  • larger factory environments can be covered very easily. It is understood that not only a total of two servers, but also three, four or even more such servers can be used, by means of which each own such partial object maps can be created, which are then assembled into an object map.
  • an object or a part thereof does not necessarily have to be detected by the further sensor or information with respect to a position of an object does not have to be detected (there could not be any object in the range of the further sensor)
  • the information captured by the at least one further of the sensors includes information relating to a position of at least a part of another object in the factory environment. Then, from the partial object map and the further partial object map, the object map for the factory environment can be created with the position of the at least one part of the object and the at least one part of the further object.
  • the partial object maps (that is, the partial object map and the further partial object map, depending on the situation even more than two partial object maps) are transmitted from the respective server to a higher-level server, wherein the parent Server the object map is created.
  • the individual partial object cards can therefore be put together.
  • the partial object maps partially overlap and such an overlap is then considered or removed when the object map is created.
  • the information acquired by the sensors associated with the server includes information for a first area and a second area farther from a reference than the first area.
  • the corresponding server can serve as a reference, but also a specific point in the factory environment or a specific device such as a robot in the factory environment.
  • the indirect transmission can include in this case that only the information or positions of objects or parts thereof (or a correspondingly created object map) relevant to a particular server are transmitted from the higher-level server to this server. This makes it possible to transmit to a server only the information actually required, based on what then, for example, a control of a device is possible. For example, a person in the vicinity of a robot is only relevant to the corresponding server to which the sensors in the vicinity of the robot are assigned.
  • a person moving away from a robot or otherwise moving is, for example, also relevant to another server in the vicinity of which another robot is provided. This person could move to this robot.
  • the relevance information can be transmitted from one server to another server.
  • a third area or even more areas so that information of different relevance can be exchanged at different distances, ie with different numbers of servers or with different distances.
  • the sensors are preferably selected at least in part from the following sensors: cameras, in particular video cameras and stereo cameras, ultrasonic sensors, microphones, proximity sensors, RADAR units, LIDAR units, radio modules, in particular WLAN units and Bluetooth units, inertial sensors and distance sensors. All of these sensors are particularly common in factory environments and can be used to collect as much information as possible about the location of objects or parts thereof in the factory environment.
  • the sensors are at least partially selected from sensors which are arranged on objects and / or devices in the factory environment.
  • sensors can be used, but also, for example, manually or automatically moved devices (for example, robots) or vehicles (for example, forklifts). Also conceivable are sensors on so-called.
  • “Augmented reality glasses” or “augmented reality helmets” used, for example, by persons in the factory environment to perform guided assembly work or the like.
  • additional location and object-related information can be generated and reconciled in the same way via the edge server. Examples include information about work progress, the current level of safety, the appropriate information about an object (such as the machine's manual, which a worker is standing in front of or looking at) or warnings to people.
  • the map created on the server also offers the possibility of using information in the form of a mobility pattern, for example, when the areas covered by two servers do not overlap, for example, to estimate distance, average speed, etc. between the areas , This further enhances security by being likely to be expected to enter the second area.
  • a parent edge server can get the card information from each server in the hierarchy below and coordinate and aggregate the information.
  • a system according to the invention with at least one server and with sensors is, in particular programmatically, configured to carry out a method according to the invention.
  • Suitable data carriers for the provision of the computer program are, in particular, magnetic, optical and electrical memories, such as hard disks, flash memories, EEPROMs, DVDs and the like. It is also possible to download a program via computer networks (Internet, intranet, etc.). Further advantages and embodiments of the invention will become apparent from the description and the accompanying drawings.
  • Figure 1 shows schematically a factory environment with a system according to the invention in a preferred embodiment, with which a method according to the invention can be carried out.
  • FIG. 2 schematically shows a sequence of a method according to the invention in a preferred embodiment.
  • FIG. 3 schematically shows a system according to the invention in a further preferred embodiment.
  • FIG. 4 schematically shows various regions for carrying out a method according to the invention in a further preferred embodiment.
  • the system comprises a server 110 as well as, for example, various sensors 120, 121 and 122.
  • the server 110 has a processor 111 and a memory 112 as well as a network connection 113, here in the form of a radio module, in particular W-LAN or WiFi.
  • the sensors designated 120 are cameras
  • the sensors labeled 121 are LIDARs
  • the sensor designated 122 is a sensor for so-called "augmented reality glasses", which in turn also includes a camera can.
  • a person 200 wearing the "augmented reality glasses” and a device 210 designed as an automated robot are now shown as objects in the factory environment 100.
  • Some of the above-mentioned sensors are also arranged on the robot 210.
  • the individual sensors can now acquire information relating to the position of the person 200 and the robot 210 in the factory environment 100 and transmit it to the server 110.
  • FIG. 2 schematically shows a sequence of a method according to the invention in a preferred embodiment.
  • the individual sensors 120, 121 and 122 can now acquire information 125 relating to the position of the objects, for example the person 200 and the robot 210 according to FIG. 1, in the factory environment 100 and transmit them to the server 110.
  • both of the person 200 and of the robot 210 each of a plurality of different sensors information with respect to their position can be detected.
  • An object map 130 can now be created on the server 110 from the information obtained 125, in which the positions of the person 200 and the robot 210 are contained in the factory environment 100.
  • the object map 130 can then be transmitted to the robot 210, for example, so that it or one or more actuators thereof can be controlled.
  • the current position of the person 200 can be taken into account in the control of the robot 210.
  • dangerous situations can be avoided since, for example, the robot 210 can be stopped when the person 200 comes too close to the robot 210.
  • This process of creating the object type can be repeated continuously, so that there is constantly up-to-date data on the positions of the individual objects in the factory environment.
  • FIG. 3 schematically shows a system according to the invention in a further preferred embodiment.
  • the server 110 is shown again, here only by way of example with sensors 120 and 121, which are assigned to the server 110.
  • two further servers 110 'and 110 are now shown, to which sensors 120 and 121 are likewise assigned by way of example, each of which sensors can now transmit information acquired by it, in particular with respect to positions of objects, to the server assigned to it the servers 110, 110 'and 110 "can then each be created a partial object map 150, 150' or 150", which in turn are then transmitted to a higher-level server 140.
  • the higher-level server 140 can be like the other servers There, the object map 130 can then be assembled from the individual partial object maps.
  • FIG. 4 schematically shows various regions B 1, B 2 and B 3 for carrying out a method according to the invention in a further preferred embodiment.
  • a reference R is defined in the vicinity of the server 110, which may be predetermined, for example, in dependence on the robot 210.
  • a first region Bi, a region B2 further from the reference R, and an area B3 further removed from the reference R are now given by way of example.
  • the areas are formed here by way of example annular. If, for example, the person 200 is detected in the first area Bi and thus in the vicinity of the robot 210, this information is initially only relevant to the server 110. This information or a corresponding position does not have to be transmitted to another server.
  • this information can also be relevant for the server 110', for example, in the vicinity of which For example, a robot 210 'may be located. It is conceivable that the person 200 'moves towards the robot 210', as indicated by an arrow. In this respect, it is expedient to transmit this information to the server 110 '.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen einer Objektkarte (130) für eine Fabrikumgebung (100) unter Verwendung von in der Fabrikumgebung (100) vorhandenen Sensoren (120, 121, 122), wobei von wenigstens einem Teil eines Objekts (200, 210) in der Fabrikumgebung (100) Informationen (125) in Bezug auf seine Position von wenigstens zwei der Sensoren (120, 121, 122) erfasst werden, wobei die von den Sensoren (120, 121, 122) erfassten Informationen (125) an einen den Sensoren zugeordneten Server (110) übertragen werden, und wobei unter Verwendung des Servers (110) basierend auf den von den Sensoren erfassten und übertragenen Informationen (125) eine Objektkarte (130) für die Fabrikumgebung (100) mit einer Position des wenigstens einen Teils des Objektes (200, 210) erstellt wird.

Description

Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung
Beschreibung Die vorliegende Erfindung betrifft ein Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung wie eine Werkshalle unter Verwendung von in der Fabrikumgebung vorhandenen Sensoren.
Stand der Technik
In modernen Fabrikumgebungen wie beispielsweise Werks- bzw. Montagehallen und dergleichen werden heutzutage zunehmend mehr Abläufe automatisiert. Hierzu werden beispielsweise Roboter und automatisierte Fahrzeuge eingesetzt. Dies ist auch unter dem Begriff "Industrie 4.0" bekannt. Trotz der Automatisierung ist es weiterhin nötig, dass sich auch Menschen in der Fabrikumgebung bewegen und mit den dort vorhandenen Geräten, also beispielsweise auch Robotern, arbeiten bzw. zusammenarbeiten.
Hierzu ist es wünschenswert, möglichst genaue Informationen über die Position einzelner Objekte - hierunter fallen insbesondere automatisierte Geräte wie Roboter oder Fahrzeuge, aber auch Personen - zu erhalten. Auch Teilobjekte und deren Positionen sollen überwacht werden können, etwa der Arm eines Roboters oder die Silhouette eines Menschen. Dies ist nicht zuletzt wichtig, um einen gefahrlosen Betrieb für die Personen zu ermöglichen. Außerdem könnten auf diese Weise auch der Produkt- bzw. Materialfluss in einer Fabrik überwacht werden.
Möglich ist es dabei, unter Verwendung von Sensoren wie GPS (dies allerdings nur im Außenbereich), W-LAN-Einheiten, LIDARs, Kameras und dergleichen, die exakte Position von Objekten zu ermitteln. Aus der CN 104 385 282 A ist es beispielsweise bekannt, die Informationen mehrerer Sensoren zusammenzuführen. Auch aus " C. Ramer, J. Sessner, M. Scholz, X. Zhang and J. Franke, "Fusing low-cost sensor data for localization and mapping of auto- mated guided vehicle fleets in indoor applications," Multisensor Fusion and Integration for Intelligent Systems (MFI), 2015 IEEE International Conference on, San Diego, CA, 2015, pp. 65-70" ist es bekannt, die Informationen verschiedener Arten von Sensoren zusammenzuführen. Problematisch sind dabei jedoch immer noch die vorhandenen Latenzzeiten.
Offenbarung der Erfindung
Erfindungsgemäß werden ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
Ein erfindungsgemäßes Verfahren dient zum Erstellen einer Objektkarte für eine Fabrikumgebung unter Verwendung von in der Fabrikumgebung vorhandenen Sensoren. Als Fabrikumgebung kommt dabei insbesondere eine Werks- bzw. Montagehalle in Betracht. Dabei werden von wenigstens einem Teil eines Objekts in der Fabrikumgebung Informationen in Bezug auf seine Position von wenigstens zwei der Sensoren erfasst. Denkbar ist insbesondere auch, dass von jedem der Sensoren jeweils wenigstens ein Objekt (bzw. dessen Teil) in der Fabrikumgebung erfasst wird. Unter Objekten sind hierbei insbesondere automatisierte Geräte wie Roboter oder Fahrzeuge, aber auch Personen zu verstehen, unter Teilobjekten beispielsweise der Arm eines Roboters oder die Silhouette eines Menschen. Ebenso sind darunter Produkte bzw. Material und deren Zustände, beispielsweise in einer Fabrik, zu verstehen. Die von den Sensoren erfassten Informationen werden dann an einen den Sensoren zugeordneten Server übertragen, und unter Verwendung des Servers wird dann basierend auf den von den Sensoren erfassten und übertragenen Informationen eine Objektkarte für die Fabrikumgebung mit einer Position des wenigstens einen Teils des Objektes erstellt. Die Objektkarte kann dabei insbesondere von dem Server, also beispielsweise durch geeignete, darauf laufende Software, erstellt werden. Ein solcher Server weist hierzu zweckmäßigerweise wenigstens einen Prozessor, einen Speicher und eine Netzwerkanbindung auf. Die Sensoren können dabei vorzugsweise drahtlos an den Server angebunden sein. Je nach Art des Sensors wäre jedoch auch eine kabelgebundene Anbindung denkbar. Als ein solcher Server kommt dabei insbesondere ein sog. Edge-Sever in Betracht, also ein sehr leistungsfähiger Server. Dieses Vorgehen kann dabei vorzugsweise auch laufend oder zumindest in gewissen zeitlichen Abständen, insbesondere basierend auf der vorherigen Karten- Information als Referenz, wiederholt werden, d.h. die Objektkarte kann aktualisiert werden. Auf diese Weise müssen von den einzelnen Sensoren lediglich Informationen wie insbesondere eine Entfernung eines Objektes bzw. eines Teils davon erfasst und an den Server übertragen werden. Die Verarbeitung der Informationen wird dann zweckmäßigerweise nur in bzw. auf dem Server, zumindest aber unter Verwendung des Servers, vorgenommen. Dies ermöglicht also eine besonders schnelle und effiziente Verarbeitung von Informationen und damit entsprechend eine schnelle und effiziente Erstellung der Objektkarte, da die Sensoren direkt mit dem leistungsfähigen (Edge-)Server verbunden sind. Dadurch, dass nun zudem von wenigstens einem Teil eines Objekts Informationen in Bezug auf seine Position in der Fabrikumgebung von wenigstens zwei der Sensoren erfasst werden, kann zumindest in Be- zug auf dieses wenigstens eine Objekt bzw. einen Teil davon eine besonders genaue Position ermittelt werden. Dabei kann berücksichtigt werden, dass verschiedenen Sensoren beispielsweise unterschiedliche Blickwinkel auf ein Objekt haben können oder aber dass verschiedene Sensoren unterschiedliche Arten der Entfernungsmessung verwenden können. Auf diese Weise ist dann eine Korrektur der Position, wie sie durch einen der Sensoren er- mittelt würde, möglich. Hierzu sei angemerkt, dass auch für jedes einer Vielzahl von Objekten bzw. Teilen davon jeweils von zwei - oder auch mehr - verschiedenen Sensoren Informationen in Bezug auf seine jeweilige Position erfasst werden können. Insgesamt kann damit also eine Objektkarte mit sehr genauen Positionen einer Vielzahl von Objekten bzw. Teilen davon in der Fabrikumgebung - nach Möglichkeit sogar von allen (relevanten) Objekten - erstellt werden.
Vorzugsweise wird die Objektkarte an wenigstens eine in der Fabrikumgebung vorhandene Vorrichtung übertragen. Dort kann anhand der Objektkarte dann beispielsweise eine Steuerung der Vorrichtung erfolgen.
Vorteilhafterweise wird wenigstens eine in der Fabrikumgebung vorhandene Vorrichtung basierend auf der Objektkarte gesteuert. Dort kann dann zweckmäßigerweise ein Aktuator (oder auch mehrere Aktuatoren) angesteuert werden. Hierzu kann insbesondere die Objektkarte auf die Vorrichtung übertragen werden. Denkbar ist also beispielsweise die Steuerung eines Roboters basierend auf der Objektarte, in welche die genaue Position einer Person enthalten ist. Auf diese Weise kann beispielsweise sichergestellt werden, dass der Roboter - oder eine andere Vorrichtung - nur dann gesteuert bzw. angesteuert wird, wenn Personen einen ausreichenden Sicherheitsabstand einhalten. Ebenso ist in Abhängigkeit von der Position der Person eine bestimmte bzw. angepasste Steuerung der Vorrichtung möglich. Besonders bevorzugt ist es, wenn von dem Server basierend auf den von den Sensoren erfassten und übertragenen Informationen eine Teil-Objektkarte für die Fabrikumgebung erstellt wird. Dann können von wenigstens einem weiteren der Sensoren (oder auch zwei oder mehr dieser Sensoren) erfasste Informationen an einen dem wenigstens einen weiteren Sensor zugeordneten, weiteren Server übertragen werden. Von dem weiteren Server kann dann basierend auf den von dem wenigstens einen weiteren Sensor erfassten und übertragenen Informationen eine weitere Teil-Objektkarte für die Fabrikumgebung erstellt werden, wobei aus der Teil-Objektkarte und der weiteren Teil-Objektkarte dann die Objektkarte für die Fabrikumgebung mit der Position des wenigstens einen Teils des Objektes erstellt werden kann. Auf diese Weise kann also die Erstellung der Objektkarte auf zwei oder mehr Server aufgeteilt werden, die dann jeweils nur von einem Teil der Sensoren Informationen erhalten, um eine Teil-Objektkarte - also insbesondere auch nur für einen Teil der Fabrikumgebung - zu erstellen. Damit können beispielsweise größere Fabrikumgebungen sehr einfach abgedeckt werden. Es versteht sich, dass nicht nur insgesamt zwei Server, sondern auch drei, vier oder noch mehr solcher Server verwendet werden können, mittels welcher jeweils eigene solcher Teil-Objektkarten erstellt werden können, die dann zu einer Objektkarte zusammengesetzt werden.
Während im erwähnten Fall zunächst nicht notwendigerweise von dem weiteren Sensor auch ein Objekt oder ein Teil davon erfasst werden muss bzw. nicht Informationen in Bezug auf eine Position eines Objekts erfasst werden müssen (es könnte auch kein Objekt in Reichweite des weiteren Sensors sein), ist es dennoch bevorzugt, wenn auch die von dem wenigstens einen weiteren der Sensoren erfassten Informationen Informationen in Bezug auf eine Position wenigstens eines Teils eines weiteren Objektes in der Fabrikumgebung umfas- sen. Dann kann aus der Teil-Objektkarte und der weiteren Teil-Objektkarte die Objektkarte für die Fabrikumgebung mit der Position des wenigstens einen Teils des Objektes und des wenigstens einen Teils des weiteren Objektes erstellt werden.
Es ist von Vorteil, wenn die Teil-Objektkarten (also die Teil-Objektkarte und die weitere Teil- Objektkarte, je nach Situation auch noch mehr als zwei Teil-Objektkarten) von dem jeweiligen Server an einen übergeordneten Server übertragen werden, wobei von dem übergeordneten Server die Objektkarte erstellt wird. Auf dem übergeordneten Server können die einzelnen Teil-Objektkarten also zusammengesetzt werden. Denkbar ist dabei auch, dass die Teil-Objektkarten teilweise überlappen und eine solche Überlappung dann bei Erstellung der Objektkarte berücksichtigt bzw. entfernt wird. Vorzugsweise umfassen die von den dem Server zugeordneten Sensoren erfassten Informationen Informationen für einen ersten Bereich und einen zweiten Bereich, der von einer Referenz weiter entfernt ist als der erste Bereich. Als Referenz kann dabei der entsprechende Server dienen, aber auch ein bestimmter Punkt in der Fabrikumgebung oder eine bestimmte Vorrichtung wie ein Roboter in der Fabrikumgebung. Es werden dann nur Informationen für den zweiten Bereich und/oder die Teilobjektkarte nur mit aus den Informationen für den zweiten Bereich ermittelten Positionen von Objekten bzw. Teilen davon in der Fabrikumgebung direkt oder indirekt an den weiteren Server übertragen. Die indirekte Übertragung kann dabei umfassen, dass von dem übergeordneten Server nur die für einen bestimmten Server rele- vanten Informationen bzw. Positionen von Objekten bzw. Teilen davon (bzw. eine entsprechend erstellte Objektkarte) an diesen Server übertragen werden. Damit ist es möglich, einem Server nur die tatsächlich benötigten Informationen zu übermittelten, basierend worauf dann beispielsweise eine Steuerung einer Vorrichtung möglich ist. So ist beispielweise eine in der Nähe eines Roboters befindliche Person nur für den entsprechenden Server relevant, dem die Sensoren in der Nähe des Roboters zugeordnet sind. Eine sich von einem Roboter wegbewegende oder sich anderweitig bewegende Person ist hingegen beispielsweise auch für einen anderen Server relevant, in dessen Nähe ein anderer Roboter vorgesehen ist. Diese Person könnte sich nämlich zu diesem Roboter hin bewegen. Auf diese Weise können die Information nach Relevanz von einem Server an einen anderen Server übermittelt werden. Denkbar ist zudem, einen dritten Bereich (oder noch mehr Bereiche) zu verwenden, sodass unterschiedlich relevante Informationen unterschiedlich weit, d.h. mit unterschiedlich vielen bzw. unterschiedlich weit entfernten Servern ausgetauscht werden können.
Vorzugsweise sind die Sensoren wenigstens teilweise aus den folgenden Sensoren ausge- wählt: Kameras, insbesondere Videokameras und Stereo käme ras, Ultraschallsensoren, Mikrofone, Annäherungssensoren, , RADAR- Einheiten, LIDAR-Einheiten, Funkmodule, insbesondere WLAN-Einheiten und Bluetooth- Einheiten, Inertialsensoren und Abstandssensoren. All diese Sensoren sind insbesondere in Fabrikumgebungen üblich und können verwendet werden, um möglichst viele Informationen über die Position von Objekten bzw. Teilen davon in der Fabrikumgebung zu sammeln.
Zweckmäßig ist es auch, wenn die Sensoren wenigstens teilweise aus Sensoren ausgewählt sind, die an Objekten und/oder Vorrichtungen in der Fabrikumgebung angeordnet sind. So können also nicht nur separat angeordnete Sensoren verwendet werden, sondern auch an beispielsweise manuell oder automatisiert bewegten Vorrichtungen (beispielsweise Roboter) oder Fahrzeugen (beispielsweise Gabelstapler). Denkbar sind auch Sensoren an sog.
"Augmented-Reality-Brillen" oder„Augmented-Reality-Helmen", die beispielsweise von Personen in der Fabrikumgebung verwendet werden, um geführte Montagearbeiten oder dergleichen durchzuführen.
Zusätzlich zu Positionsinformationen können auch weitere orts- und objektbezogene Informationen in selber Weise über die Edge-Server generiert und abgeglichen werden. Beispiele sind Informationen über den Arbeitsfortschritt, das geltende Sicherheitslevel, die passende Information zu einem Objekt (z.B. Betriebsanleitung der Maschine, vor der ein Arbeiter in diesem Moment steht oder die er ansieht) oder Warnhinweise an Personen.
Die auf dem Server entstandene Karte bietet weiterhin die Möglichkeit, Informationen beispielsweise in Form eines Mobilitäts-Musters zu nutzen, wenn etwa sich die von zwei Servern abgedeckten Gebiete nicht überschneiden, um beispielsweise Abstand, mittlere Ge- schwindigkeit, etc. zwischen den Gebieten zu schätzen. Dies erhöht die Sicherheit weiter, indem ein Eintreten in den zweiten Bereich mit hoher Wahrscheinlichkeit erwartet werden kann.
Um eine Harmonisierung der Karten der einzelnen Server zu gewährleisten, kann ein über- geordneter Edge-Server die Karteninformation von jedem Server in der Hierarchie darunter bekommen und die Informationen koordinieren und zusammenfügen.
Ein erfindungsgemäßes System mit wenigstens einem Server und mit Sensoren ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzu- führen.
Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figurenbeschreibung
Figur 1 zeigt schematisch eine Fabrikumgebung mit einem erfindungsgemäßen System in bevorzugter Ausführungsform, mit dem ein erfindungsgemäßes Verfahren durchführbar ist.
Figur 2 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in bevorzugter Ausführungsform.
Figur 3 zeigt schematisch ein erfindungsgemäßes System in weiterer bevorzugter Ausführungsform.
Figur 4 zeigt schematisch verschiedene Bereiche für die Durchführung eines erfindungsgemäßen Verfahrens in weiterer bevorzugter Ausführungsform.
Detaillierte Beschreibung der Zeichnung
In Figur 1 ist schematisch eine Fabrikumgebung 100 mit einem erfindungsgemäßen System in bevorzugter Ausführungsform, mit dem ein erfindungsgemäßes Verfahren durchführbar ist, dargestellt. Bei der Fabrikumgebung kann es sich beispielsweise um eine Werkshalle handeln. Das System umfasst dabei einen Server 110 sowie beispielhaft verschiedene Sensoren 120, 121 und 122. Der Server 110 weist hier einen Prozessor 111 und einen Speicher 112 sowie eine Netz- werkanbindung 113, hier in Form eines Funkmoduls, insbesondere W-LAN bzw. WiFi, auf. Bei den mit 120 bezeichneten Sensoren handelt es sich hier beispielhaft um Kameras, bei den mit 121 bezeichneten Sensoren um LIDARs und bei dem mit 122 bezeichneten Sensor um einen Sensor an einer sog. "Augmented-Reality-Brille", worunter auch wiederum eine Kamera fallen kann.
Weiterhin sind nun eine Person 200, die die "Augmented-Reality-Brille" trägt, sowie eine als automatisierter Roboter ausgebildete Vorrichtung 210 als Objekte in der Fabrikumgebung 100 dargestellt. Einige der oben erwähnten Sensoren sind dabei auch an dem Roboter 210 angeordnet.
Die einzelnen Sensoren können nun Informationen in Bezug auf die Position der Person 200 und des Roboters 210 in der Fabrikumgebung 100 erfassen und an den Server 110 übertra- gen.
In Figur 2 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in bevorzugter Ausführungsform dargestellt. Die einzelnen Sensoren 120, 121 und 122 können nun Informationen 125 in Bezug auf die Position der Objekte, also beispielsweise der Person 200 und des Roboters 210 gemäß Figur 1, in der Fabrikumgebung 100 erfassen und an den Server 110 übertragen. Dabei können sowohl von der Person 200 als auch von dem Roboter 210 jeweils von mehreren verschiedenen Sensoren Informationen in Bezug auf deren Position erfasst werden. Auf dem Server 110 kann nun aus den erhaltenen Informationen 125 eine Objektkarte 130 erstellt werden, in welcher die Positionen der Person 200 und des Roboters 210 in der Fabrikumgebung 100 enthalten sind. Denkbar ist dabei, dass nicht nur eine einzelne Positionsangabe eines Objekts in der Objektkarte 130 enthalten sind, sondern es können auch detailliertere Positionsinformationen wie beispielswiese die Stellung eines Roboterarms enthalten sein. Aufgrund der Informationen in Bezug auf eine Position von Objekten von jeweils mehreren verschiedenen Sensoren können, wie erwähnt, besonders genaue Positionen ermittelt werden.
Die Objektkarte 130 kann dann beispielsweise an den Roboter 210 übertragen werden, so- dass dieser bzw. einer oder mehrere Aktuatoren davon, gesteuert werden können. Dabei kann also die aktuelle Position der Person 200 bei der Steuerung des Roboters 210 berücksichtigt werden. Auf diese Weise können Gefahrensituationen vermieden werden, da beispielsweise der Roboter 210 angehaltern werden kann, wenn die Person 200 dem Roboter 210 zu nahe kommt. Dieser Vorgang der Erstellung der Objektarte kann dabei laufend wie- derholt werden, sodass ständig aktuelle Daten zu den Positionen der einzelnen Objekte in der Fabrikumgebung vorliegen.
In Figur 3 ist nun schematisch ein erfindungsgemäßes System in weiterer bevorzugter Ausführungsform dargestellt. Hierzu ist der Server 110 erneut gezeigt, hier beispielhaft nur mit Sensoren 120 und 121, die dem Server 110 zugeordnet sind.
Weiterhin sind nun zwei weitere Server 110' und 110" gezeigt, denen ebenfalls jeweils beispielhaft Sensoren 120 und 121 zugeordnet sind. Jeder der Sensoren kann nun von ihm erfasste Informationen, insbesondere in Bezug auf Positionen von Objekten, an den ihm zugeordneten Server übertragen. Mittels der Server 110, 110' und 110" kann dann jeweils eine Teil-Objektkarte 150, 150' bzw. 150" erstellt werden, welche dann wiederum an einen übergeordneten Server 140 übertragen werden. Der übergeordnete Server 140 kann an sich gleichartig wie die anderen Server aufgebaut sein. Dort kann dann die Objektkarte 130 aus den einzelnen Teil-Objektkarten zusammengesetzt werden.
In Figur 4 sind schematisch verschiedene Bereiche Bi, B2 und B3 für die Durchführung eines erfindungsgemäßen Verfahrens in weiterer bevorzugter Ausführungsform dargestellt. Hier ist in der Nähe des Servers 110 eine Referenz R festgelegt, die beispielsweise in Abhängigkeit von dem Roboter 210 vorgegeben sein kann.
In Bezug auf die Referenz R sind nun beispielhaft ein erster Bereich Bi, ein weiter von der Referenz R entfernter Bereich B2 und ein noch weiter von der Referenz R entfernter Bereich B3 vorgegeben. Die Bereiche sind hier beispielhaft ringförmig ausgebildet. Wenn nun beispielsweise die Person 200 in dem ersten Bereich Bi und damit in der Nähe des Roboters 210 erfasst wird, so ist diese Information zunächst nur für den Server 110 relevant. Diese Information bzw. eine zugehörige Position muss nicht an einen anderen Server übertragen werden.
Wird hingegen eine Person - hier eine Person 200' - in dem zweiten Bereich B2 erfasst, so kann diese Information beispielsweise auch für den Server 110' relevant sein, in dessen Nä- he sich beispielsweise ein Roboter 210' befinden kann. Es ist nämlich denkbar, dass sich die Person 200' auf den Roboter 210' zubewegt, wie hier durch einen Pfeil angedeutet. Insofern ist es zweckmäßig, diese Information an den Server 110' zu übertragen.
Denkbar ist auch, dass sich die Person 200' zu einem späteren Zeitpunkt im Bereich B3 befindet. Daraus kann dann beispielsweise mit höherer Sicherheit geschlossen werden, dass diese Person sich auf den Roboter 210' zubewegt.
Insgesamt kann auf diese Weise also eine sehr genaue Objektarte für eine Fabrikumgebung erstellt werden, basierend auf welcher ein besonders sicherer und effizienter Betrieb in dieser Fabrikumgebung möglich ist.

Claims

Ansprüche
1. Verfahren zum Erstellen einer Objektkarte (130) für eine Fabrikumgebung (100) unter Verwendung von in der Fabrikumgebung (100) vorhandenen Sensoren (120, 121, 122), wobei von wenigstens einem Teil eines Objekts (200, 210) in der Fabrikumgebung (100) Informationen (125) in Bezug auf seine Position von wenigstens zwei der Sensoren (120, 121, 122) erfasst werden,
wobei die von den Sensoren (120, 121, 122) erfassten Informationen (125) an einen den Sensoren zugeordneten Server (110) übertragen werden, und
wobei unter Verwendung des Servers (110) basierend auf den von den Sensoren erfassten und übertragenen Informationen (125) eine Objektkarte (130) für die Fabrikumgebung (100) mit einer Position des wenigstens einen Teils eines Objektes (200, 210) erstellt wird.
2. Verfahren nach Anspruch 1, wobei von jedem der Sensoren (120, 121, 122) jeweils wenigstens ein Teil eines Objekts (200, 210) in der Fabrikumgebung (100) erfasst wird.
3. Verfahren nach Anspruch 1 oder 2, wobei die Objektkarte (130) an wenigstens eine in der Fabrikumgebung (100) vorhandene Vorrichtung (210) übertragen wird.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei wenigstens eine in der Fabrikumgebung (100) vorhandene Vorrichtung (210) basierend auf der Objektkarte (130) gesteuert wird.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektkarte (130) von dem Server (110) erstellt wird.
6. Verfahren nach einem der Ansprüche 1 bis 4, wobei von dem Server (110) basierend auf den von den Sensoren (120, 121, 122) erfassten und übertragenen Informationen (125) eine Teil-Objektkarte (150) für die Fabrikumgebung (100) erstellt wird,
wobei von wenigstens einem weiteren der Sensoren (120, 121) erfasste Informationen an einen dem wenigstens einen weiteren Sensor zugeordneten, weiteren Server (110', 110") übertragen werden, wobei von dem weiteren Server (110', 110") basierend auf den von dem wenigstens einen weiteren Sensor (120, 121) erfassten und übertragenen Informationen eine weitere Teil-Objektkarte (150', 150") für die Fabrikumgebung (100) erstellt wird, und
wobei aus der Teil-Objektkarte (150) und der weiteren Teil-Objektkarte (150', 150") die Objektkarte (130) für die Fabrikumgebung (100) mit der Position des wenigstens einen Teils des Objektes (200, 210) erstellt wird.
7. Verfahren nach Anspruch 6, wobei die von dem wenigstens einen weiteren der Sensoren (120, 121, 122) erfassten Informationen Informationen in Bezug auf eine Position wenigstens einen Teil eines weiteren Objektes (2001') in der Fabrikumgebung (100) umfassen, und
wobei aus der Teil-Objektkarte (150) und der weiteren Teil-Objektkarte (150', 150") die Objektkarte (130) für die Fabrikumgebung (100) mit der Position des wenigstens einen Teils des Objektes (200, 210) und des wenigstens einen Teils des weiteren Objektes (210') erstellt wird.
8. Verfahren nach Anspruch 6 oder 7, wobei die Teil-Objektkarten (150, 150', 150") von dem jeweiligen Server (110, 110', 110") an einen übergeordneten Server (140) übertragen werden, und wobei von dem übergeordneten Server (140) die Objektkarte (130) erstellt wird.
9. Verfahren nach einem der Ansprüche 6 bis 8, wobei von den dem Server (110) zugeordneten Sensoren (120, 121, 122) erfassten Informationen (125) Informationen für einen ersten Bereich (Bi) und einen zweiten Bereich (B2), der von einer Referenz (R) weiter entfernt ist als der erste Bereich (Bi) , umfassen, und
wobei nur Informationen für den zweiten Bereich (B2) und/oder die Teilobjektkarte nur mit aus den Informationen für den zweiten Bereich (B2) ermittelten Position von Objekten in der Fabrikumgebung direkt oder indirekt an den weiteren Server (110') übertragen werden.
10. Verfahren nach einem der vorstehenden Ansprüche, wobei die Sensoren (120, 121, 122) wenigstens teilweise aus den folgenden Sensoren ausgewählt sind: Kameras, insbesondere Videokameras und Stereo käme ras, Ultraschallsensoren, Mikrofone, Annäherungssensoren, RADAR-Einheiten, LIDAR-Einheiten, Funkmodule, insbesondere WLAN-Einheiten und Bluetooth- Einheiten, Inertialsensoren und Abstandssensoren.
11. Verfahren nach einem der vorstehenden Ansprüche, wobei die Sensoren (120, 121, 122) wenigstens teilweise aus Sensoren ausgewählt sind, die an Objekten (200) und/oder Vorrichtungen (210) in der Fabrikumgebung (100) angeordnet sind.
12. System mit wenigstens einem Server (110, 110', 110", 140) und mit Sensoren (120, 121, 122), das dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.
13. Computerprogramm, das ein System mit wenigstens einem Server (110, 110', 110", 140) und mit Sensoren (120, 121, 122) veranlasst, ein Verfahren nach einem der Ansprüche
1 bis 11 durchzuführen, wenn es auf dem System ausgeführt wird.
14. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 13.
PCT/EP2018/069919 2017-08-04 2018-07-23 Verfahren zum erstellen einer objektkarte für eine fabrikumgebung WO2019025221A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880050474.3A CN110914640B (zh) 2017-08-04 2018-07-23 用于创建用于工厂环境的对象地图的方法
US16/634,700 US11774545B2 (en) 2017-08-04 2018-07-23 Method for creating an object map for a factory environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017213601.4 2017-08-04
DE102017213601.4A DE102017213601A1 (de) 2017-08-04 2017-08-04 Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung

Publications (1)

Publication Number Publication Date
WO2019025221A1 true WO2019025221A1 (de) 2019-02-07

Family

ID=63013031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/069919 WO2019025221A1 (de) 2017-08-04 2018-07-23 Verfahren zum erstellen einer objektkarte für eine fabrikumgebung

Country Status (4)

Country Link
US (1) US11774545B2 (de)
CN (1) CN110914640B (de)
DE (1) DE102017213601A1 (de)
WO (1) WO2019025221A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170538B2 (en) 2018-10-31 2021-11-09 Milwaukee Electric Tool Corporation Spatially-aware tool system
US11258987B2 (en) 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
US11790570B2 (en) 2018-10-31 2023-10-17 Milwaukee Electric Tool Corporation Spatially-aware tool system
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020104356A1 (de) * 2020-02-19 2021-08-19 Franka Emika Gmbh Aufstellort eines Robotermanipulators
CN112936268A (zh) * 2021-01-30 2021-06-11 埃夫特智能装备股份有限公司 一种协作机器人安全控制***
DE102021115833A1 (de) 2021-06-18 2022-12-22 Minebea Mitsumi Inc. Handhabungsvorrichtung für ein Arbeitsverfahren
DE102021121766A1 (de) * 2021-08-23 2023-02-23 Still Gesellschaft Mit Beschränkter Haftung Verfahren und System zum Einrichten einer robotischen und/oder assistierenden Systemeinheit eines Flurförderzeugs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140316636A1 (en) * 2013-04-23 2014-10-23 Samsung Electronics Co., Ltd. Moving robot, user terminal apparatus and control method thereof
CN104385282A (zh) 2014-08-29 2015-03-04 暨南大学 一种视觉智能数控***及其视觉计测方法
US20150086084A1 (en) * 2013-09-25 2015-03-26 Maynard C. Falconer Systems and methods for mapping
US20160189348A1 (en) * 2010-02-05 2016-06-30 Trimble Navigation Limited Systems and methods for processing mapping and modeling data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823739B1 (ko) * 2006-12-08 2008-04-21 한국전자통신연구원 주변 환경 변화에 신속하게 적응하여 환경 지도를 작성할수 있는 이동체의 환경 지도 작성 장치 및 그 방법
KR100920821B1 (ko) * 2008-11-11 2009-10-08 (주) 애니트론 국지적 환경정보 수집 및 예측 시스템
US9068847B2 (en) * 2009-04-22 2015-06-30 Honeywell International Inc. System and method for collaborative navigation
KR20130137077A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스 제공 장치 및 방법
JP5439552B2 (ja) * 2012-08-06 2014-03-12 株式会社日立産機システム ロボットシステム
JP6354120B2 (ja) * 2013-05-21 2018-07-11 株式会社デンソー 道路情報送信装置、地図生成装置、道路情報収集システム
CN104038743A (zh) * 2014-06-23 2014-09-10 浙江工业大学 一种融合位置跟踪的视频监控方法及其***
CN104385287A (zh) 2014-11-06 2015-03-04 重庆市威浩齿轮有限责任公司 双夹爪机构
KR101976241B1 (ko) * 2016-01-22 2019-08-28 경희대학교 산학협력단 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
CN205861102U (zh) * 2016-06-07 2017-01-04 国网浙江兰溪市供电公司 基于电线杆的环境监测***
CN106272423A (zh) * 2016-08-31 2017-01-04 哈尔滨工业大学深圳研究生院 一种针对大尺度环境的多机器人协同制图与定位的方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
WO2019000417A1 (en) * 2017-06-30 2019-01-03 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS OF GENERATING CARDS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189348A1 (en) * 2010-02-05 2016-06-30 Trimble Navigation Limited Systems and methods for processing mapping and modeling data
US20140316636A1 (en) * 2013-04-23 2014-10-23 Samsung Electronics Co., Ltd. Moving robot, user terminal apparatus and control method thereof
US20150086084A1 (en) * 2013-09-25 2015-03-26 Maynard C. Falconer Systems and methods for mapping
CN104385282A (zh) 2014-08-29 2015-03-04 暨南大学 一种视觉智能数控***及其视觉计测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. RAMER; J. SESSNER; M. SCHOLZ; X. ZHANG; J. FRANKE: "Fusing low-cost sensor data for localization and mapping of auto mated guided vehicle fleets in indoor applications", MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS (MFI), 2015 IEEE INTERNATIONAL CONFERENCE ON, 2015, pages 65 - 70

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11258987B2 (en) 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
US11170538B2 (en) 2018-10-31 2021-11-09 Milwaukee Electric Tool Corporation Spatially-aware tool system
US11790570B2 (en) 2018-10-31 2023-10-17 Milwaukee Electric Tool Corporation Spatially-aware tool system
US11815598B2 (en) 2019-06-10 2023-11-14 Microsoft Technology Licensing, Llc Anti-collision and motion monitoring, control, and alerting systems and methods

Also Published As

Publication number Publication date
CN110914640A (zh) 2020-03-24
US20200198141A1 (en) 2020-06-25
US11774545B2 (en) 2023-10-03
DE102017213601A1 (de) 2019-02-07
CN110914640B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
WO2019025221A1 (de) Verfahren zum erstellen einer objektkarte für eine fabrikumgebung
EP2122572B1 (de) Verfahren und vorrichtung zum sichern eines arbeitsraums
EP3011225B1 (de) Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine
DE112018005832B4 (de) Bewegungseinstellungsvorrichtung für roboter, bewegungssteuerungssystem und robotersystem
DE102018118265B4 (de) Verfahren und Überwachungssystem zum Absichern einer Maschine
EP3324362B1 (de) Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
DE102017125103A1 (de) Einstellvorrichtung und einstellsystem zum konfigurieren von einstellungen für eine mehrzahl von maschinen
WO2017182520A1 (de) Verfahren zur steuerung einer mehrzahl von mobilen fahrerlosen manipulatorsystemen
DE102018215560A1 (de) Verfahren zum Koordinieren und Überwachen von Objekten
EP3225366B1 (de) Positionsüberwachung einer kinematik
DE102019120633B4 (de) Verfahren zur automatischen Bewegung eines Arbeitsgeräts sowie Arbeitsgerät
EP3974936B1 (de) Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich
WO2017067626A1 (de) Verifikation einer position eines manipulatorsystems
EP3323565B1 (de) Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
DE102015012344A1 (de) Verfahren zum Kalibrieren einer Kamera
DE102005060980B4 (de) Verfahren und System zur Bestimmung eines kollisionsfreien dreidimensionalen Raumvolumens entlang eines Bewegungspfades gegenüber einer realen Umgebung
DE102019201696B4 (de) Steuerung einer Bearbeitungsmaschine
EP2353800B1 (de) Verfahren und Vorrichtung zur Überwachung eines Manipulatorraumes
DE102006010955B3 (de) Verfahren zur visuellen Überwachung eines Raumbereiches
EP2999574B1 (de) Sicherheitsüberwachung einer seriellen kinematik
EP2703920B1 (de) Verfahren zum Einlernen der Steuerung einer Maschine
EP3581935A1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborarbeitsgegenständen
EP4186651B1 (de) System und verfahren mit einem system
DE102022211970A1 (de) Verfahren zum Betreiben mindestens einer Arbeitsmaschine in einem Arbeitsumfeld
EP3258454B1 (de) Konzept zum überwachen eines umfelds eines innerhalb eines parkplatzes fahrenden kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18745575

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18745575

Country of ref document: EP

Kind code of ref document: A1