WO2020126240A1 - Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung - Google Patents

Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung Download PDF

Info

Publication number
WO2020126240A1
WO2020126240A1 PCT/EP2019/081214 EP2019081214W WO2020126240A1 WO 2020126240 A1 WO2020126240 A1 WO 2020126240A1 EP 2019081214 W EP2019081214 W EP 2019081214W WO 2020126240 A1 WO2020126240 A1 WO 2020126240A1
Authority
WO
WIPO (PCT)
Prior art keywords
field device
marker
control unit
field
metadata
Prior art date
Application number
PCT/EP2019/081214
Other languages
English (en)
French (fr)
Inventor
Tanja Haag
Martin Kropf
Eric Birgel
Original Assignee
Endress+Hauser SE+Co. KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Endress+Hauser SE+Co. KG filed Critical Endress+Hauser SE+Co. KG
Publication of WO2020126240A1 publication Critical patent/WO2020126240A1/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23363—Barcode
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36371—Barcode reader

Definitions

  • the invention relates to a method for operating a field device of automation technology in an augmented reality or mixed reality environment, the operating unit being a
  • Has image capture unit and wherein the field device transmits identification data at regular and / or fixed time intervals via a wireless communication interface.
  • Field devices which are used in industrial systems have already become known from the prior art. Field devices are widely used in automation technology as well as in production automation. In principle, field devices are all devices that are used close to the process and that supply or process process-relevant information. Field devices are used to record and / or influence process variables. Measuring devices or sensors are used to record process variables. These are used for example for pressure and temperature measurement, conductivity measurement, flow measurement, pH measurement, level measurement, etc. and record the corresponding process variables pressure, temperature, conductivity, pH value, level, flow etc. Actuators are used to influence process variables. These are, for example, pumps or valves that can influence the flow of a liquid in a pipe or the level in a container. In addition to the aforementioned measuring devices and actuators, field devices are also understood to mean remote I / Os, radio adapters or generally devices which are arranged at the field level.
  • the Endress + Hauser Group produces and sells a large number of such field devices.
  • Replacement field devices that replace an outdated or defective field device of an application must be specifically adapted to the respective application of the field device in the measuring point during commissioning.
  • these field devices are configured and parameterized during or after production.
  • the configuration describes, on the one hand, the hardware-side configuration, which, for example, comprises the flange material of a flow measuring device, and also the
  • Parameterization is the definition and definition of parameters with the help of which the operation of the field device is based on the respective characteristics of the
  • a field device can have several hundreds of different parameters, to which parameter values are assigned during commissioning.
  • the parameterization of a field device is carried out using software tools.
  • the inputs of the Parameter values are only possible based on text and require a technical understanding on the part of the operator.
  • Display unit of the operating unit is superimposed with virtual components which make it easier for the user to enter parameters, or make parameter suggestions to the user on the basis of detected / recognized geometries of the measuring point in which the respective field device is installed.
  • Suitable operating units are, for example, data glasses such as Microsoft Hololens or mobile devices, such as tablets or smartphones.
  • “Augmented Reality” means the computer-assisted expansion of the perception of reality.
  • “Mixed Reality” encompasses the entire “reality-virtuality continuum” with the exception of only reality and only virtuality. Between the two extremes “only reality” and “only virtuality” there are infinitely intermediate stages that mix the two. In particular, “augmented reality” and “augmented virtuality” are special expressions of the mixed reality principle.
  • a prerequisite for such augmented reality or mixed reality applications is, on the one hand, that it must be known what type of object is involved.
  • the position of the object in three-dimensional space must be known in order to allow the detected object to be correctly overlaid with the virtual components.
  • Augmented reality or mixed reality devices usually work with so-called 3D depth sensors in order to be able to record their surroundings in three dimensions.
  • a so-called 3D mesh (model) is generated from the depth information at runtime, which maps the surfaces of the real environment.
  • applications can now overlay virtual content from the real world.
  • Current optical markers such as a QR code, are used to enable spatial allocation of objects between the real and virtual world.
  • Virtual content for example a three-dimensional model or metadata, can then be displayed in the vicinity thereof.
  • such a marker is also called a "fiducial marker”.
  • markers are well suited for optically determining the position of an object. However, these are only conditionally suitable for identifying the object, since the marker must contain a data field, which data field necessarily includes identification data, so that the marker can be assigned to a specific object. If a marker is accidentally placed on the wrong object attached, this is linked to incorrect data (virtual models, metadata, etc.) within an augmented reality or mixed reality application. In particular, this is a problem with markers that can be temporarily attached to the object.
  • the object of the invention is to present a method which enables reliable identification of a field device for augmented reality or mixed reality applications.
  • the object is achieved by a method for operating a field device of automation technology in an augmented reality or mixed reality environment with an operating unit, the operating unit having an image acquisition unit and the field device using identification data at regular and / or defined time intervals a wireless
  • Sends out communication interface comprising:
  • a mobile marker which itself has no identification data of the field device and is used to determine the position of the field device.
  • the marker is designed such that it can be temporarily mechanically attached to the field device, for example by means of a clip mechanism.
  • the identification data originate from the field device itself and are repeatedly transmitted by means of a burst or broadcoast command via radio, in particular via Bluetooth (LE), WiFi, ZigBee or the like.
  • the identification data is a TAG of the field device and / or a serial number of the field device.
  • the type of the marker defines where this is by default on a particular one
  • Field device type is attached.
  • the position of the field device in three-dimensional space can therefore be calculated via the position of the marker in three-dimensional space.
  • a three-dimensional model of the field device can be loaded and used in an augmented reality or mixed reality application. Additionally or alternatively, metadata of the field device can be loaded, for example status data,
  • this metadata or the three-dimensional model, can be displayed appropriately in relation to the position of the field device in the augmented reality or mixed reality application.
  • the mobile marker is not exposed to any aging effects, so that the method according to the invention can also be used after a longer operating phase of a field device.
  • the method according to the invention can also be applied to older field devices for which it was not intended to attach a marker during its production.
  • the image acquisition unit is, for example, an optical image acquisition unit, such as a camera, a lidar system (“light detection and ranging”) or the like.
  • Operating unit has a display unit, the display unit representing the field of vision of the operator, with the operator visualizing a constantly updated image captured by the image capturing unit, which image is overlaid with the virtual model or the metadata of the field device.
  • the display unit of the control unit shows the live image, which is recorded by the camera.
  • the operator should point the control unit towards the field device in such a way that the component of the measuring point is captured by the camera.
  • the virtual model of the field device or the metadata is placed over the current live image of the camera. This method is suitable for control units that do not have a transparent pane, but have a conventional display as a display unit.
  • the operator looks through an essentially transparent pane of the operating unit and that virtual model, or the metadata, of the field device for projecting the field device onto the transparent pane is projected.
  • the pane is a transparent glass.
  • the control unit also has a projector. The operator looks through the glass. The environment viewed through the glass is called the field of view.
  • the projector is designed to throw a projection onto the glass that the operator perceives.
  • the metadata and / or the virtual model of the field device are thus placed over the current field of vision of the operator. If the field of view changes with respect to the component of the measuring point, for example by turning the head, the image visualized on the display unit changes accordingly.
  • the visualization model, or the metadata remain in the assigned position of the field device and “move”, or accordingly rotate with the field device depending on the displacement of the field device.
  • the operating unit uses the type of the marker to determine a reference structure of the marker.
  • the reference structure rejects defined dimensions and represents the top view of the structure of the marker.
  • An advantageous embodiment of the method according to the invention provides that a perspective distortion of the detected structure of the marker is determined in comparison to the reference structure, the distortion being determined for both dimensions of the structure.
  • a relative position, in particular a relative angle of inclination, of the marker to the operating unit is determined on the basis of the perspective distortion determined.
  • the position and location of the reflective pattern to the operating unit is transmitted in the location coordinates of a relative coordinate system of the operating unit.
  • the operating unit uses position sensors to determine a scaling of the three-dimensional space.
  • the control unit determines its own absolute position in three-dimensional space, for example by means of position sensors, one or more gyroscopes, a lidar system or by means of a camera system, for example a ToF ("Time of Flight" a) camera.
  • the operating unit determines its respective location, for example using GPS sensors.
  • the operating unit in three-dimensional space, the operating unit defines an absolute
  • the type of the marker defines the location at which the marker can be attached to at least one type of field device and the type of the marker is the position of the field device in relation to the position of the marker after correct Attaching the marker to the field device defined.
  • the database is a local database, which is located on the
  • the database is a global database, which is located, for example, in a cloud computing environment and which can be contacted by the operating unit via the Internet.
  • a distance of the respective field device from the operating unit is determined by means of the signal strength, only one identification being made of the field device which is geographically closest to the control unit or which is within a predetermined radius of the control unit.
  • two or more field devices are located within the predetermined radius of the operating unit, requiring the operator to select the field device with which one
  • data glasses are used as the operating unit.
  • Such data glasses have a screen, which displays the image captured by the camera. To the operator, it appears as if the image captured by the camera is captured by their own eyes.
  • data glasses have a projector which projects an image onto a pane of the glasses. The operator sees the surroundings through the pane of the glasses.
  • a camera of the glasses captures the surroundings to the extent that the operator's eyes capture the surroundings.
  • the virtual model of the field device, or the metadata is projected onto the pane.
  • An example of such data glasses of the latter type which is suitable for the method according to the invention, is the “Hololens” from Microsoft.
  • such data glasses have a translucent display through which the operator looks. Similar to data glasses with a projector, the operator sees the surroundings through this display. At the same time, a camera of the glasses captures the surroundings to the extent that the operator's eyes capture the surroundings. The display then visualizes the virtual model of the field device or the metadata.
  • a mobile terminal is used as the operating unit.
  • Fig. 1 an embodiment of the method according to the invention.
  • a field device FG is shown in FIG. 1.
  • the field device FG is a
  • Level measuring device which is used to record the level of a process medium in a tank.
  • the field device FG must be parameterized for commissioning. The operator wants the
  • Carry out parameterization of the field device FG using a mixed reality or augmented reality application For example, the application should independently identify relevant tank geometries and propose specific parameter values on this basis. Alternatively, information and assistance for parameterization should be displayed.
  • the operator BD would like to run the virtual reality application on his operating unit BE in the form of data glasses.
  • the operating unit BE In order to be able to suggest specific parameter values, the operating unit BE must be informed which specific field device FG or which type field device FG it is.
  • special virtual objects for example visualization models, or the like may be used in mixed reality or augmented reality applications. used, which are displayed on a display unit of the control unit BE and specific to the respective
  • the mixed reality or augmented reality application knows the positioning and the position of the field device FG relative to the operating unit BE in three-dimensional space.
  • the operator moves close to the FG field device.
  • the field device FG sends out identification information ID at regular and / or fixed, recurring time intervals.
  • the field device FG has a wireless one
  • Communication interface KS by means of which the identification information ID is transmitted by radio.
  • Bluetooth LE is used as the radio protocol - however, any other radio protocols can also be used.
  • the control unit BE receives this identification information. If the control unit BE receives the identification information from two or more field devices, it checks in each case at what distance the sender of the identification information ID is to determine the nearest sender. This is done by means of an analysis of the
  • a field device FG is within this radius, it is regarded as the closest field device FG. If several field devices FG are within the specified radius, the operating unit BE requests a selection by the operator for the field device FG to be identified.
  • Image acquisition unit BD for example a camera, a marker MK attached to the field device FG.
  • the marker MK is designed in the form of a clamp and temporarily attached to a defined location on the field device FG.
  • the marker MK has a two-dimensional structure ST.
  • the structure is rectangular and has defined side lengths in both dimensions x, y. Furthermore, the structure has a plurality of encodings CD.
  • the control unit BE analyzes the detected structure ST and uses the codes CD to determine the type of the marker MK. For this purpose, the control unit BE accesses a database DB, on which information about several types of markers MK are located. Is the type of marker MK determined, the control unit BE calls up a reference structure for this type of marker MK.
  • the detected structure ST is compared with the reference structure by means of image processing algorithms.
  • a perspective distortion of the detected structure is determined in comparison to the reference structure, the distortion being determined for both dimensions x, y of the structure.
  • the marker MK to the operating unit BE is determined.
  • the position and position of the marker MK with respect to the operating unit BE is created in location coordinates of a relative coordinate system of the operating unit BE.
  • the control unit BE uses position sensors, a camera system, a lidar and / or at least a gyroscope to determine an absolute position of the control unit BE in three-dimensional space.
  • the absolute position of the control unit BE includes the inclination of the control unit BE and its respective position, which the control unit detects, for example, using GPS sensors.
  • the control unit BE determines the absolute position of the marker MK in the three-dimensional space by comparing the relative position of the marker MK to the control unit BE and the absolute position of the control unit BE in the three-dimensional space. By determining the absolute position of the control unit BE in three-dimensional space, the control unit BE defines an absolute coordinate system. The location coordinates of the structure ST of the marker MK are then in the absolute
  • Coordinate system is transformed, thereby determining the position of the marker MK and, if appropriate, its position in relation to the operating unit BE.
  • the method can be shortened.
  • the control unit BE must determine its absolute position in three-dimensional space.
  • the time-of-flight camera KA then records the distance between the
  • Operating unit BE to the respective corner points of the structure and then calculates the distance to the marker MK or from it the absolute position and location of the marker MK in
  • this information also contains
  • control unit BE can finally determine the relative position of the field device FG to the control unit BE, or determine the absolute position of the field device FG in three-dimensional space.
  • the actual augmented reality application can be executed on the operating unit BE, which is, for example, said application to support the operator in the parameterization of the field device FG.
  • the identification information of the field device FG is transferred to the database DB.
  • the database DB also includes
  • Metadata MD of the field device FG for example via parameterization instructions. These are retrieved from the DB database and visualized on the BE control unit.
  • the control unit BE has a transparent pane GL through which the operator looks.
  • the metadata MD are now projected onto the writing GL so that it overlaps the operator's field of vision.
  • the metadata overlays the user's field of vision at defined positions, which positions are contained in the metadata MD itself, which are relative to the known position of the field device FG, and which remain projected at the defined position relative to the field device FG even when the operator moves his head and thereby changes his field of vision.
  • a virtual, three-dimensional model of the field device FG can also be loaded, which is projected by the operating unit BE onto the position of the field device FG in the field of vision of the operator.
  • a mobile terminal can also be used as the control unit BE.
  • a smartphone or tablet is suitable for this, but also a laptop with a webcam.
  • the method according to the invention is suitable for all types of field device types and is not restricted to level measuring devices.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Feldgeräts (FG) der Automatisierungstechnik in einer Augmented-Reality-Umgebung mit einer Bedieneinheit (BE), wobei die Bedieneinheit (BE) eine Bilderfassungseinheit (BD) aufweist und wobei das Feldgerät (FG) in regelmäßigen und/oder festgelegten Zeitabständen Identifikationsdaten (ID) über eine drahtlose Kommunikationsschnittstelle (KS) aussendet, umfassend: - Anbringen eines Markers (MK) an dem Feldgerät (FG), wobei der Marker (MK) zumindest eine definierte zweidimensionale Struktur (ST) aufweist; - Erfassen der Struktur (ST) des Markers (MK) mittels der Bilderfassungseinheit (BD); - Ermitteln der Lage des Markers (MK) im dreidimensionalen Raum anhand der erfassten Struktur (ST) des Markers(MK); - Ermitteln des Typs des Markers (MK) anhand der erfassten Struktur (ST) des Markers (MK); - Empfangen der Identifikationsdaten (ID) des Feldgeräts (FG) mittels der Bedieneinheit (BE); - Ermitteln eines virtuellen, dreidimensionalen Modells des Feldgeräts (FG) oder einer Modellbeschreibung, welche Metadaten (MD) des Feldgeräts (FG) enthält, anhand der Identifikationsdaten (ID) zur Identifikation des Feldgeräts (FG); und - Überlagern des Feldgeräts (FG) mit dem virtuellen Modell des Feldgeräts (FG), bzw. mit zumindest einer der Metadaten (MD), auf dem Sichtfeld des Bedieners, im Falle, dass sich das Feldgerät (FG) im Sichtbereich des Bedieners befindet, wobei die Position des virtuellen Modells, bzw. der Metadaten (MD), auf der Anzeigeeinheit anhand einer absoluten Lage des Markers (MK) im dreidimensionalen Raum und dem Typ des Markers (MK) bestimmt wird.

Description

Verfahren zum Betreiben eines Feldgeräts der Automatisierungstechnik in einer
Augmented-Reality/Mixed-Reality-Umgebung
Die Erfindung betrifft ein Verfahren zum Betreiben eines Feldgeräts der Automatisierungstechnik in einer Augmented-Reality- bzw. Mixed-Reality-Umgebung, wobei die Bedieneinheit eine
Bilderfassungseinheit aufweist und wobei das Feldgerät in regelmäßigen und/oder festgelegten Zeitabständen Identifikationsdaten über eine drahtlose Kommunikationsschnittstelle aussendet.
Aus dem Stand der Technik sind bereits Feldgeräte bekannt geworden, die in industriellen Anlagen zum Einsatz kommen. In der Automatisierungstechnik ebenso wie in der Fertigungsautomatisierung werden vielfach Feldgeräte eingesetzt. Als Feldgeräte werden im Prinzip alle Geräte bezeichnet, die prozessnah eingesetzt werden und die prozessrelevante Informationen liefern oder verarbeiten. So werden Feldgeräte zur Erfassung und/oder Beeinflussung von Prozessgrößen verwendet. Zur Erfassung von Prozessgrößen dienen Messgeräte, bzw. Sensoren. Diese werden beispielsweise zur Druck- und Temperaturmessung, Leitfähigkeitsmessung, Durchflussmessung, pH-Messung, Füllstandmessung, etc. verwendet und erfassen die entsprechenden Prozessvariablen Druck, Temperatur, Leitfähigkeit, pH-Wert, Füllstand, Durchfluss etc. Zur Beeinflussung von Prozessgrößen werden Aktoren verwendet. Diese sind beispielsweise Pumpen oder Ventile, die den Durchfluss einer Flüssigkeit in einem Rohr oder den Füllstand in einem Behälter beeinflussen können. Neben den zuvor genannten Messgeräten und Aktoren werden unter Feldgeräten auch Remote I/Os, Funkadapter bzw. allgemein Geräte verstanden, die auf der Feldebene angeordnet sind.
Eine Vielzahl solcher Feldgeräte wird von der Endress+Hauser-Gruppe produziert und vertrieben.
Feldgeräte, die in eine neue Applikation einer Prozessanlage integriert werden, oder
Austauschfeldgeräte, die ein veraltetes oder defektes Feldgerät einer Applikation ersetzen, müssen im Zuge der Inbetriebnahme spezifisch auf die jeweilige Applikation des Feldgeräts in der Messstelle angepasst werden. Dafür werden diese Feldgeräte während oder nach der Fertigung konfiguriert und parametriert. Die Konfiguration beschreibt zum einen die hardwareseitige Konfiguration, welche beispielsweise das Flanschmaterial eines Durchflussmessgerätes umfasst, als auch die
softwareseitige Konfiguration. Unter Parametrierung versteht man das Definieren und Festlegen von Parametern, mit deren Hilfe der Betrieb des Feldgerätes auf die jeweiligen Merkmale der
Applikation, beispielsweise das Messmedium, eingestellt wird.
Abhängig vom Feldgerätetyp kann ein Feldgerät mehrere hunderte verschiedene Parameter aufweisen, denen im Zuge der Inbetriebnahme Parameterwerte zugewiesen werden. Heutzutage wird die Parametrierung eines Feldgeräts mittels Softwaretools vorgenommen. Die Eingaben der Parameterwerte sind ausschließlich textbasiert möglich und setzen ein technisches Verständnis seitens des Bedieners voraus.
Im Stand der Technik sind Verfahren bekannt geworden, in welchen die Parametrierung von Feldgeräten mittels Augmented-Reality, bzw. Mixed-Reality-Methoden vereinfacht wird. Bei solchen Methoden wird eine Bedieneinheit mit einer Kamera und einer Anzeigeeinheit verwendet, welche Kamera ein Objekt aus der realen Welt erfasst. Das erfasste Objekt wird virtuell auf der
Anzeigeeinheit der Bedieneinheit mit virtuellen Komponenten überlagert, welche dem Benutzer die Parametereigabe erleichtern, oder dem Benutzer anhand erfasster/erkannter Geometrien der Messstelle, in welche das jeweilige Feldgerät eingebaut ist, Parametervorschläge unterbreiten. Als geeignete Bedieneinheiten kommen beispielsweise Datenbrillen wie die Microsoft Hololens oder mobile Endgeräte, wie Tablets oder Smartphones, in Betracht.
Unter„Augmented-Reality“ (deutsch: Erweiterte Realität) versteht man die computergestützte Erweiterung der Realitätswahrnehmung.„Mixed-Reality“ umfasst das gesamte„Realitäts-Virtualitäts- Kontinuum“ mit Ausnahme von nur Realität und nur Virtualität. Zwischen den beiden Extremen„nur Realität“ und„nur Virtualität“ gibt es stufenlos Zwischenstadien, die beide vermischen. Insbesondere sind damit„Erweiterte Realität“ und„Erweiterte Virtualität“ spezielle Ausprägungen des Prinzips Mixed-Reality.
Voraussetzung für solche Augmented-Reality- bzw. Mixed-Reality-Anwendungen ist zum einen, dass bekannt sein muss, um welchen erfassten Objekttyp es sich handelt. Zum anderen muss die Lage des Objekts im dreidimensionalen Raum bekannt sein, um eine korrekte Überlagerung des erfassten Objekts mit den virtuellen Komponenten zu ermöglichen. Augmented-Reality- bzw. Mixed- Reality-Devices arbeiten üblicherweise mit sogenannten 3D-Tiefensensoren um ihre Umgebung dreidimensional erfassen zu können. Aus den Tiefeninformationen wird zur Laufzeit ein sogenanntes 3D-Mesh (Modell) generiert, welches die Oberflächen der realen Umgebung abbildet. Auf Basis dessen können Applikationen nun virtuelle Inhalte der realen Welt überlagern. Um eine räumliche Zuordnung von Objekten zwischen realer und virtueller Welt zu ermöglichen, werden aktuelle optische Marker, wie beispielsweise ein QR-Code, eingesetzt. In der Nähe von diesem können dann virtuelle Inhalte, beispielsweise ein dreidimensionales Modell, oder Metadaten, dargestellt werden. Technisch wird so ein Marker auch als„Fiducial Marker“ bezeichnet.
Aktuelle Marker eignen sich gut zur optischen Positionsbestimmung eines Objekts. Jedoch sind diese nur bedingt zur Identifikation des Objekts geeignet, da der Marker ein Datenfeld enthalten muss, welches Datenfeld zwingend Identifikationsdaten umfasst, damit der Marker einem spezifischen Objekt zugeordnet werden kann. Wird ein Marker versehentlich am falschen Objekt angebracht, so wird dies innerhalb einer Augmented Reality-, bzw. Mixed-Reality-Anwendung mit falschen Daten (virtuelle Modelle, Metadaten, etc.) verknüpft. Insbesondere stellt dies ein Problem bei temporär am Objekt anbringbaren Markern dar.
Ausgehend von dieser Problematik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren vorzustellen, welches eine zuverlässige Identifikation eines Feldgerätes für eine Augmented-Reality- , bzw. Mixed-Reality-Anwendungen ermöglicht.
Die Aufgabe wird durch ein Verfahren zum Betreiben eines Feldgeräts der Automatisierungstechnik in einer Augmented-Reality-, bzw. Mixed-Reality-Umgebung mit einer Bedieneinheit gelöst, wobei die Bedieneinheit eine Bilderfassungseinheit aufweist und wobei das Feldgerät in regelmäßigen und/oder festgelegten Zeitabständen Identifikationsdaten über eine drahtlose
Kommunikationsschnittstelle aussendet, umfassend:
Anbringen eines Markers an dem Feldgerät, wobei der Marker zumindest eine definierte zweidimensionale Struktur aufweist;
Erfassen der Struktur des Markers mittels der Bilderfassungseinheit;
Ermitteln der Lage des Markers im dreidimensionalen Raum anhand der erfassten Struktur des Markers;
Ermitteln des Typs des Markers anhand der erfassten Struktur des Markers;
Empfangen der Identifikationsdaten des Feldgeräts mittels der Bedieneinheit;
Ermitteln eines virtuellen, dreidimensionalen Modells des Feldgeräts und/oder einer Modellbeschreibung, welche Metadaten des Feldgeräts enthält, anhand der Identifikationsdaten zur Identifikation des Feldgeräts; und
Überlagern des Feldgeräts mit dem virtuellen Modell des Feldgeräts, bzw. mit zumindest einer der Metadaten, auf dem Sichtfeld des Bedieners, im Falle, dass sich das Feldgerät im Sichtbereich des Bedieners befindet, wobei die Position des virtuellen Modells, bzw. der Metadaten, auf der Anzeigeeinheit anhand einer absoluten Lage des Markers im dreidimensionalen Raum und dem Typ des Markers bestimmt wird.
Erfindungsgemäß wird ein mobiler Marker verwendet, der selbst keine Identifikationsdaten des Feldgeräts besitzt und zur Positionsbestimmung des Feldgeräts dient. Der Marker ist derart ausgestaltet, dass dieser temporär mechanisch am Feldgerät anbringbar ist, beispielsweise mittels eines Klipp-Mechanismus. Die Identifikationsdaten stammen von dem Feldgerät selbst und werden mittels eines Burst- oder Broadcoastkommandos wiederholt von diesem via Funk ausgesendet, insbesondere via Bluetooth (LE), WiFi, ZigBee oder Vergleichbarem. Beispielsweise handelt es sich bei den Identifikationsdaten um ein TAG des Feldgeräts und/oder um eine Seriennummer des Feldgeräts. Über den Typ des Markers wird definiert, wo dieser standardmäßig an einem bestimmten
Feldgerätetyp angebracht wird. Über die Lage des Markers im dreidimensionalen Raum kann daher die Lage des Feldgeräts im dreidimensionalen Raum berechnet werden.
Anhand der Identifikation kann ein dreidimensionales Modell des Feldgeräts geladen werden und in einer Augmented-Reality-, bzw. bzw. Mixed-Reality-Anwendung verwendet werden. Zusätzlich oder alternativ können Metadaten des Feldgeräts geladen werden, beispielsweise Statusdate,
Diagnosedaten, Handbücher, etc. Durch Kenntnis der Lage des Feldgeräts im dreidimensionalen Raum können diese Metadaten, bzw. das dreidimensionale Modell, passend in Bezug der Lage des Feldgeräts in der Augmented-Reality-, bzw. Mixed-Reality-Anwendung angezeigt werden.
Die Verwendung eines mobilen Markers ist vorteilhaft gegenüber dem Verwenden eines
permanenten Markers:
Der mobile Marker ist keinen Alterungseffekten ausgesetzt, so dass das erfindungsgemäße Verfahren auch nach längerer Betriebsphase eines Feldgeräts angewandt werden kann. Auch auf ältere Feldgeräte, für die während dessen Produktion das Anbringen eines Markers nicht vorgesehen war, kann das erfindungsgemäße Verfahren angewandt werden.
Bei der Bilderfassungseinheit handelt es sich beispielsweise um eine optische Bilderfassungseinheit, wie eine Kamera, um ein Lidar-System („light detection and ranging“) oder ähnliches.
Feldgeräte, welche im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben werden, sind bereits im einleitenden Teil der Beschreibung beispielhaft genannt worden.
Gemäß einer ersten Variante des erfindungsgemäßen Verfahrens ist vorgesehen, dass die
Bedieneinheit eine Anzeigeeinheit aufweist, wobei die Anzeigeeinheit das Sichtfeld des Bedieners darstellt, wobei als Sichtfeld des Bedieners ein von der Bilderfassungseinheit erfasstes, ständig aktualisiertes Bild visualisiert wird, welches mit dem virtuellen Modell, bzw. den Metadaten, des Feldgeräts überlagert wird. Die Anzeigeeinheit der Bedieneinheit zeigt das Livebild, welches von der Kamera aufgenommen wird. Der Bediener sollte die Bedieneinheit derart auf das Feldgerät richten, dass die Komponente der Messstelle von der Kamera erfasst wird. Über das aktuelle Livebild der Kamera wird das virtuelle Modell des Feldgeräts, bzw. die Metadaten, gelegt. Diese Methode eignet sich für Bedieneinheiten, welche keine transparente Scheibe aufweisen, sondern ein herkömmliches Display als Anzeigeeinheit besitzen.
Gemäß einer zweiten Variante des erfindungsgemäßen Verfahrens ist vorgesehen, dass der Bediener durch eine im Wesentlichen transparente Scheibe der Bedieneinheit blickt und wobei das virtuelle Modell, bzw. die Metadaten, des Feldgeräts zum Überlagern des Feldgeräts auf die transparente Scheibe projiziert wird. Bei der Scheibe handelt es sich um ein transparentes Glas. Die Bedieneinheit weist zusätzlich einen Projektor auf. Der Bediener blickt durch das Glas hindurch. Die durch das Glas betrachtete Umgebung wird als Sichtfeld bezeichnet. Der Projektor ist dazu ausgestaltet, eine Projektion auf das Glas zu werfen, welche der Bediener wahrnimmt. Über das aktuelle Sichtfeld des Bedieners werden so die Metadaten und/oder das virtuelle Modell des Feldgeräts gelegt. Ändert sich das Sichtfeld bezüglich der Komponente der Messstelle, beispielsweise durch Drehen des Kopfes, so verändert sich das auf der Anzeigeeinheit visualisierte Bild dementsprechend. Das Visualisierungsmodell, bzw. die Metadaten, verbleiben allerdings auf der zugewiesenen Position des feldgeräts und„wandern“, bzw. drehen sich dementsprechend abhängig von der Verschiebung des Feldgeräts im Sichtfeld mit.
Gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Bedieneinheit anhand des Typs des Markers eine Referenzstruktur des Markers ermittelt. Die Referenzstruktur weist definierte Dimensionen ab und stellt die Draufsicht auf die Struktur des Markers dar.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht vor, dass eine perspektivische Verzerrung der erfassten Struktur des Markers im Vergleich zu der Referenzstruktur ermittelt wird, wobei die Verzerrung für beide Dimensionen der Struktur ermittelt wird.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass anhand der ermittelten perspektivischen Verzerrung eine relative Lage, insbesondere ein relativer Neigungswinkel, des Markers zu der Bedieneinheit ermittelt wird. Die Position und Lage des reflexiven Musters zu der Bedieneinheit wird in Ortskoordinaten eines relativen Koordinatensystems der Bedieneinheit übertragen.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Bedieneinheit mittels Lagesensoren eine Skalierung des dreidimensionalen Raums ermittelt. Hierfür bestimmt die Bedieneinheit ihre eigene absolute Lage im dreidimensionalen Raum, beispielsweise mittels Lagesensoren, eines oder mehreren Gyroskopen, eines Lidar-Systems oder mittels eines Kamerasystems, beispielsweise eine ToF(„Time of Flight“a)-Kamera. Zusätzlich ist es vorgesehen, dass die Bedieneinheit ihre jeweilige Ortsposition ermittelt, beispielsweise mittels GPS- Sensoren. Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass anhand der Skalierung des dreidimensionalen Raums die absolute Lage des Markers im
dreidimensionalen Raum berechnet wird. Durch die Bestimmung der absoluten Lage der
Bedieneinheit im dreidimensionalen Raum definiert die Bedieneinheit ein absolutes
Koordinatensystem. Die Ortskoordinaten des reflexiven Musters werden anschließend in das absolute Koordinatensystem transformiert.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass der Typ des Markers denjenigen Ort definiert, an welchem der Marker an zumindest einem Typ eines Feldgeräts anbringbar ist und wobei der Typ des Markers die Lage des Feldgeräts in Relation zu der Lage des Markers nach korrektem Anbringen des Markers an dem Feldgerät definiert.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass bei verschiedene Typen von Markern, bzw. deren Referenzmustern, und/oder verschiedene virtuelle Modelle von verschiedenen Typen von Feldgeräten auf einer Datenbank abgelegt sind, auf welche im Zuge der Ermittlung der perspektivischen Verzerrung, des Ermitteln des virtuellen Modells und/oder des Überlagern des Feldgeräts mit dem virtuellen Modell zugegriffen wird. In einer ersten Variante handelt es sich bei der Datenbank um eine lokale Datenbank, welche sich auf der
Bedieneinheit selbst befindet. In einer zweiten Variante handelt es sich bei der Datenbank um eine globale Datenbank, welche sich beispielsweise in einer Cloud-Computing-Umgebung befindet und welche von der Bedieneinheit via Internet kontaktierbar ist.
Gemäß einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens ist vorgesehen, dass in dem Fall, dass Identifikationsdaten von mehr als einem Feldgerät empfangen werden, ein Abstand des jeweiligen Feldgeräts zu der Bedieneinheit mittels der Signalstärke ermittelt wird, wobei nur eine Identifikation desjenigen Feldgeräts durchgeführt wird, welches sich geographisch am nächsten zu der Bedieneinheit befindet oder sich welches innerhalb eines vorgegebenen Radius zu der Bedieneinheit befindet.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass sich zwei oder mehrere Feldgeräte innerhalb des vorgegebenen Radius zu der Bedieneinheit befinden, eine Auswahl desjenigen Feldgeräts von dem Bediener fordert, mit welchem eine
Identifikation durchgeführt wird.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass als Bedieneinheit eine Datenbrille verwendet wird. Eine solche Datenbrille besitzt einen Bildschirm, welcher das von der Kamera aufgenommene Bild anzeigt. Für den Bediener erscheint es, als ob das von der Kamera erfasst Bild von den eigenen Augen erfasst wird. Alternativ weist eine Datenbrille einen Projektor auf, welche ein Bild auf eine Scheibe der Brille projiziert. Der Bediener sieht die Umgebung durch die Scheibe der Brille. Gleichzeitig erfasst eine Kamera der Brille die Umgebung in dem Maße, wie die Augen des Bedieners die Umgebung erfassen. Anstatt das gesamte von der Kamera aufgenommene Bild der Umgebung auf die Scheibe zu projizieren, wird lediglich das virtuelle Modell des Feldgeräts, bzw. die Metadaten, auf die Scheibe projiziert. Ein Beispiel für solch eine Datenbrille letzteren Typs, welche für das erfindungsgemäße Verfahren geeignet ist, stellt die „Hololens“ von Microsoft dar.
Es kann alternativ vorgesehen sein, dass eine solche Datenbrille ein lichtdurchlässiges Display aufweist, durch welches der Bediener blickt. Analog zur Datenbrille mit Projektor sieht der Bediener die Umgebung durch dieses Display. Gleichzeitig erfasst eine Kamera der Brille die Umgebung in dem Maße, wie die Augen des Bedieners die Umgebung erfassen. Das Display visualisiert dann das virtuelle Modell des Feldgeräts, bzw. die Metadaten.
Gemäß einer alternativen vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass als Bedieneinheit ein mobiles Endgerät verwendet wird. Hierfür eignet sich beispielsweise ein Smartphone oder ein Tablet, aber auch ein Laptop, welcher eine Webcam aufweist, welche es erlaubt, die Umgebung in der entgegengesetzten Richtung zu dem Bediener zu erfassen.
Die Erfindung wird anhand der nachfolgenden Figuren näher erläutert. Es zeigen
Fig. 1 : ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
In Fig. 1 ist ein Feldgerät FG gezeigt. Bei dem Feldgerät FG handelt es sich um ein
Füllstandmessgerät, welches zur Erfassung des Füllstands eines in einem Tank befindlichen Prozessmediums dient.
Zur Inbetriebnahme muss das Feldgerät FG parametriert werden. Der Bediener möchte die
Parametrierung des Feldgeräts FG mithilfe einer Mixed-Reality, bzw. Augmented-Reality- Anwendung vornehmen. Beispielsweise soll die Anwendung selbstständig relevante Geometrien des Tanks erkennen und auf dieser Basis spezifische Parameterwerte vorschlagen. Alternativ sollen Hinweise und Hilfestellungen zur Parametrierung angezeigt werden. Der Bediener BD möchte die Virtual-Reality-Anwendung auf seiner Bedieneinheit BE in Form einer Datenbrille ausführen.
Um spezifische Parameterwerte vorschlagen zu können muss der Bedieneinheit BE mitgeteilt werden, um welches konkrete Feldgerät FG, bzw. um welchen Typ Feldgerät FG, es sich handelt. Zudem werden in der Mixed-Reality, bzw. Augmented-Reality-Anwendung unter Umständen spezielle virtuelle Objekte, beispielsweise Visualierungsmodelle, o.ä. verwendet, welche auf einer Anzeigeeinheit der Bedieneinheit BE angezeigt werden und spezifisch für den jeweiligen
Feldgerätetyp sind. Des Weiteren ist es notwendig, dass die Mixed-Reality, bzw. Augmented- Reality-Anwendung die Positionierung und die Lage des Feldgeräts FG relativ zur Bedieneinheit BE im dreidimensionalen Raum kennt.
In einem ersten Schritt begibt sich der Bediener in die Nähe des Feldgeräts FG. Zur Identifizierung sendet das Feldgerät FG in regelmäßigen und/oder festgelegten, wiederkehrenden Zeitabständen Identifikationsinformationen ID aus. Hierfür besitzt das Feldgerät FG eine drahtlose
Kommunikationsschnittstelle KS, mittels welcher die Identifikationsinformationen ID per Funk ausgesendet werden. Als Funkprotokoll wird insbesondere Bluetooth LE verwendet - es können jedoch auch weitere beliebige Funkprotokolle verwendet werden.
Die Bedieneinheit BE empfängt diese Identifikationsinformationen. Empfängt die Bedieneinheit BE die Identifikationsinformationen von zwei oder mehr Feldgeräten, so überprüft diese jeweils, in welcher Entfernung sich der Absender der Identifikationsinformationen ID befindet, um den nächstliegenden Absender zu ermitteln. Dies geschieht mittels einer Analyse der
Empfangsfeldstärke der empfangenen Identifikationsinformationen ID. Dieses Verfahren ist bekannt unter dem Namen RSSI („Received Signal Strength Indication“). Hierfür wird ein Radius
vorgegeben. Befindet sich ein Feldgerät FG innerhalb dieses Radius, wird es als das nächstliegende Feldgerät FG angesehen. Befinden sich mehrere Feldgeräte FG innerhalb des vorgegebenen Radius, so fordert die Bedieneinheit BE eine Auswahl des Bedieners für das zu identifizierende Feldgerät FG.
In einem nächsten Schritt, oder in einem zum ersten Schritt parallelen Schritt, erfasst eine
Bilderfassungseinheit BD, beispielsweise eine Kamera, einen am Feldgerät FG angebrachten Marker MK. Der Marker MK ist klemmenförmig ausgestaltet und an einer definierten Stelle am Feldgerät FG temporär angebracht. Der Marker MK weist eine zweidimensionale Struktur ST auf.
Fig. 2 zeigt ein Beispiel einer solchen zweidimensionalen Struktur. Die Struktur ist in diesem Fall rechteckig ausgestaltet und weist definierte Seitenlängen in beiden Dimensionen x, y auf. Des Weiteren weist die Struktur mehrere Codierungen CD auf.
Die Bedieneinheit BE analysiert die erfasste Struktur ST und ermittelt anhand der Codierungen CD den Typ des Markers MK. Hierfür greift die Bedieneinheit BE auf eine Datenbank DB zu, auf welcher sich Informationen über mehrere Typen von Markern MK befinden. Ist der Typ des Markers MK ermittelt, so ruft die Bedieneinheit BE eine Referenzstruktur für diesen Typ Marker MK ab.
Mittels Bildverarbeitungsalgorithmen wird die erfasste Struktur ST mit der Referenzstruktur verglichen. Insbesondere wird eine perspektivische Verzerrung der erfassten Struktur im Vergleich zu der Referenzstruktur ermittelt, wobei die Verzerrung für beide Dimensionen x, y der Struktur ermittelt wird. Anhand der ermittelten perspektivischen Verzerrung wird, insbesondere ein relativer Neigungswinkel, des Markers MK zu der Bedieneinheit BE ermittelt. Die Position und Lage des Markers MK zu der Bedieneinheit BE wird in Ortskoordinaten eines relativen Koordinatensystems der Bedieneinheit BE erstellt. Anschließend bestimmt die Bedieneinheit BE mittels Lagesensoren, eines Kamerasystems, eines Lidars und/oder zumindest eines Gyroskops eine absolute Lage der Bedieneinheit BE im dreidimensionalen Raum. Die absolute Lage der Bedieneinheit BE umfasst die Neigung der Bedieneinheit BE und ihre jeweilige Ortsposition, welche die Bedieneinheit beispielsweise mittels GPS-Sensoren erfasst. In einem weiteren Schritt bestimmt die Bedieneinheit BE durch Vergleichen der relativen Lage des Markers MK zu der Bedieneinheit BE und der absoluten Lage der Bedieneinheit BE im dreidimensionalen Raum die absolute Lage des Markers MK im dreidimensionalen Raum. Durch die Bestimmung der absoluten Lage der Bedieneinheit BE im dreidimensionalen Raum definiert die Bedieneinheit BE ein absolutes Koordinatensystem. Die Ortskoordinaten der Struktur ST des Markers MK werden anschließend in das absolute
Koordinatensystem transformiert und dadurch die Lage des Markers MK, und gegebenenfalls dessen Ortsposition, im Bezug zu der Bedieneinheit BE bestimmt.
Wird eine Time-of-Flight-Kamera als Bilderfassungseinheit BD verwendet, so kann das Verfahren abgekürzt werden. Die Bedieneinheit BE muss hierfür ihre absolute Lage im dreidimensionalen Raum bestimmen. Anschließend erfasst die Time-of-Flight-Kamera KA den Abstand der
Bedieneinheit BE zu den jeweiligen Eckpunkten der Struktur und berechnet daraufhin den Abstand zu dem Marker MK bzw. daraus die absolute Lage und Ortsposition des Markers MK im
dreidimensionalen Raum.
Typischerweise ist es vorgesehen, für jeden Typ eines Feldgeräts FG einen eigenen Marker MK vorzusehen, welcher für jeden Typ eines Feldgeräts FG an einer spezifischen Position an dem Feldgerät FG anbringbar ist. Durch Identifikation des Markers MK anhand der auf der Struktur ST befindlichen Codierungen CD kann auf die zu einem Markertyp gespeicherten Informationen auf der Datenbank DB zugegriffen werden. Diese Informationen enthalten unter anderem auch
Informationen über die relative Lage des Feldgeräts FG zu dem Marker MK, im Falle dass der Marker MK an der vorgesehenen Position am Feldgerät FG angebracht ist. In Verbindung mit der Kenntnis der Bedieneinheit BE über die absolute Lage des Markers MK im dreidimensionalen Raum kann die Bedieneinheit BE schließlich die relative Lage des Feldgeräts FG zu der Bedieneinheit BE, bzw. die absolute Lage des Feldgeräts FG im dreidimensionalen Raum, bestimmen.
Nachdem die Bestimmung des Feldgeräts FG im dreidimensionalen Raum abgeschlossen ist, kann die eigentliche Augmented-Reality-Applikation auf der Bedieneinheit BE ausgeführt werden, bei welcher es sich beispielsweise um besagte Anwendung zur Unterstützung des Bedieners bei der Parametrierung des Feldgeräts FG handelt.
Hierfür werden die Identifikationsinformationen des Feldgeräts FG an die Datenbank DB übertragen. Die Datenbank DB umfasst neben den Informationen bezüglich des Markers MK auch über
Metadaten MD des Feldgeräts FG, beispielsweise über Parametrierhinweise. Diese werden von der Datenbank DB abgerufen und auf der Bedieneinheit BE visualisiert. Die Bedieneinheit BE weist hierfür eine transparente Scheibe GL auf, durch welche der Bediener blickt. Die Metadaten MD werden nun auf die Schreibe GL projiziert, so dass diese das Blickfeld des Bedieners überlagern.
Die Metadaten überlagern das Sichtfeld des Benutzers an definierten Positionen, welche Positionen in den Metadaten MD selbst enthalten sind, welche relativ zur bekannten Position des Feldgeräts FG sind, und welche selbst dann an der definierten Position relativ zu dem Feldgerät FG projiziert bleiben, wenn der Bediener den Kopf bewegt und dadurch sein Sichtfeld ändert. Alternativ zu den Metadaten MD kann auch ein virtuelles, dreidimensionales Modell des Feldgeräts FG geladen werden, welches von der Bedieneinheit BE auf dem Sichtfeld des Bedieners auf die Position des Feldgeräts FG projiziert wird.
Alternativ zu einer Datenbrille kann als Bedieneinheit BE auch ein mobiles Endgerät verwendet werden. Hierfür eignet sich beispielsweise ein Smartphone oder ein Tablet, aber auch ein Laptop mit einer Webcam.
Das erfindungsgemäße Verfahren eignet sich für alle Arten von Feldgerätetypen und ist nicht etwa auf Füllstandmessgeräte beschränkt.
Bezugszeichenliste
AE Anzeigeeinheit
BD Bilderfassungseinheit
BE Bedieneinheit
CD Codierungen
DB Datenbank
FG Feldgerät
ID Identifikationsdaten
KS drahtlose Kommunikationsschnittstelle MD Metadaten
MK Marker
ST zweidimensionale Struktur des Markers

Claims

Patentansprüche
1. Verfahren zum Betreiben eines Feldgeräts (FG) der Automatisierungstechnik in einer
Augmented-Reality-Umgebung mit einer Bedieneinheit (BE), wobei die Bedieneinheit (BE) eine Bilderfassungseinheit (BD) aufweist und wobei das Feldgerät (FG) in regelmäßigen und/oder festgelegten Zeitabständen Identifikationsdaten (ID) über eine drahtlose
Kommunikationsschnittstelle (KS) aussendet, umfassend:
Anbringen eines Markers (MK) an dem Feldgerät (FG), wobei der Marker (MK) zumindest eine definierte zweidimensionale Struktur (ST) aufweist;
Erfassen der Struktur (ST) des Markers (MK) mittels der Bilderfassungseinheit (BD); Ermitteln der Lage des Markers (MK) im dreidimensionalen Raum anhand der erfassten Struktur (ST) des Markers (MK);
Ermitteln des Typs des Markers (MK) anhand der erfassten Struktur (ST) des Markers (MK);
Empfangen der Identifikationsdaten (ID) des Feldgeräts (FG) mittels der Bedieneinheit (BE);
Ermitteln eines virtuellen, dreidimensionalen Modells des Feldgeräts (FG) oder einer Modellbeschreibung, welche Metadaten (MD) des Feldgeräts (FG) enthält, anhand der Identifikationsdaten (ID) zur Identifikation des Feldgeräts (FG); und
Überlagern des Feldgeräts (FG) mit dem virtuellen Modell des Feldgeräts (FG), bzw. mit zumindest einer der Metadaten (MD), auf dem Sichtfeld des Bedieners, im Falle, dass sich das Feldgerät (FG) im Sichtbereich des Bedieners befindet, wobei die Position des virtuellen Modells, bzw. der Metadaten (MD), auf der Anzeigeeinheit anhand einer absoluten Lage des Markers (MK) im dreidimensionalen Raum und dem Typ des Markers (MK) bestimmt wird.
2. Verfahren nach Anspruch 1 , wobei die Bedieneinheit (BE) eine Anzeigeeinheit aufweist, wobei die Anzeigeeinheit das Sichtfeld des Bedieners darstellt, wobei als Sichtfeld des Bedieners ein von der Bilderfassungseinheit (BD) erfasstes, ständig aktualisiertes Bild visualisiert wird, welches mit dem virtuellen Modell, bzw. den Metadaten (MD), des Feldgeräts (FG) überlagert wird.
3. Verfahren nach Anspruch 1 , wobei der Bediener durch eine im Wesentlichen transparente
Scheibe der Bedieneinheit (BE) blickt und wobei das virtuelle Modell, bzw. die Metadaten (MD), des Feldgeräts (FG) zum Überlagern des Feldgeräts (FG) auf die transparente Scheibe projiziert wird.
4. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei die Bedieneinheit (BE) anhand des Typs des Markers (MK) eine Referenzstruktur des Markers (MK) ermittelt.
5. Verfahren nach Anspruch 4, wobei eine perspektivische Verzerrung der erfassten Struktur (ST) des Markers (MK) im Vergleich zu der Referenzstruktur ermittelt wird, wobei die Verzerrung für beide Dimensionen der Struktur (ST) ermittelt wird.
6. Verfahren nach Anspruch 5, wobei anhand der ermittelten perspektivischen Verzerrung eine relative Lage, insbesondere ein relativer Neigungswinkel, des Markers (MK) zu der
Bedieneinheit (BE) ermittelt wird.
7. Verfahren nach Anspruch 6, wobei die Bedieneinheit (BE) mittels Lagesensoren eine Skalierung des dreidimensionalen Raums ermittelt.
8. Verfahren nach Anspruch 7, wobei anhand der Skalierung des dreidimensionalen Raums die absolute Lage des Markers (MK) im dreidimensionalen Raum berechnet wird.
9. Verfahren nach zumindest einem der Ansprüche 4 bis 8, wobei der Typ des Markers (MK)
denjenigen Ort definiert, an welchem der Marker (MK) an zumindest einem Typ eines Feldgeräts (FG) anbringbar ist und wobei der Typ des Markers (MK) die Lage des Feldgeräts (FG) in Relation zu der Lage des Markers (MK) nach korrektem Anbringen des Markers (MK) an dem Feldgerät (FG) definiert.
10. Verfahren nach zumindest einem der Ansprüche 4 bis 9, wobei bei verschiedene Typen von Markern (MK), bzw. deren Referenzstrukturen, und/oder verschiedene virtuelle Modelle, bzw. Metadaten (MD), von verschiedenen Typen von Feldgeräten (FG) auf einer Datenbank (DB) abgelegt sind, auf welche im Zuge der Ermittlung der perspektivischen Verzerrung, des Ermitteln des virtuellen Modells, bzw. der Metadaten (MD), und/oder des Überlagern des Feldgeräts (FG) mit dem virtuellen Modell, bzw. mit den Metadaten (MD), zugegriffen wird.
1 1 . Verfahren nach zumindest einem der vorherigen Ansprüche, wobei in dem Fall, dass
Identifikationsdaten (ID) von mehr als einem Feldgerät (FG) empfangen werden, ein Abstand des jeweiligen Feldgeräts (FG) zu der Bedieneinheit (BE) mittels der Signalstärke ermittelt wird, wobei nur eine Identifikation desjenigen Feldgeräts (FG) durchgeführt wird, welches sich geographisch am nächsten zu der Bedieneinheit (BE) befindet oder sich welches innerhalb eines vorgegebenen Radius zu der Bedieneinheit (BE) befindet.
12. Verfahren nach Anspruch 1 1 , wobei die Bedieneinheit (BE) im Falle, dass sich zwei oder
mehrere Feldgeräte (FG) innerhalb des vorgegebenen Radius zu der Bedieneinheit (BE) befinden, eine Auswahl desjenigen Feldgeräts (FG) von dem Bediener (BE) fordert, mit welchem eine Identifikation durchgeführt wird.
13. Verfahren nach zumindest einem der vorherigen Ansprüche, wobei als Bedieneinheit (BE) eine Datenbrille verwendet wird.
14. Verfahren nach zumindest einem der Ansprüche 1 bis 12, wobei als Bedieneinheit (BE) ein mobiles Endgerät verwendet wird.
PCT/EP2019/081214 2018-12-19 2019-11-13 Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung WO2020126240A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018132921.0 2018-12-19
DE102018132921.0A DE102018132921A1 (de) 2018-12-19 2018-12-19 Verfahren zum Betreiben eines Feldgeräts der Automatisierungstechnik in einer Augmented-Reality/Mixed-Reality- Umgebung

Publications (1)

Publication Number Publication Date
WO2020126240A1 true WO2020126240A1 (de) 2020-06-25

Family

ID=68610209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/081214 WO2020126240A1 (de) 2018-12-19 2019-11-13 Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung

Country Status (2)

Country Link
DE (1) DE102018132921A1 (de)
WO (1) WO2020126240A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112917457A (zh) * 2021-01-27 2021-06-08 南京航空航天大学 一种基于增强现实技术的工业机器人快速精准示教***及方法
CN112936261A (zh) * 2021-01-27 2021-06-11 南京航空航天大学 一种基于增强现实技术的工业机器人现场仿真***与方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020120297A1 (de) * 2020-07-31 2022-02-03 Endress+Hauser Process Solutions Ag Verfahren zum Erweitern der Bedienfunktionalität eines Feldgeräts der Automatisierungstechnik von einem Bediengerät auf zumindest ein weiteres Bediengerät

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009059823A1 (de) * 2009-12-21 2011-04-14 Deutsches Zentrum für Luft- und Raumfahrt e.V. Marker zur Bestimmung der Orientierung eines Objektes in einem Bild
EP3206174A1 (de) * 2016-02-09 2017-08-16 Siemens Schweiz AG Verfahren und anordnung zur inbetriebnahme eines gebäudeautomatisierungssystems
WO2018130337A1 (de) * 2017-01-13 2018-07-19 Endress+Hauser SE+Co. KG Feldgerät der automatisierungstechnik

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064009B2 (en) * 2015-08-19 2021-07-13 Honeywell International Inc. Augmented reality-based wiring, commissioning and monitoring of controllers
EP3203331B1 (de) * 2016-02-02 2018-04-18 VEGA Grieshaber KG Proaktive messwertübertragung an mobile endgeräte
DE102017130138A1 (de) * 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009059823A1 (de) * 2009-12-21 2011-04-14 Deutsches Zentrum für Luft- und Raumfahrt e.V. Marker zur Bestimmung der Orientierung eines Objektes in einem Bild
EP3206174A1 (de) * 2016-02-09 2017-08-16 Siemens Schweiz AG Verfahren und anordnung zur inbetriebnahme eines gebäudeautomatisierungssystems
WO2018130337A1 (de) * 2017-01-13 2018-07-19 Endress+Hauser SE+Co. KG Feldgerät der automatisierungstechnik

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112917457A (zh) * 2021-01-27 2021-06-08 南京航空航天大学 一种基于增强现实技术的工业机器人快速精准示教***及方法
CN112936261A (zh) * 2021-01-27 2021-06-11 南京航空航天大学 一种基于增强现实技术的工业机器人现场仿真***与方法
CN112936261B (zh) * 2021-01-27 2022-07-08 南京航空航天大学 一种基于增强现实技术的工业机器人现场仿真***与方法

Also Published As

Publication number Publication date
DE102018132921A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
DE102019002898A1 (de) Robotorsimulationsvorrichtung
DE102018109463C5 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
EP1447770B1 (de) Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
WO2020126240A1 (de) Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
DE102019111868A1 (de) Instandhaltung von gebäudesystemen unter verwendung von mixed reality
EP1701233B1 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
EP1770607B1 (de) System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen
WO2006092251A1 (de) Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten
DE102007033486A1 (de) Verfahren und System zur Ermittlung der Position und Orientierung einer Kamera relativ zu einem realen Objekt
DE102019213199A1 (de) Virtuelle räumlich registrierte video überlagerungsanzeige
DE112016001829T5 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
DE102021120250A1 (de) Schnellaktivierungstechniken für industrielle Augmented-Reality-Anwendungen
DE102018113336A1 (de) Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung
DE102006006001B3 (de) Verfahren und Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene
DE112020000410T5 (de) Orientierungsausrichtung von erweiterten realitätsmodellen
DE102017010683B4 (de) Verfahren zur automatischen Wiederherstellung eines eingemessenen Zustands eines Projektionssystems
EP3974936B1 (de) Konfigurieren einer visualisierungsvorrichtung für einen maschinenbereich
DE102004061841B4 (de) Markerloses Tracking System für Augmented Reality Anwendungen
EP2753951A1 (de) Interaktion mit einem dreidimensionalen virtuellen szenario
DE102019133753A1 (de) Werkzeuge für augmentierte realität in der lichtgestaltung
EP3418839B1 (de) Verfahren zur überwachung einer automatisierungsanlage
EP1487616B1 (de) Automatische prozesskontrolle
DE102005060980A1 (de) Verfahren und System zur Bestimmung eines dreidimensionalen Raumes gegenüber einer realen Umgebung
DE102018123635A1 (de) 3d-kartierung einer prozesssteuerungsumgebung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19805611

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19805611

Country of ref document: EP

Kind code of ref document: A1