DE102021205859A1 - Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage - Google Patents

Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage Download PDF

Info

Publication number
DE102021205859A1
DE102021205859A1 DE102021205859.0A DE102021205859A DE102021205859A1 DE 102021205859 A1 DE102021205859 A1 DE 102021205859A1 DE 102021205859 A DE102021205859 A DE 102021205859A DE 102021205859 A1 DE102021205859 A1 DE 102021205859A1
Authority
DE
Germany
Prior art keywords
mobile device
maintenance
until
assistance system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102021205859.0A
Other languages
English (en)
Inventor
Mark Haverkamp
Marco Koepe
Sebastian Kemper
Robin Brunner
Michael Ströder
Aram Avagyan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMS Group GmbH
Original Assignee
SMS Group GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMS Group GmbH filed Critical SMS Group GmbH
Priority to DE102021205859.0A priority Critical patent/DE102021205859A1/de
Priority to PCT/EP2022/063632 priority patent/WO2022258343A1/de
Publication of DE102021205859A1 publication Critical patent/DE102021205859A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32007—Operator is assisted by expert system for advice and delegation of tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Manufacturing & Machinery (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

Die Erfindung betrifft ein audiovisuelles Assistenzsystem (1) und ein Verfahren zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage (11), umfassend:wenigstens ein mobiles Gerät (2) für einen Instandhalter (3) in der industriellen Anlage (11), mit einem ersten graphischen Ausgabegerät (4) zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter (3) und wenigstens einer Kamera (5) zur Erfassung der Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3),wenigstens einen Rechner (6) für einen externen Experten (7) bezüglich der Durchführung von Arbeiten in der industriellen Anlage (11), mit einem zweiten graphischen Ausgabegerät (8) zur Darstellung der mittels der Kamera (5) des mobilen Geräts (2) erfassten Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3); undeinem Netzwerk (9), über welches das wenigstens eine mobile Gerät (2) und der wenigstens eine Rechner (6) Informationen, insbesondere Daten, austauschen können;welches sich dadurch auszeichnet, dassder wenigstens eine Rechner (6) eine Vorrichtung (10) zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten (7) umfasst, wobei die erfasste Position und Bewegung der Hände des externen Experten (7) an das wenigstens eine mobile Gerät (2) des Instandhalters (3) übertragen wird und dem Instandhalter (3) mittels des ersten graphischen Ausgabegeräts (4) des wenigstens einen mobilen Geräts (1) angezeigt wird.

Description

  • Die Erfindung betrifft ein audiovisuelles Assistenzsystem zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, ein Verfahren zur audiovisuellen Unterstützung eines Instandhalters durch einen externen Experten bei Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage und ein Computerprogramm zur Ausführung des erfindungsgemäßen Verfahrens.
  • Die Erfindung betrifft die audiovisuelle Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer Industrieanlage, insbesondere einer metallurgischen Produktionsanlage zur Erzeugung von Industriegütern wie metallischem Halbzeug und/oder metallischen Endprodukten. Die Industrieanlage dient beispielsweise zur Herstellung von Stahl, nicht-Eisen Metallen, Brammen, Blöcken, Stäben, Bändern, Blechen, Rohren, Trägern, Schmiedestücken oder dergleichen. Nicht-Eisen Metalle sind beispielsweise Aluminium, Kupfer, Nickel, oder dergleichen.
  • Die Produktionsanlage unterliegt bei der Herstellung der genannten Produkte einem nicht unerheblichen Verschleiß, beispielsweise durch die notwendigen Prozesstemperaturen, erforderlichen Kräfte während der Herstellung und dergleichen. Ferner kann es wie in jeder technischen Anlage zu Störungen aufgrund von Ausfällen, Fehlfunktionen oder dergleichen von einzelnen Maschinen, Teilen oder Komponenten der Produktionsanlage kommen. Aus diesen Gründen müssen in Produktionsanlagen in regelmäßigen und aufgrund von Störfällen unregelmäßigen Abständen Wartungsarbeiten und/oder Reparaturarbeiten in der Produktionsanlage durchgeführt werden.
  • Zur Durchführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten begibt sich der Instandhalter zu dem Standort innerhalb der Produktionsanlage, wo die Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten durchzuführen sind. Dies ist üblicherweise eine Maschine, ein bestimmtes Teil oder eine Komponente der Produktionsanlage, wobei sich die Produktionsanlage über eine große Fläche erstreckt. Insbesondere erstrecken sich Industrieanlagen wie beispielsweise zur Herstellung von Stahl, nicht-Eisen Metallen, Brammen, Blöcken, Stäben, Bändern, Blechen, Rohren, Trägern, Schmiedestücken oder dergleichen über mehrere hundert Meter. Im Idealfall kann der Instandhalter die geplanten oder ungeplanten Wartungsmaßnahmen, Reparaturarbeiten oder Installationsarbeiten aufgrund seines Fachwissens und des mitgeführten Werkzeugs und/oder bereitgestellter Ersatzteile problemlos vor Ort durchführen. Zur Unterstützung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann der Instandhalter eine Dokumentation bezüglich der zu wartenden, reparierenden oder installierenden Maschine, des zu wartenden, reparierenden oder installierenden Teils oder der zu wartenden, reparierenden oder installierenden Komponente mit sich führen. Falls der Instandhalter bei der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten Unterstützung von einem externen, d.h. nicht vor Ort befindlichen, Experten benötigt, so muss er diesen beispielsweise telefonisch oder über Funk kontaktieren und versuchen, das Problem zusammen mit dem Experten zu lösen.
  • Aus der WO 2017/097902 A1 ist ein audiovisuelles Assistenzsystem zur Unterstützung von Wartungsarbeiten in einer Produktionsanlage bekannt. Der Instandhalter vor Ort ist dabei mit einem mobilen Gerät ausgestattet, welches über ein Netzwerk mit einem stationären Rechner verbunden ist. Über ein graphisches Ausgabegerät können dem Instandhalter vor Ort instandhaltungsrelevante Informationen aus einem Anlageninformationssystem angezeigt werden. Beispielsweise ist das graphische Ausgabegerät als Augmented-Reality (AR) Anzeigegerät ausgebildet, so dass dem Instandhalter die Informationen überlagert zu der Realität angezeigt werden. Dazu verfügt das offenbarte Assistenzsystem beispielsweise über Mittel zur Erkennung von Komponenten, Teilen oder Maschinen der Produktionsanlage. Ferner kann der Instandhalter vor Ort in der Produktionsanlage mittels des offenbarten Systems einen externen Experten kontaktieren. Da der externe Experte Bildinformationen aus der Produktionsanlage angezeigt bekommt und gegebenenfalls auch Sensordaten an den externen Experten übertragen werden, kann der externe Experte den Instandhalter vor Ort besser unterstützen.
  • Ferner offenbart die US 2007/0273610 A1 ein System und ein Verfahren zur Anzeige von wartungsrelevanten Informationen und Anweisungen für einen Instandhalter in einer zu wartenden Anlage. Dem Instandhalter werden dabei die Informationen über ein Augmented-Reality Display angezeigt. Die wartungsrelevanten Informationen sind auf einem mobilen Gerät gespeichert, welches der Instandhalter mit sich führt, beispielsweise als Rucksack-PC. Eine Kommunikation mit einem externen Experten ist nicht vorgesehen. Vergleichbare Systeme sind aus der US 2013/0288719 A1 und der WO 2015/028978 A1 bekannt.
  • Die EP 1 647 869 A2 offenbart ein Automatisierungssystem, welches empfangene Sensordaten auf einem Head-Mounted-Display, insbesondere einem Augmented-Reality-System, einer Person in der Anlage darstellt.
  • Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, die Ausführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten durch einen Instandhalter in einer industriellen Anlage durch einen externen Experten besser zu unterstützen.
  • Die Aufgabe wird erfindungsgemäß gelöst durch ein audiovisuelles Assistenzsystem zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, umfassend:
    • wenigstens ein mobiles Gerät für einen Instandhalter in der industriellen Anlage, mit einem ersten graphischen Ausgabegerät zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter und wenigstens einer Kamera zur Erfassung der Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters,
    • wenigstens einen Rechner für einen externen Experten bezüglich der Durchführung von Arbeiten in der industriellen Anlage, mit einem zweiten graphischen Ausgabegerät zur Darstellung der mittels der Kamera des mobilen Geräts erfassten Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters; und
    • einem Netzwerk, über welches das wenigstens eine mobile Gerät und der wenigstens eine Rechner Informationen, insbesondere Daten, austauschen können;
    • welches sich dadurch auszeichnet, dass
    • der wenigstens eine Rechner eine Vorrichtung zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten umfasst, wobei die erfasste Position und Bewegung der Hände des externen Experten an das wenigstens eine mobile Gerät des Instandhalters übertragen wird und dem Instandhalter mittels des ersten graphischen Ausgabegeräts des wenigstens einen mobilen Geräts angezeigt wird.
  • Der Erfindung liegt die Erkenntnis zugrunde, dass die Ausführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, insbesondere einer Industrieanlage wie metallurgische Produktionsanlagen zur Erzeugung von Industriegütern wie metallischem Halbzeug und/oder metallischen Endprodukten, häufig viele unterschiedliche und komplexe Arbeitsschritte umfasst. Dabei müssen unter Umständen komplizierte Tätigkeiten und Arbeiten ausgeführt werden, welche sich nur umständlich beschreiben lassen. Zur Unterstützung eines Instandhalters vor Ort, welcher die Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten nicht selbstständig ausführen kann, sondern bei der Ausführung auf die Hilfe eines externen Experten angewiesen ist, wird erfindungsgemäß vorgeschlagen, dass das audiovisuelle Assistenzsystem die Position und Bewegung der Hände des externen Experten erfasst und dem Instandhalter vor Ort die erfasste Position und Bewegungen der Hände des externen Experten anzeigt. Dadurch kann der externe Experte dem Instandhalter vor Ort live die durchzuführenden Tätigkeiten vormachen. Die Hände werden dem Instandhalter virtuell und live angezeigt, so dass dieser die Bewegungen nachmachen kann. So kann der externe Experte individuell auf die Bedürfnisse des Instandhalters vor Ort eingehen und die durchzuführenden Tätigkeiten vormachen.
  • Das erfindungsgemäße audiovisuelle System dient insbesondere zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, also allgemein von Arbeiten in der industriellen Anlage bei deren Errichtung und Betrieb. Ein Instandhalter im Sinne der Erfindung kann auch mit Installationsarbeiten bei der Errichtung der industriellen Anlage betraut werden und ist nicht auf Wartungsarbeiten bzw. Reparaturarbeiten beschränkt.
  • Das Erfassen der Position und Bewegungen der Hände des externen Experten hat deutliche Vorteile gegenüber einer mündlichen Beschreibung, da sich komplexe Tätigkeiten und Handgriffe häufig nur schlecht mündlich beschreiben lassen. Auch geht dies über das einfache Einblenden von Zeigern durch den externen Experten für den Instandhalter vor Ort hinaus, wie beispielsweise Einblenden eines Mauszeigers, da mittels eines Zeigers nur auf bestimmte Objekte gedeutet werden kann, aber keine komplexen Handgriffe dargestellt werden können.
  • Die vorliegende Erfindung beschränkt sich nicht auf das Einblenden der Hände des externen Experten, vielmehr ist dies die Mindestvoraussetzung. Neben den Händen kann auch ein virtuelles Abbild des gesamten externen Experten auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts des Instandhalters eingeblendet werden, beispielsweise in Form eines sogenannten Avatars. Die Hände des Avatars werden dann entsprechend zu der erfassten Position und Bewegungen der Hände des externen Experten angezeigt und bewegt.
  • Der Rechner des externen Experten ist beispielsweise als stationärer Rechner ausgebildet.
  • Nach einer zweckmäßigen Variante der Erfindung wird die erfasste Position und Bewegung der Hände des externen Experten mittels des zweiten graphischen Ausgabegeräts des wenigstens einen Rechners angezeigt. Der externe Experte bekommt somit auf dem graphischen Ausgabegerät seines Rechners die erfasste Position und Bewegungen seiner Hände angezeigt. Er kann dadurch die erfasste Position und Bewegungen seiner Hände kontrollieren und gegebenenfalls anpassen, um dem Instandhalter vor Ort die durchzuführenden Tätigkeiten besser zu verdeutlichen.
  • In einer bevorzugten Variante umfasst das erfindungsgemäße audiovisuelle Assistenzsystem weiterhin ein Anlageninformationssystem mit Informationen zu der industriellen Anlage, insbesondere mit wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen. In dem Anlageninformationssystem sind beispielsweise Zeichnungen, insbesondere Explosionszeichnungen, Modelle, insbesondere Explosionsmodelle in 2D oder 3D, Lagepläne, Wartungsinformationen, Informationen zu Maschinen, Teilen oder Komponenten der industriellen Anlage, Dokumente zur Durchführung einer Wartungsarbeit und/oder Schadensbehebung oder vergleichbare Informationen hinterlegt. Das Anlageninformationssystem ist beispielsweise über das Netzwerk erreichbar. Alternativ oder zusätzlich können Informationen aus dem Anlageninformationssystem auch auf dem mobilen Gerät des Instandhalters gespeichert sein, um die zu übertragende Datenmenge und damit verbundene Übertragungszeiten zu verringern.
  • Gemäß einer Variante der Erfindung werden die Informationen aus dem Anlageninformationssystem dem Instandhalter und/oder externen Experten mittels des ersten graphischen Ausgabegeräts beziehungsweise des zweiten graphischen Ausgabegeräts angezeigt. Dadurch stehen dem Instandhalter vor Ort und/oder dem externen Experten eine Vielzahl von unterschiedlichen Informationen bezüglich der industriellen Anlage, einschließlich deren Maschinen, Teile und Komponenten zur Verfügung und können bei der Durchführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten genutzt werden. Weiterhin lassen sich so beispielsweise verdeckte Komponenten, Teile oder Maschinen der industriellen Anlage einblenden.
  • Nach einer zweckmäßigen Variante der Erfindung ist das erste graphische Ausgabegerät des wenigstens einen mobilen Geräts als Head-Mounted-Display, Optical-See-Through Head-Mounted-Display, Augmented-Reality Head-Mounted-Display, Virtual-Reality Head-Mounted-Display oder einer Kombination daraus ausgebildet. Dadurch können die Informationen, insbesondere die Position und Bewegungen der Hände des externen Experten, dem Instandhalter vor Ort direkt virtuell ins Blickfeld eingeblendet werden. Insbesondere eine Überlagerung mit der Realität als sogenannten Augmented-Reality hat sich dabei als besonders vorteilhaft erwiesen. In Kombination mit dem Anlageninformationssystem lassen sich so auch nützliche Informationen aus dem Anlageninformationssystem für den Instandhalter vor Ort einblenden. Ein Head-Mounted-Display hat ferner den Vorteil, dass der Instandhalter beide Hände zur Ausführung von Tätigkeiten frei hat.
  • Das erste graphische Ausgabegerät kann auch Teil des mobilen Geräts sein, beispielsweise das Display eines Tablets oder ähnlichen mobilen Geräts.
  • In einer weiteren erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät, eine Vorrichtung zur Bestimmung der Position des wenigstens einen mobilen Geräts in der industriellen Anlage. Mittels der Vorrichtung lässt sich die Position des wenigstens einen mobilen Geräts und damit auch die Position des Instandhalters innerhalb der industriellen Anlage bestimmen. Die Vorrichtung ist vorzugsweise zur Positionsbestimmung in einem Außenbereich und einem Innenbereich geeignet und basiert beispielsweise auf einem GPS-System, Sensornetzwerk oder dergleichen. Durch die Positionsbestimmung lassen sich dem Instandhalter insbesondere lokal interessante Informationen einblenden, beispielsweise in Kombination mit dem Anlageninformationssystem.
  • Gemäß einer weiteren zweckmäßigen Variante der Erfindung umfasst das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät, eine Vorrichtung zur Bestimmung der Blickrichtung des Instandhalters, welcher ein mobiles Gerät nutzt. Durch die Bestimmung der Blickrichtung des Instandhalters können die dem Instandhalter eingeblendeten Informationen noch besser an die Situation angepasst werden. Insbesondere eine Kombination mit der Bestimmung der Position innerhalb der industriellen Anlage und/oder dem Anlageninformationssystem hat sich dabei als besonders vorteilhaft herausgestellt. Die Vorrichtung zur Bestimmung der Blickrichtung des Instandhalters umfasst beispielsweise Lagesensoren, einen Kreiselkompass, einen elektronischen Kompass, eine Bildauswertung oder dergleichen.
  • Nach einer besonders vorteilhaften Variante der Erfindung umfasst das wenigstens eine mobile Gerät eine Vorrichtung zur Erfassung von Entfernungen.
  • Mittels der Erfassung von Entfernungen lassen sich Tiefeninformationen generieren, also Abstände zu Maschinen, Teilen oder Komponenten der industriellen Anlage. Dadurch kann der externe Experte dem Instandhalter vor Ort noch genauere Anweisungen geben. Vorzugsweise umfassen in dieser Variante die erfasste Position und Bewegungen der Hände des externen Experten ebenfalls Abstände bzw. Tiefeninformationen, so dass die dem Instandhalter angezeigte Position und Bewegungen der Hände des externen Experten ebenfalls die Abstände bzw. Tiefeninformation berücksichtigt. Der externe Experte kann dem Instandhalter vor Ort somit vorzugsweise dreidimensional zeigen, welche Tätigkeiten er auszuführen hat. Die Vorrichtung zur Erfassung von Entfernungen umfasst beispielsweise Lidar-Sensoren (light detection and ranging), Ultraschall-Sensoren oder dergleichen.
  • Gemäß einer vorteilhaften Variante wird mittels der Vorrichtung zur Erfassung von Entfernungen die Umgebung des mobilen Geräts abgetastet, um die Entfernungen zu in der Umgebung befindlichen Maschinen, Teilen oder Komponenten der industriellen Anlage zu ermitteln. Daraus wird beispielsweise ein Gittermodel (mesh-model) erstellt, welches die Umgebung des mobilen Geräts dreidimensional repräsentiert. Die so erhaltenen Informationen bezüglich der Umgebung des mobilen Geräts können nachfolgend von dem erfindungsgemäßen audiovisuellen Assistenzsystem, insbesondere dem externen Experten, genutzt werden, um dem Instandhalter genauere Anweisungen zu geben, relevanteren Informationen anzuzeigen oder dergleichen. Auch können die so erhaltenen Informationen zu diesem Zweck mit Informationen aus anderen Komponenten oder System des erfindungsgemäßen Assistenzsystems oder der industriellen Anlage, wie beispielsweise dem Anlageninformationssystem, verknüpft werden.
  • In einer weiteren erfindungsgemäßen Variante ist das zweite graphische Ausgabegerät des wenigstens einen Rechners zur Darstellung einer Virtual-Reality ausgebildet, insbesondere als Virtual-Reality Head-Up Display oder Virtual-Reality Cave. Innerhalb der Virtual-Reality lassen sich die von dem wenigstens einen mobilen Gerät erfassten Entfernungen für den externen Experten darstellen. Es wird also für den externen Experten ein dreidimensionaler virtueller Raum erzeugt, welcher der Umgebung des Instandhalters vor Ort in der industriellen Anlage entspricht. Zusätzlich kann dem externen Experten noch ein Live-Bild von dem mobilen Gerät des Instandhalters in der virtuellen Welt eingeblendet werden, so dass eine Art Augmented-Reality für den externen Experten mit der Situation des Instandhalters vor Ort in der industriellen Anlage erzeugt wird.
  • Gemäß einer zweckmäßigen Variante der Erfindung ermöglicht das audiovisuelle Assistenzsystem, insbesondere der wenigstens eine Rechner, dem externen Experten eine virtuelle Markierung in der industriellen Anlage zu erzeugen, insbesondere im dreidimensionalen Raum der industriellen Anlage. Die virtuelle Markierung umfasst also eine dreidimensionale Ortsangabe, insbesondere als x-y-z Koordinaten. Die Tiefeninformation wird beispielsweise von der Vorrichtung zur Erfassung von Entfernungen des wenigstens einen mobilen Geräts bereitgestellt oder kann aus der aktuellen Position und Daten aus einem Anlagenmodell oder Anlagenplan abgeleitet werden. Die virtuelle Notiz wird dem Instandhalter und/oder dem externen Experten auf dem ersten graphischen Ausgabegerät bzw. zweitem graphischen Ausgabegerät angezeigt, wenn das Blickfeld des Instandhalters bzw. externen Experten auf den Bereich der industriellen Anlage mit der erzeugten virtuellen Notiz gerichtet ist. So kann der externe Experte beispielsweise dem Instandhalter Notizen hinterlassen, welcher diese berücksichtigt, wenn er sich an der entsprechenden Position in der industriellen Anlage befindet.
  • Nach einer weiteren erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät, wenigstens einen Sensor zur Erfassung von Markern, insbesondere elektronischen Markern, der industriellen Anlage, insbesondere von Komponenten, Teilen und/oder Maschinen der industriellen Anlage. Dadurch lassen sich auf einfach Art und Weise die unterschiedlichen Komponenten, Teile und Maschinen der industriellen Anlage identifizieren und beispielsweise zugehörige Informationen aus dem Anlageninformationssystem einblenden. Die Marker und der wenigstens eine Sensor basieren beispielsweise auf einem Auto-ID-System, RFID-System, Barcode-System (2D oder 3D) oder dergleichen. Im Falle von visuellen Markern, wie Barcode-Systemen, kann auch die Kamera des mobilen Geräts als Sensor zu Erfassung von Markern der industriellen Anlage verwendet werden.
  • In einer zweckmäßigen Variante der Erfindung umfassen das wenigstens eine mobile Gerät und der wenigstens eine Rechner jeweils Audiokommunikationsmittel für eine Audiokommunikation zwischen Instandhalter und externem Experten.
  • Gemäß einer weiteren Variante der Erfindung umfasst das audiovisuelle Assistenzsystem einen zentralen Datenspeicher, welcher zumindest die Daten des wenigstens einen mobilen Geräts, insbesondere aller an der Wartung der industriellen Anlage beteiligter Komponenten, zu Dokumentationszwecken speichert. Das audiovisuelle Assistenzsystem speichert somit alle relevanten Daten, welche mittels des erfindungsgemäßen Systems erfasst und ausgetauscht wurden. Eine derartige Dokumentation ist beispielsweise relevant, wenn es zu einem späteren Zeitpunkt zu einem Störfall in der industriellen Anlage kommt und man die Ursache des Störfalls ausfindig machen möchte. Ferner kann dadurch nachgewiesen werden, dass bestimmte Wartungsintervalle oder dergleichen eingehalten wurden.
  • Nach einer vorteilhaften erfindungsgemäßen Variante umfasst die industrielle Anlage, insbesondere Maschinen und Komponenten der industriellen Anlage, Sensoren zur Erfassung von Messwerten und/oder Fehlerzuständen, wobei die von den Sensoren erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage, insbesondere den Maschinen oder Komponenten der industriellen Anlage oder von Steuereinheiten der industriellen Anlage, angezeigt werden und/oder an das audiovisuelle Assistenzsystem, insbesondere an das wenigstens eine mobile Gerät, den wenigstens einen Rechner oder an ein zentrales Leitsystem, übermittelt werden. Die Übermittlung der erfassten Messwerte erfolgt zweckmäßigerweise über das Netzwerk des audiovisuellen Assistenzsystems oder über ein anderes Kommunikationsnetzwerk und eine Schnittstelle zu dem erfindungsgemäßen audiovisuellen Assistenzsystem. Aus den erfassten Messwerten können vorzugsweise Fehlerzustände der industriellen Anlage, insbesondere Maschinen, Teilen oder Komponenten der industriellen Anlage, abgeleitet werden. Dies erfolgt beispielsweise durch die Steuereinheit, das zentrale Leitsystem oder das audiovisuelle Assistenzsystem. In letzterem Fall durch das wenigstens eine mobile Gerät und/oder durch den wenigstens einen Rechner. Bei einer Steuereinheit handelt es sich beispielsweise um eine oder mehrere zusammengeschaltete Speicherprogrammierbare Steuerungen (SPS bzw. SPSen). Die mehreren Speicherprogrammierbaren Steuerungen (SPSen) können hierarchisch aufgebaut sein, wobei beispielsweise eine sogenannte Kopf-SPS die Daten untergeordneter SPSen sammelt und auswertet. Aus den gesammelten Messwerten können Fehlerzustände abgeleitet werden oder die Fehlerzustände können direkt mittels der Sensoren erfasst werden. Die gesammelten Messwerte bzw. Fehlerzustände können gesammelt und zyklisch versendet werden oder direkt versendet werden, was insbesondere bei schwerwiegenden Fehlerzuständen vorteilhaft ist. Der Fehlerzustand wird beispielsweise in Form eines Fehlercodes oder einer detaillierteren Fehlermeldung versendet.
  • Beispielsweise sammelt die sogenannte Kopf-SPS die Sensordaten, insbesondere Messwerte, von mehreren untergeordneten SPSen bzw. der damit jeweils verbundenen Sensoren. Die Kopf-SPS wertet die gesammelten Sensordaten aus, beispielsweise durch eine Datenkorrelation und -analyse und generiert auf Basis der Auswertung ggf. eine Fehlermeldung, welche an das erfindungsgemäße audiovisuelle Assistenzsystem, insbesondere das mobile Gerät des Instandhalters, übermittelt wird. Ferner kann die Kopf-SPS auch als Empfänger für Informationen von dem mobilen Gerät dienen, welche nachfolgend an die anderen SPSen weitergeleitet werden, insbesondere um die Steuerung der industriellen Anlage anzupassen.
  • In einer zweckmäßigen Variante der Erfindung wertet das audiovisuelle Assistenzsystem, insbesondere das wenigstens eine mobile Gerät oder das zentrale Leitsystem, insbesondere die Kopf-SPS, die angezeigten und/oder empfangenen Messwerte und/oder Fehlerzustände aus und erstellt einen Tätigkeitsplan für den Instandhalter mit dem wenigstens einen mobilen Gerät. Der erstellte Tätigkeitsplan wird dem Instandhalter mittels des ersten graphischen Ausgabegeräts angezeigt. Auf Basis des empfangenen Messwertes bzw. Fehlerzustands veranlasst das audiovisuelle Assistenzsystem eine Wartung, Reparatur und/oder Installation durch den Instandhalter vor Ort, welcher wiederum einen externen Experten im Rahmen der durchzuführenden Tätigkeiten hinzuziehen kann. Der Tätigkeitsplan geht von dem festgestellten Fehlerzustand aus und folgt einem Ereignisbaum bis zur Lösung des Fehlerzustands.
  • Gemäß einer besonders vorteilhaften Variante der Erfindung ist der erstellte Tätigkeitsplan als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, ausgebildet und/oder der erstellte Tätigkeitsplan wird dem Instandhalter als 3D-Animation und/oder als Filmsequenz angezeigt. Die Schritt-für-Schritt-Anleitung oder das Frage-Antwort-Prinzip sind dabei insbesondere interaktiv ausgebildet, so dass der Instandhalter die einzelnen Schritte oder Fragen bestätigen bzw. beantworten muss. Beispielsweise kann so das Messen einer Spannung in einem Schaltschrank als Tätigkeitsplan beschrieben werden.
  • Nach einer zweckmäßigen Variante der Erfindung werden dem Instandhalter mittels des ersten graphischen Ausgabegeräts Sicherheitshinweise angezeigt, insbesondere bezüglich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Die Sicherheitshinweise können allgemein oder anlagenspezifisch ausgebildet sein. Die Sicherheitshinweise können erfindungsgemäß vom zentralen Leitsystem stammen, im audiovisuellen Assistenzsystem hinterlegt sein, oder aus anderen Systemen der industriellen Anlage stammen. Die Sicherheitshinweise können auch Sicherheitsregeln umfassen oder auf Besonderheiten aufmerksam machen, wie eine erforderliche Wartezeit nach der Abschaltung eines Frequenzumrichters zur Entladung von vorhandenen Kondensatoren oder vergleichbaren Bauteilen.
  • In einer vorteilhaften Variante der Erfindung umfasst das audiovisuelle Assistenzsystem ein Modul zur Bestellung von Ersatzteilen für die industrielle Anlage, insbesondere für Maschinen, Komponenten oder dergleichen. Zweckmäßigerweise können der Instandhalter und/oder der externe Experte auf das Modul zur Ersatzteilbestellung zugreifen und so eine direkte Bestellung von Ersatzteilen auslösen. Bei der Auslösung der Bestellung können ferner Informationen aus dem Anlageninformationssystem, von der Vorrichtung zur Bestimmung der Position des wenigstens einen mobilen Geräts und/oder der Vorrichtung zur Bestimmung der Blickrichtung des Instandhalters berücksichtigt werden. Durch diese zusätzlichen Informationen lassen sich die zu bestellenden Ersatzteile einfacher identifizieren und gegebenenfalls halbautomatisch bestellen. Bei einer halbautomatischen Bestellung schlägt das Modul zur Bestellung von Ersatzteilen automatisch das zu bestellende Ersatzteil vor und der Instandhalter und/oder der externe Experte bestätigen den Vorschlag oder lehnen diesen ab bzw. passen diesen an. Die Ersatzteilidentifikation kann alternativ auch mittels QR-Codes, Bauteil-IDs oder einem e-Doc-System erfolgen.
  • Gemäß einer besonders vorteilhaften Variante kann eine unmittelbare Ersatzteillieferung veranlasst werden. Dabei wird das bestellte Ersatzteil unmittelbar von einem Boten oder Lieferanten zu dem Instandhalter vor Ort geliefert, beispielsweise aus einem Materiallager innerhalb oder in der Nähe der industriellen Anlage. Dies ist insbesondere bei zeitkritischen Wartungsarbeiten bzw. Reparaturarbeiten in Störfällen vorteilhaft, da dadurch die Stillstandzeit der Anlage reduziert werden kann. Dazu wird beispielsweise bei der Ersatzteilbestellung gleichzeitig die Position des wenigstens einen mobilen Geräts, also des Instandhalters, mit übermittelt.
  • Nach einer zweckmäßigen Variante ist der wenigstens eine Rechner dazu ausgebildet auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts Markierungen, Texte, Bilder, Grafiken oder dergleichen einzublenden, so dass der externe Experte dem Instandhalter in der industriellen Anlage unterschiedlichste Informationen zur Verfügung stellen kann.
  • In einer bevorzugten Variante umfasst das erfindungsgemäße audiovisuelle Assistenzsystem einen virtuellen Werkzeugkasten zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts durch den externen Experten. Der virtuelle Werkzeugkasten stellt dabei die für die auszuführenden Wartungstätigkeiten notwendigen Werkzeuge bereit, so dass der externe Experte diese dem Instandhalter auf dem ersten graphischen Ausgabegerät einblenden und deren Einsatz zeigen kann. Dadurch kann der externe Experte dem Instandhalter vor Ort das zu verwendete Werkzeug zeigen, so dass der Instandhalter dieses aus seinem realen Werkzeugkasten auswählen kann. Ferner können so beispielsweise Tätigkeiten besser dargestellt werden, welche den Einsatz eines Werkzeugs erfordern. Beispiele für derartige Tätigkeiten sind das Messen einer Spannung oder das Entfernen einer verschraubten Abdeckung.
  • Gemäß einer erfindungsgemäßen Variante umfasst die Vorrichtung zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten Sensoren zum Tragen an den Händen des externen Experten, Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel. Die tragbaren Sensoren sind beispielsweise aus Virtual-Reality-Systemen mit einem Head-Mounted-Display bekannt, wo der Nutzer in beiden Händen jeweils einen Controller hält, welche neben den notwendigen Sensoren zur Positions- und Bewegungsverfolgung auch Eingabemittel bzw. Steuermittel umfassen. Grundsätzlich können aber jegliche Arten von Sensoren genutzt werden, welche zur Verfolgung der Position und Bewegung der Hände des externen Experten geeignet sind.
  • Zweckmäßigerweise ist das Netzwerk des erfindungsgemäßen audiovisuellen Systems als drahtgebundenes und/oder drahtloses Netzwerk ausgebildet, insbesondere als Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. Auch kann das Netzwerk lokal beschränkt oder überregional ausgebildet sein, wie beispielsweise als internes lokales Firmennetzwerk oder als privates oder öffentliches überregionales Netzwerk. Auch können die einzelnen Übertragungstechniken und regionalen Ausdehnungen miteinander kombiniert werden.
  • Nach einer zweckmäßigen Variante der Erfindung umfasst das wenigstens eine mobile Gerät Eingabemittel, um die auf dem ersten graphischen Ausgabegerät dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. Der Instandhalter kann also die Anzeige auf dem ersten graphischen Ausgabegerät an seine Bedürfnisse und Vorlieben anpassen und ferner Informationen eingeben, welche nachfolgend auf dem ersten graphischen Ausgabegerät dargestellt werden.
  • In einer weiteren zweckmäßigen Variante der Erfindung umfasst der wenigstens eine Rechner Eingabemittel, um die auf dem ersten graphischen Ausgabegerät und/oder dem zweiten graphischen Ausgabegerät dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. Der externe Experte kann also Eingaben sowohl für das erste graphische Ausgabegerät des wenigstens einen mobilen Geräts als auch für das zweite graphische Ausgabegerät des wenigstens einen Rechners machen. Somit kann der externe Experte dem Instandhalter beispielsweise Informationen und/oder Notizen einblenden.
  • Gemäß einer besonders vorteilhaften Variante umfasst das erfindungsgemäße audiovisuelle Assistenzsystem ein Übersetzungssystem oder eine Schnittstelle zu einem Übersetzungssystem, zur Übersetzung von Informationen für den Instandhalter und/oder externen Experten, insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen. Dadurch können selbst Instandhalter und externe Experten miteinander kommunizieren, die keine gemeinsame Sprache sprechen. Der externe Experte kann sich somit an einem Ort der Welt befinden, beispielsweise dem Sitz des Herstellers der industriellen Anlage, während sich der Instandhalter am Standort der industriellen Anlage befindet, welche beispielsweise in einem anderen Land oder sogar einem anderen Kontinent liegt, und dank des Übersetzungssystems müssen externer Experte und Instandhalter keine gemeinsame Sprache sprechen. Das Übersetzungssystem kann aber auch dazu genutzt werden, um codierte Informationen in einen Klartext zu übersetzen, wie beispielsweise einen Fehlercode in eine ausführliche Fehlerbeschreibung.
  • Nach einer weiteren bevorzugten Variante der Erfindung ist das wenigstens eine mobile Gerät als Personal-Computer ausgebildet, insbesondere als Rucksack-PC. Der Instandhalter kann das wenigstens eine mobile Gerät also über eine ihm bekannte Bedienoberfläche (Desktop) bedienen und muss sich nicht an eine proprietäre Bedienoberfläche gewöhnen. Bei der Bedienoberfläche handelt es sich insbesondere um die von Betriebssystemen wie Windows oder MacOS bekannten Bedienoberflächen. Auch kann das wenigstens eine mobile Gerät so vorhandene Softwarelizenzen ohne zusätzliche oder nur mit geringeren Mehrkosten mit verwenden. Insbesondere kann das als Personal-Computer ausgebildete mobile Gerät als stationärer Rechner und mobiler Rechner verwendet werden, so dass der Instandhalter jederzeit auf seine Daten zugreifen kann und ihm die bekannte Bedienoberfläche (Desktop) angezeigt wird. Bei einem Rucksack-PC im Sinne der Erfindung handelt es sich um einen tragbaren PC, unabhängig von der Gehäuse- und/oder Bauform wie beispielsweise Mini-/ Microgehäuse, Laptop, Einplatinencomputer, oder dergleichen. Das wesentliche Merkmal bezüglich der vorliegenden Erfindung ist die Mobilität des PC, also dessen Tragbarkeit für den Instandhalter.
  • In einer weiteren erfindungsgemäßen Variante umfasst das wenigstens eine mobile Gerät weiterhin ein Dokumentationsmodul, zur Dokumentation der durch den Instandhalter durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Das Dokumentationsmodul kann beispielsweise automatisch die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten erfassen und speichern, wodurch sich der diesbezügliche Aufwand für den Instandhalter deutlich reduziert. Das Dokumentationsmodul kann auch eine Audioschnittstelle zur Spracheingabe umfassen. Der Instandhalter kann somit die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten mittels einer einfachen Spracheingabe dokumentieren, insbesondere gleichzeitig mit der Ausführung. Ferner ermöglicht die Spracheingabe die Eingabe von Notizen für eine spätere Nachbearbeitung durch einen Dritten. Das Dokumentationsmodul kann ferner Bildaufnahmen und Videos zu den durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten speichern, insbesondere inklusive der Unterstützung durch den externen Experten. So könnten beispielsweise auch die dem Instandhalter angezeigten virtuelle Hände des externen Experten, usw. gespeichert werden.
  • Gemäß einer vorteilhaften erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem weiterhin ein Virtual-Reality-Modul, umfassend ein virtuelles dreidimensionales Modell der industriellen Anlage, wobei das wenigstens eine mobile Gerät und/oder der wenigstens eine Rechner auf das Virtual-Reality-Modul zugreifen können. Der Instandhalter und/oder der externe Experte können sich virtuell und unabhängig voneinander durch die industrielle Anlage bewegen und beispielsweise Notizen, Anweisungen, Sicherheitshinweise erzeugen bzw. für den jeweils anderen hinterlassen, welche nachfolgend angezeigt werden. Bei der Durchführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann es vorkommen, dass der Instandhalter an verschiedenen Orten in der industriellen Anlage Arbeiten durchführen muss. Der externe Experte könnte an diesen unterschiedlichen Orten Notizen, Anweisungen, Sicherheitshinweise hinterlassen und wenn der Instandhalter an dem Ort in der tatsächlichen industriellen Anlage ankommt, werden die Notizen, Anweisungen, Sicherheitshinweise angezeigt.
  • Das Virtual-Reality-Modul basiert insbesondere auf einem digitalen Zwilling der industriellen Anlage und/oder auf digitalen Zwillingen von Maschinen, Teilen oder Komponenten der industriellen Anlage. Ein digitaler Zwilling beschreibt ein virtuelles Abbild des realen Systems bzw. Bauteils und enthält vorzugsweise alle relevanten Details, Informationen, Parameter und dergleichen. Zweckmäßigerweise kann auf das reale System bzw. Bauteil über seinen zugehörigen digitalen Zwilling zugegriffen werden.
  • Die Aufgabe wird weiterhin gelöst durch ein Verfahren zur audiovisuellen Unterstützung eines Instandhalters durch einen externen Experten bei Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, umfassend die Schritte:
    • Herstellen einer Kommunikationsverbindung zwischen einem mobilen Gerät des Instandhalters und einem Rechner des externen Experten,
    • Erfassen der Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters, mittels einer Kamera,
    • Darstellen der mittels der Kamera des mobilen Geräts erfassten Umgebung des mobilen Geräts, insbesondere des Blickfelds des Instandhalters, auf einem zweiten graphischen Ausgabegerät des Rechners,
    • Erfassen und Verfolgen der Position und Bewegung der Hände des externen Experten durch eine Vorrichtung, und
    • Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten auf einem ersten Ausgabegerät des mobilen Geräts.
  • Dem erfindungsgemäßen Verfahren liegt ebenfalls die Erkenntnis zugrunde, dass die Ausführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, insbesondere einer Industrieanlage wie metallurgische Produktionsanlagen zur Erzeugung von Industriegütern wie metallischem Halbzeug und/oder metallischen Endprodukten, häufig viele unterschiedliche und komplexe Arbeitsschritte umfasst. Dabei müssen unter Umständen komplizierte Tätigkeiten und Arbeiten ausgeführt werden, welche sich nur umständlich beschreiben lassen. Zur Unterstützung eines Instandhalters vor Ort, welcher die Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten nicht selbstständig ausführen kann, sondern bei der Ausführung auf die Hilfe eines externen Experten angewiesen ist, wird erfindungsgemäß vorgeschlagen, dass mittels des erfindungsgemäßen Verfahrens die Position und Bewegung der Hände des externen Experten erfasst und dem Instandhalter vor Ort die erfasste Position und Bewegungen der Hände des externen Experten anzeigt wird. Dadurch kann der externe Experte dem Instandhalter vor Ort live die durchzuführenden Tätigkeiten vormachen. Die Hände werden dem Instandhalter virtuell und live angezeigt, so dass dieser die Bewegungen nachmachen kann. So kann der externe Experte individuell auf die Bedürfnisse des Instandhalters vor Ort eingehen und die durchzuführenden Tätigkeiten vormachen.
  • Das erfindungsgemäße Verfahren dient insbesondere zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage, also allgemein von Arbeiten in der industriellen Anlage bei deren Errichtung und Betrieb. Ein Instandhalter im Sinne der Erfindung kann auch mit Installationsarbeiten bei der Errichtung der industriellen Anlage betraut werden und ist nicht auf Wartungsarbeiten bzw. Reparaturarbeiten beschränkt.
  • Das Erfassen der Position und Bewegungen der Hände des externen Experten hat deutliche Vorteile gegenüber einer mündlichen Beschreibung, da sich komplexe Tätigkeiten und Handgriffe häufig nur schlecht mündlich beschreiben lassen. Auch geht dies über das einfache Einblenden von Zeigern durch den externen Experten für den Instandhalter vor Ort hinaus, wie beispielsweise Einblenden eines Mauszeigers, da mittels eines Zeigers nur auf bestimmte Objekte gedeutet werden kann, aber keine komplexen Handgriffe dargestellt werden können.
  • Die vorliegende Erfindung beschränkt sich nicht auf das Einblenden der Hände des externen Experten, vielmehr ist dies die Mindestvoraussetzung. Neben den Händen kann auch ein virtuelles Abbild des gesamten externen Experten auf dem ersten graphischen Ausgabegerät des wenigstens einen mobilen Geräts des Instandhalters eingeblendet werden, beispielsweise in Form eines sogenannten Avatars. Die Hände des Avatars werden dann entsprechend zu der erfassten Position und Bewegungen der Hände des externen Experten angezeigt und bewegt.
  • Der externe Experte befindet sich bei der Ausführung des erfindungsgemäßen Verfahrens vorzugsweise an einem stationären Ort, während sich der Instandhalter in der industriellen Anlage frei bewegen kann, also mobil ist.
  • Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren weiterhin das Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten auf dem zweiten Ausgabegerät des Rechners. Der externe Experte bekommt somit auf dem graphischen Ausgabegerät seines Rechners die erfasste Position und Bewegungen seiner Hände angezeigt. Er kann dadurch die erfasste Position und Bewegungen seiner Hände kontrollieren und gegebenenfalls anpassen, um dem Instandhalter vor Ort die durchzuführenden Tätigkeiten besser zu verdeutlichen.
  • In einer bevorzugten Variante umfasst das erfindungsgemäße Verfahren das Bereitstellen von Informationen zu der industriellen Anlage, insbesondere von wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen. Die Informationen werden beispielsweise durch ein Anlageninformationssystem bereitgestellt und umfassen Zeichnungen, insbesondere Explosionszeichnungen, Modelle, insbesondere Explosionsmodelle in 2D oder 3D, Lagepläne, Wartungsinformationen, Informationen zu Maschinen, Teilen oder Komponenten der industriellen Anlage, Dokumente zur Durchführung einer Wartungsarbeit und/oder Schadensbehebung oder vergleichbare Informationen. Das Anlageninformationssystem ist beispielsweise über ein Netzwerk erreichbar. Alternativ oder zusätzlich können Informationen aus dem Anlageninformationssystem auch auf dem mobilen Gerät des Instandhalters gespeichert sein, um die zu übertragende Datenmenge und damit verbundene Übertragungszeiten zu verringern.
  • Gemäß einer Variante der Erfindung umfasst das Verfahren das Anzeigen der Informationen zu der industriellen Anlage auf dem ersten Ausgabegerät des mobilen Geräts und/oder dem zweiten Ausgabegerät des Rechners. Dadurch stehen dem Instandhalter vor Ort und/oder dem externen Experten eine Vielzahl von unterschiedlichen Informationen bezüglich der industriellen Anlage, einschließlich deren Maschinen, Teile und Komponenten zur Verfügung und können bei der Durchführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten genutzt werden. Weiterhin lassen sich so beispielsweise verdeckte Komponenten, Teile oder Maschinen der industriellen Anlage einblenden.
  • Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Erzeugen einer Virtual-Reality und/oder Augmented-Reality für den Instandhalter durch das mobile Gerät, insbesondere durch das erste graphische Ausgabegerät des mobilen Geräts, welches als Head-Mounted-Display, Optical-See-Through Head-Mounted-Display, Augmented-Reality Head-Mounted-Display, Virtual-Reality Head-Mounted-Display oder einer Kombination daraus ausgebildet ist. Dadurch können die Informationen, insbesondere die Position und Bewegungen der Hände des externen Experten, dem Instandhalter vor Ort direkt virtuell ins Blickfeld eingeblendet werden. Insbesondere eine Überlagerung mit der Realität als sogenannten Augmented-Reality hat sich dabei als besonders vorteilhaft erwiesen. In Kombination mit dem Anlageninformationssystem lassen sich so auch nützliche Informationen aus dem Anlageninformationssystem für den Instandhalter vor Ort einblenden. Ein Head-Mounted-Display hat ferner den Vorteil, dass der Instandhalter beide Hände zur Ausführung von Tätigkeiten frei hat.
  • Die Informationen für den Instandhalter können auch auf einem graphischen Ausgabegerät des mobilen Geräts wiedergegeben werden, beispielsweise auf dem Display eines Tablets oder ähnlichen mobilen Geräts.
  • In einer weiteren erfindungsgemäßen Variante umfasst das Verfahren das Bestimmen der Position des mobilen Geräts in der industriellen Anlage. Die ermittelte Position des wenigstens einen mobilen Geräts entspricht dabei auch der Position des Instandhalters innerhalb der industriellen Anlage. Die Positionsbestimmung kann in einem Außenbereich und einem Innenbereich der industriellen Anlage erfolgen und basiert beispielsweise auf einem GPS-System, Sensornetzwerk oder dergleichen. Durch die Positionsbestimmung lassen sich dem Instandhalter insbesondere lokal interessante Informationen einblenden, beispielsweise in Kombination mit dem Anlageninformationssystem.
  • Gemäß einer weiteren zweckmäßigen Variante der Erfindung umfasst das Verfahren das Bestimmen der Blickrichtung des Instandhalters. Durch die Bestimmung der Blickrichtung des Instandhalters können die dem Instandhalter eingeblendeten Informationen noch besser an die Situation angepasst werden. Insbesondere eine Kombination mit der Bestimmung der Position innerhalb der industriellen Anlage und/oder dem Anlageninformationssystem hat sich dabei als besonders vorteilhaft herausgestellt. Die zur Bestimmung der Blickrichtung des Instandhalters eingesetzte Vorrichtung umfasst beispielsweise Lagesensoren, einen Kreiselkompass, einen elektronischen Kompass, eine Bildauswertung oder dergleichen.
  • Nach einer besonders vorteilhaften Variante der Erfindung umfasst das Verfahren das Erfassen von Entfernungen durch das mobile Gerät. Mittels der Erfassung von Entfernungen lassen sich Tiefeninformationen generieren, also Abstände zu Maschinen, Teilen oder Komponenten der industriellen Anlage. Dadurch kann der externe Experte dem Instandhalter vor Ort noch genauere Anweisungen geben. Vorzugsweise umfassen in dieser Variante die erfasste Position und Bewegungen der Hände des externen Experten ebenfalls Abstände bzw. Tiefeninformationen, so dass die dem Instandhalter angezeigte Position und Bewegungen der Hände des externen Experten ebenfalls die Abstände bzw. Tiefeninformation berücksichtigt. Der externe Experte kann dem Instandhalter vor Ort somit vorzugsweise dreidimensional zeigen, welche Tätigkeiten er auszuführen hat. Die Vorrichtung zur Erfassung von Entfernungen umfasst beispielsweise Lidar-Sensoren (light detection and ranging), Ultraschall-Sensoren oder dergleichen.
  • Gemäß einer vorteilhaften Variante wird die Umgebung des mobilen Geräts abgetastet, um die Entfernungen zu in der Umgebung befindlichen Maschinen, Teilen oder Komponenten der industriellen Anlage zu ermitteln. Daraus wird beispielsweise ein Gittermodel (mesh-model) erstellt, welches die Umgebung des mobilen Geräts dreidimensional repräsentiert. Die so erhaltenen Informationen bezüglich der Umgebung des mobilen Geräts können nachfolgend, insbesondere dem externen Experten, genutzt werden, um dem Instandhalter genauere Anweisungen zu geben, relevanteren Informationen anzuzeigen oder dergleichen. Auch können die so erhaltenen Informationen zu diesem Zweck mit Informationen aus anderen Komponenten oder System des erfindungsgemäßen Assistenzsystems oder der industriellen Anlage, wie beispielsweise dem Anlageninformationssystem, verknüpft werden.
  • In einer weiteren Variante umfasst das erfindungsgemäße Verfahren das Erzeugen einer Virtual-Reality für den externen Experten durch den Rechner, insbesondere durch das zweite grafische Ausgabegerät des Rechners, welches als Virtual-Reality Head-Up Display oder Virtual-Reality Cave ausgebildet ist. Innerhalb der Virtual-Reality lassen sich die von dem wenigstens einen mobilen Gerät des Instandhalters erfassten Entfernungen für den externen Experten darstellen. Es wird also für den externen Experten ein dreidimensionaler virtueller Raum erzeugt, welcher der Umgebung des Instandhalters vor Ort in der industriellen Anlage entspricht. Zusätzlich kann dem externen Experten noch ein Live-Bild von dem mobilen Gerät des Instandhalters in der virtuellen Welt eingeblendet werden, so dass eine Art Augmented-Reality für den externen Experten mit der Situation des Instandhalters vor Ort in der industriellen Anlage erzeugt wird.
  • Gemäß einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Erzeugen einer virtuellen Markierung in der industriellen Anlage durch den externen Experten, insbesondere im dreidimensionalen Raum der industriellen Anlage. Die virtuelle Markierung umfasst also eine dreidimensionale Ortsangabe, insbesondere als x-y-z Koordinaten. Die Tiefeninformation wird beispielsweise von einer Vorrichtung zur Erfassung von Entfernungen des wenigstens einen mobilen Geräts bereitgestellt oder kann aus der aktuellen Position und Daten aus einem Anlagenmodell oder Anlagenplan abgeleitet werden. Die virtuelle Notiz wird dem Instandhalter und/oder dem externen Experten auf dem ersten graphischen Ausgabegerät bzw. zweitem graphischen Ausgabegerät angezeigt, wenn das Blickfeld des Instandhalters bzw. externen Experten auf den Bereich der industriellen Anlage mit der erzeugten virtuellen Notiz gerichtet ist. So kann der externe Experte beispielsweise dem Instandhalter Notizen hinterlassen, welcher diese berücksichtigt, wenn er sich an der entsprechenden Position in der industriellen Anlage befindet.
  • Nach einer weiteren erfindungsgemäßen Variante umfasst das Verfahren das Erfassen von Markern, insbesondere elektronischen Markern, der industriellen Anlage, insbesondere von Komponenten und/oder Maschinen der industriellen Anlage. Dadurch lassen sich auf einfache Art und Weise die unterschiedlichen Komponenten, Teile und Maschinen der industriellen Anlage identifizieren und beispielsweise zugehörige Informationen aus dem Anlageninformationssystem einblenden. Die Marker und der wenigstens eine Sensor basieren beispielsweise auf einem Auto-ID-System, RFID-System, Barcode-System (2D oder 3D) oder dergleichen. Im Falle von visuellen Markern, wie Barcode-Systemen, können diese Marker auch mittels der Kamera des mobilen Geräts erfasst werden.
  • In einer zweckmäßigen Variante der Erfindung umfasst das erfindungsgemäße Verfahren das Bereitstellen einer Audiokommunikation zwischen Instandhalter und externem Experten.
  • Gemäß einer weiteren Variante der Erfindung umfasst das Verfahren das Speichern zumindest der Daten des mobilen Geräts, insbesondere aller an der Wartung der industriellen Anlage beteiligter Komponenten, zu Dokumentationszwecken. Das erfindungsgemäße Verfahren speichert somit alle relevanten Daten, welche mittels des erfindungsgemäßen Verfahrens erfasst und ausgetauscht wurden. Eine derartige Dokumentation ist beispielsweise relevant, wenn es zu einem späteren Zeitpunkt zu einem Störfall in der industriellen Anlage kommt und man die Ursache des Störfalls ausfindig machen möchte. Ferner kann dadurch nachgewiesen werden, dass bestimmte Wartungsintervalle oder dergleichen eingehalten wurden.
  • Nach einer vorteilhaften erfindungsgemäßen Variante umfasst das Verfahren das Erfassen von Messwerten und/oder Fehlerzuständen der industriellen Anlage, insbesondere von Maschinen und Komponenten der industriellen Anlage, wobei die erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage, insbesondere den Maschinen oder Komponenten der industriellen Anlage oder von Steuereinheiten der industriellen Anlage, angezeigt werden und/oder an das audiovisuelle Assistenzsystem, insbesondere an das wenigstens eine mobile Gerät, den wenigstens einen Rechner oder an ein zentrales Leitsystem, übermittelt werden. Die Übermittlung der erfassten Messwerte erfolgt zweckmäßigerweise über das Netzwerk des audiovisuellen Assistenzsystems oder über ein anderes Kommunikationsnetzwerk und eine Schnittstelle zu dem erfindungsgemäßen audiovisuellen Assistenzsystem. Aus den erfassten Messwerten können vorzugsweise Fehlerzustände der industriellen Anlage, insbesondere Maschinen, Teilen oder Komponenten der industriellen Anlage, abgeleitet werden. Dies erfolgt beispielsweise durch die Steuereinheit, das zentrale Leitsystem oder das audiovisuelle Assistenzsystem. In letzterem Fall durch das wenigstens eine mobile Gerät und/oder durch den wenigstens einen Rechner. Bei einer Steuereinheit handelt es sich beispielsweise um eine oder mehrere zusammengeschaltete Speicherprogrammierbare Steuerungen (SPS bzw. SPSen). Die mehreren Speicherprogrammierbaren Steuerungen (SPSen) können hierarchisch aufgebaut sein, wobei beispielsweise eine sogenannte Kopf-SPS die Daten untergeordneter SPSen sammelt und auswertet. Aus den gesammelten Messwerten können Fehlerzustände abgeleitet werden oder die Fehlerzustände können direkt mittels der Sensoren erfasst werden. Die gesammelten Messwerte bzw. Fehlerzustände können gesammelt und zyklisch versendet werden oder direkt versendet werden, was insbesondere bei schwerwiegenden Fehlerzuständen vorteilhaft ist. Der Fehlerzustand wird beispielsweise in Form eines Fehlercodes oder einer detaillierteren Fehlermeldung versendet.
  • Beispielsweise sammelt die sogenannte Kopf-SPS die Sensordaten, insbesondere Messwerte, von mehreren untergeordneten SPSen bzw. der damit jeweils verbundenen Sensoren. Die Kopf-SPS wertet die gesammelten Sensordaten aus, beispielsweise durch eine Datenkorrelation und -analyse und generiert auf Basis der Auswertung ggf. eine Fehlermeldung, welche an das erfindungsgemäße audiovisuelle Assistenzsystem, insbesondere das mobile Gerät des Instandhalters, übermittelt wird. Ferner kann die Kopf-SPS auch als Empfänger für Informationen von dem mobilen Gerät dienen, welche nachfolgend an die anderen SPSen weitergeleitet werden, insbesondere um die Steuerung der industriellen Anlage anzupassen.
  • In einer zweckmäßigen Variante umfasst das erfindungsgemäße Verfahren das Auswerten der erfassten Messwerte und/oder Fehlerzustände, Erstellen eines Tätigkeitsplans für den Instandhalter mit dem mobilen Gerät und Anzeigen des erstellten Tätigkeitsplans für den Instandhalter. Die Auswertung erfolgt beispielsweise seitens des audiovisuellen Assistenzsystems, insbesondere des wenigstens einen mobilen Geräts, oder seitens der industriellen Anlage, insbesondere einem zentralen Leitsystem wie einer Kopf-SPS. Der erstellte Tätigkeitsplan wird dem Instandhalter mittels des ersten graphischen Ausgabegeräts angezeigt. Auf Basis des empfangenen Messwertes bzw. Fehlerzustands veranlasst das Verfahren bzw. das audiovisuelle Assistenzsystem eine Wartung, Reparatur oder Installation durch den Instandhalter vor Ort, welcher wiederum einen externen Experten im Rahmen der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten hinzuziehen kann. Der Tätigkeitsplan geht von dem festgestellten Fehlerzustand aus und folgt einem Ereignisbaum bis zur Lösung des Fehlerzustands.
  • Gemäß einer besonders vorteilhaften Variante der Erfindung umfasst das Verfahren das Erstellen des Tätigkeitsplans als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, und/oder Anzeigen des erstellten Tätigkeitsplans als 3D-Animation und/oder als Filmsequenz für den Instandhalter. Die Schritt-für-Schritt-Anleitung oder das Frage-Antwort-Prinzip sind dabei insbesondere interaktiv ausgebildet, so dass der Instandhalter die einzelnen Schritte oder Fragen bestätigen bzw. beantworten muss. Beispielsweise kann so das Messen einer Spannung in einem Schaltschrank als Tätigkeitsplan beschrieben werden.
  • Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Anzeigen von Sicherheitshinweisen für den Instandhalter, insbesondere hinsichtlich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Die Sicherheitshinweise können allgemein oder anlagenspezifisch ausgebildet sein. Die Sicherheitshinweise können erfindungsgemäß vom zentralen Leitsystem stammen, im audiovisuellen Assistenzsystem hinterlegt sein, oder aus anderen Systemen der industriellen Anlage stammen. Die Sicherheitshinweise können auch Sicherheitsregeln umfassen oder auf Besonderheiten aufmerksam machen, wie eine erforderliche Wartezeit nach der Abschaltung eines Frequenzumrichters zur Entladung von vorhandenen Kondensatoren oder vergleichbaren Bauteilen.
  • In einer vorteilhaften Variante der Erfindung umfasst das erfindungsgemäße Verfahren das Bestellen von Ersatzteilen für die industrielle Anlage, insbesondere für Maschinen, Komponenten oder dergleichen. Zweckmäßigerweise können der Instandhalter und/oder der externe Experte die Ersatzteilbeschaffung veranlassen. Bei der Auslösung der Bestellung können ferner Informationen aus dem Anlageninformationssystem, von der Position des wenigstens einen mobilen Geräts und/oder der Blickrichtung des Instandhalters berücksichtigt werden. Durch diese zusätzlichen Informationen lassen sich die zu bestellenden Ersatzteile einfacher identifizieren und gegebenenfalls halbautomatisch bestellen. Bei einer halbautomatischen Bestellung wird von dem Verfahren automatisch das zu bestellende Ersatzteil vorgeschlagen und der Instandhalter und/oder der externe Experte bestätigen den Vorschlag oder lehnen diesen ab bzw. passen diesen an. Die Ersatzteilidentifikation kann alternativ auch mittels QR-Codes, Bauteil-IDs oder einem e-Doc-System erfolgen.
  • Gemäß einer besonders vorteilhaften Variante kann eine unmittelbare Ersatzteillieferung veranlasst werden. Dabei wird das bestellte Ersatzteil unmittelbar von einem Boten oder Lieferanten zu dem Instandhalter vor Ort geliefert, beispielsweise aus einem Materiallager innerhalb oder in der Nähe der industriellen Anlage. Dies ist insbesondere bei zeitkritischen Wartungsarbeiten bzw. Reparaturarbeiten in Störfällen vorteilhaft, da dadurch die Stillstandzeit der industriellen Anlage reduziert werden kann. Dazu wird beispielsweise bei der Ersatzteilbestellung gleichzeitig die Position des wenigstens einen mobilen Geräts, also des Instandhalters, mit übermittelt.
  • Nach einer zweckmäßigen Variante umfasst das erfindungsgemäße Verfahren das Einblenden von Markierungen, Texten, Bildern, Grafiken oder dergleichen auf dem ersten graphischen Ausgabegerät des mobilen Geräts für den Instandhalter durch den externen Experten, so dass der externe Experte dem Instandhalter in der industriellen Anlage unterschiedlichste Informationen zur Verfügung stellen kann.
  • In einer bevorzugten Variante umfasst das erfindungsgemäße Verfahren das Bereitstellen eines virtuellen Werkzeugkastens zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät des mobilen Geräts durch den externen Experten. Der virtuelle Werkzeugkasten stellt dabei die für die auszuführenden Wartungstätigkeiten notwendigen Werkzeuge bereit, so dass der externe Experte diese dem Instandhalter auf dem ersten graphischen Ausgabegerät einblenden und deren Einsatz zeigen kann. Dadurch kann der externe Experte dem Instandhalter vor Ort das zu verwendete Werkzeug zeigen, so dass der Instandhalter dieses aus seinem realen Werkzeugkasten auswählen kann. Ferner können so beispielsweise Tätigkeiten besser dargestellt werden, welche den Einsatz eines Werkzeugs erfordern. Beispiele für derartige Tätigkeiten sind das Messen einer Spannung oder das Entfernen einer verschraubten Abdeckung.
  • Gemäß einer erfindungsgemäßen Variante des Verfahrens werden die Position und Bewegung der Hände des externen Experten durch an den Händen tragbare Sensoren, Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel erfasst. Die tragbaren Sensoren sind beispielsweise aus Virtual-Reality-Systemen mit einem Head-Mounted-Display bekannt, wo der Nutzer in beiden Händen jeweils einen Controller hält, welche neben den notwendigen Sensoren zur Positions- und Bewegungsverfolgung auch Eingabemittel bzw. Steuermittel umfassen. Grundsätzlich können aber jegliche Arten von Sensoren genutzt werden, welche zur Verfolgung der Position und Bewegung der Hände des externen Experten geeignet sind.
  • Zweckmäßigerweise umfasst das Verfahren nach der Erfindung das Übertragen von Daten bei der Ausführung des erfindungsgemäßen Verfahrens über ein drahtgebundenes und/oder drahtloses Netzwerk, insbesondere über ein Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus. Auch kann das Netzwerk lokal beschränkt oder überregional ausgebildet sein, wie beispielsweise als internes lokales Firmennetzwerk oder als privates oder öffentliches überregionales Netzwerk. Auch können die einzelnen Übertragungstechniken und regionalen Ausdehnungen miteinander kombiniert werden.
  • Nach einer zweckmäßigen Variante der Erfindung umfasst das Verfahren das Anpassen von auf dem ersten graphischen Ausgabegerät dargestellten Informationen und/oder Eingeben von Informationen zur Darstellung durch den Instandhalter, insbesondere mittels Eingabemittel des mobilen Geräts. Der Instandhalter kann also die Anzeige auf dem ersten graphischen Ausgabegerät an seine Bedürfnisse und Vorlieben anpassen und ferner Informationen eingeben, welche nachfolgend auf dem ersten graphischen Ausgabegerät dargestellt werden.
  • In einer weiteren zweckmäßigen Variante der Erfindung umfasst das Verfahren das Anpassen von auf dem ersten graphischen Ausgabegerät dargestellten Informationen und/oder Eingeben von Informationen zur Darstellung durch den externen Experten, insbesondere mittels Eingabemittel des Rechners. Der externe Experte kann also Eingaben sowohl für das erste graphische Ausgabegerät des wenigstens einen mobilen Geräts als auch für das zweite graphische Ausgabegerät des wenigstens einen Rechners machen. Somit kann der externe Experte dem Instandhalter beispielsweise Informationen und/oder Notizen einblenden.
  • Gemäß einer besonders vorteilhaften Variante umfasst das erfindungsgemäße Verfahren das Übersetzen von Informationen für den Instandhalter und/oder externen Experten, insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen. Dadurch können selbst Instandhalter und externe Experten miteinander kommunizieren, die keine gemeinsame Sprache sprechen. Der externe Experte kann sich somit an einem Ort der Welt befinden, beispielsweise dem Sitz des Herstellers der industriellen Anlage, während sich der Instandhalter am Standort der industriellen Anlage befindet, welche beispielsweise in einem anderen Land oder sogar einem anderen Kontinent liegt, und dank des Übersetzungssystems müssen externer Experte und Instandhalter keine gemeinsame Sprache sprechen. Das Übersetzungssystem kann aber auch dazu genutzt werden, um codierte Informationen in einen Klartext zu übersetzen, wie beispielsweise einen Fehlercode in eine ausführliche Fehlerbeschreibung.
  • Nach einer weiteren bevorzugten Variante der Erfindung wird das Verfahren für den Instandhalter mittels eines mobilen Personal-Computers ausgeführt, insbesondere mittels eines Rucksack-PCs. Der Instandhalter kann das wenigstens eine mobile Gerät also über eine ihm bekannte Bedienoberfläche (Desktop) bedienen und muss sich nicht an eine proprietäre Bedienoberfläche gewöhnen. Bei der Bedienoberfläche handelt es sich insbesondere um die von Betriebssystemen wie Windows oder MacOS bekannten Bedienoberflächen. Auch kann das wenigstens eine mobile Gerät so vorhandene Softwarelizenzen ohne zusätzliche oder nur mit geringeren Mehrkosten mit verwenden. Insbesondere kann das als Personal-Computer ausgebildete mobile Gerät als stationärer Rechner und mobiler Rechner verwendet werden, so dass der Instandhalter jederzeit auf seine Daten zugreifen kann und ihm die bekannte Bedienoberfläche (Desktop) angezeigt wird. Bei einem Rucksack-PC im Sinne der Erfindung handelt es sich um einen tragbaren PC, unabhängig von der Gehäuse- und/oder Bauform wie beispielsweise Mini-/ Microgehäuse, Laptop, Einplatinencomputer, oder dergleichen. Das wesentliche Merkmal bezüglich der vorliegenden Erfindung ist die Mobilität des PC, also dessen Tragbarkeit für den Instandhalter.
  • In einer weiteren erfindungsgemäßen Variante umfasst das Verfahren das Dokumentieren der durch den Instandhalter durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten, insbesondere mittels des mobilen Geräts. Das Dokumentieren kann beispielsweise automatisch die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten erfassen und speichern, wodurch sich der diesbezügliche Aufwand für den Instandhalter deutlich reduziert. Das Dokumentieren kann auch eine Spracheingabe umfassen. Der Instandhalter kann somit die durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten mittels einer einfachen Spracheingabe dokumentieren, insbesondere gleichzeitig mit der Ausführung. Ferner ermöglicht die Spracheingabe die Eingabe von Notizen für eine spätere Nachbearbeitung durch einen Dritten. Das Dokumentieren kann ferner das Speichern von Bildaufnahmen und Videos zu den durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten umfassen, insbesondere inklusive der Unterstützung durch den externen Experten. So könnten beispielsweise auch die dem Instandhalter angezeigten virtuelle Hände des externen Experten, usw. gespeichert werden.
  • Gemäß einer vorteilhaften erfindungsgemäßen Variante umfasst das Verfahren das Bereitstellen eines virtuellen dreidimensionalen Modells der industriellen Anlage, wobei der Instandhalter und/oder der externe Experte auf das virtuelle dreidimensionale Modell zugreifen können. Der Instandhalter und/oder der externe Experte können sich virtuell und unabhängig voneinander durch die industrielle Anlage bewegen und beispielsweise Notizen, Anweisungen, Sicherheitshinweise erzeugen bzw. für den jeweils anderen hinterlassen, welche nachfolgend angezeigt werden. Bei der Durchführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann es vorkommen, dass der Instandhalter an verschiedenen Orten in der industriellen Anlage Arbeiten durchführen muss. Der externe Experte könnte an diesen unterschiedlichen Orten Notizen, Anweisungen, Sicherheitshinweise hinterlassen und wenn der Instandhalter an dem Ort in der tatsächlichen industriellen Anlage ankommt, werden die Notizen, Anweisungen, Sicherheitshinweise angezeigt.
  • Zweckmäßigerweise wird das erfindungsgemäße Verfahren mittels eines erfindungsgemäßen audiovisuellen Assistenzsystems ausgeführt.
  • Die Aufgabe wird weiterhin gelöst durch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das erfindungsgemäße Verfahren auszuführen.
  • Nachfolgend wird die Erfindung anhand von in den beigefügten Figuren dargestellten Ausführungsbeispielen näher erläutert. Es zeigen:
    • 1 eine schematische Ansicht eines erfindungsgemäßen audiovisuellen Assistenzsystems zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage.
  • 1 zeigt eine schematische Ansicht eines audiovisuelles Assistenzsystems 1 zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage 11. Das erfindungsgemäße audiovisuelle Assistenzsystem 1 umfasst ein mobiles Gerät 2 für einen Instandhalter 3 in der industriellen Anlage 11. Das mobile Gerät 2 für den Instandhalter 3 ist mit einem ersten graphischen Ausgabegerät 4 zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter 3 und einer Kamera zur Erfassung der Umgebung des mobilen Geräts 2, insbesondere des Blickfelds des Instandhalters 3, ausgestattet. Das mobile Gerät 2 für den Instandhalter 3 umfasst ferner eine Vorrichtung 13 zur Bestimmung der Position des mobilen Geräts 2 in der industriellen Anlage 11, eine Vorrichtung 14 zur Bestimmung der Blickrichtung des Instandhalters 3, welcher das mobile Gerät 2 nutzt, eine Vorrichtung 15 zur Erfassung von Entfernungen und Audiokommunikationsmittel 16, insbesondere Lautsprecher und ein Mikrofon, beispielsweise in Form eines Headsets. Das mobile Gerät 1 umfasst ferner Eingabemittel (nicht dargestellt), um die auf dem ersten graphischen Ausgabegerät 4 dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben. Das mobile Gerät 2 ist vorzugsweise als Personal-Computer ausgebildet, insbesondere als sogenannter Rucksack-PC.
  • Die dem mobilen Gerät 2 des Instandhalters 3 zugeordneten Komponenten sind in 1 in einem gestrichelten Kreis zusammengefasst.
  • Das audiovisuelle Assistenzsystem 1 aus 1 umfasst weiterhin einen Rechner 6 für einen externen Experten 7, welcher den Instandhalter 3 bezüglich der Durchführung von Arbeiten in der industriellen Anlage 11 unterstützen kann. Der Rechner 6 ist mit einem zweiten graphischen Ausgabegerät 8 zur Darstellung mittels der Kamera 5 des mobilen Geräts 2 erfassten Umgebung des mobilen Geräts 2, insbesondere des Blickfelds des Instandhalters 3, ausgestattet. Wie das mobile Gerät 2 des Instandhalters 3 umfasst auch der Rechner 6 des externen Experten 7 Audiokommunikationsmitteln 16, insbesondere Lautsprecher und ein Mikrofon, beispielsweise in Form eines Headsets. Der Rechner 6 ist vorzugsweise dazu ausgebildet, auf dem ersten graphischen Ausgabegerät 4 des mobilen Geräts 2 Markierungen, Texte, Bilder, Grafiken oder dergleichen einzublenden, so dass der externe Experte 7 dem Instandhalter 3 in der industriellen Anlage 11 unterschiedlichste Informationen zur Verfügung stellen kann. Der Rechner 6 umfasst wie das mobile Gerät 3 Eingabemittel (nicht dargestellt), um die auf dem ersten graphischen Ausgabegerät 4 und/oder dem zweiten graphischen Ausgabegerät 8 dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben.
  • Der Rechner 6 umfasst erfindungsgemäß eine Vorrichtung 10 zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten 7, wobei die erfasste Position und Bewegung der Hände des externen Experten 7 an das mobile Gerät 2 des Instandhalters 3 übertragen wird und dem Instandhalter 3 mittels des ersten graphischen Ausgabegeräts 4 des wenigstens einen mobilen Geräts 1 angezeigt wird. Zweckmäßigerweise werden die erfasste Position und Bewegung der Hände des externen Experten 7 ebenfalls mittels des zweiten graphischen Ausgabegeräts 8 des Rechners 6 angezeigt, so dass der externe Experte die erfasste Position und Bewegung seiner Hände kontrollieren kann. Die Vorrichtung 10 zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten 7 kann Sensoren zum Tragen an den Händen des externen Experten 7, Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel umfassen.
  • Die dem Rechner 6 des externen Experten 7 zugeordneten Komponenten sind in 1 ebenfalls in einem gestrichelten Kreis zusammengefasst.
  • Die Kommunikation, insbesondere der Datenaustausch, zwischen dem mobilen Gerät 2 und dem Rechner 6 erfolgt über das Netzwerk 9. Das Netzwerk 9 ist beispielsweise als drahtgebundenes und/oder drahtloses Netzwerk ausgebildet, insbesondere als Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus.
  • Das audiovisuelle Assistenzsystem 1 umfasst vorzugsweise ein Anlageninformationssystem 12 mit Informationen zu der industriellen Anlage 11, insbesondere mit wartungsrelevanten Informationen. Das Anlageninformationssystem 12 kann auch Bestandteil der industriellen Anlage 11 sein, auf welches das erfindungsgemäße audiovisuelle Assistenzsystem 1 zugreift. Alternativ oder zusätzlich können Informationen aus dem Anlageninformationssystem 12 auch auf dem mobilen Gerät 2 des Instandhalters 3 gespeichert sein, um die zu übertragende Datenmenge und damit verbundene Übertragungszeiten zu verringern. In dem Anlageninformationssystem 12 sind beispielsweise Zeichnungen, insbesondere Explosionszeichnungen, Modelle, insbesondere Explosionsmodelle in 2D oder 3D, Lagepläne, Wartungsinformationen, Reparaturinformationen, Installationsinformationen, Informationen zu Maschinen, Teilen oder Komponenten der industriellen Anlage 11, Dokumente zur Durchführung einer Wartungsarbeit und/oder Schadensbehebung oder vergleichbare Informationen hinterlegt. Das Anlageninformationssystem 12 ist beispielsweise über das Netzwerk 9 erreichbar. Die Informationen aus dem Anlageninformationssystem 12 werden dem Instandhalter 3 und/oder externen Experten 7 mittels des ersten graphischen Ausgabegeräts 4 beziehungsweise des zweiten graphischen Ausgabegeräts 8 angezeigt.
  • Das erste Ausgabegerät 4 des mobilen Geräts 2 ist gemäß dem Ausführungsbeispiel aus 1 als Head-Mounted-Display ausgebildet, insbesondere als Optical-See-Through Head-Mounted-Display zur Erzeugung einer Augmented-Reality. Der Instandhalter 3, welcher das Head-Mounted-Display trägt, kann durch dieses hindurch seine Umgebung sehen (Optical-See-Through). Die Position und Bewegung der Hände des externen Experten 7 werden dem Instandhalter mittels des Head-Mounted-Display als Überlagerung mit der Realität eingeblendet, so dass eine Augmented-Reality erschaffen wird. Weiterhin werden dem Instandhalter 3 mittels des ersten graphischen Ausgabegeräts 4 vorzugsweise zusätzlich Sicherheitshinweise angezeigt, insbesondere bezüglich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Alternativ kann das erste Ausgabegerät 4 auch Teil des mobilen Geräts 2 sein, wie beispielsweise das Display eines Tablets.
  • Gemäß dem in 1 dargestellten Ausführungsbeispiel ist das zweite graphische Ausgabegerät 8 des Rechners 6 zur Darstellung einer Virtual-Reality ausgebildet, insbesondere als Virtual-Reality Head-Up Display oder Virtual-Reality Cave. Die dargestellte virtuelle Realität basiert auf der erfassten Umgebung des mobilen Geräts 2, insbesondere der Kamera 5. Zusätzlich können Informationen aus dem Anlageninformationssystem 12 eingeblendet werden. Insbesondere enthält die erzeugte virtuelle Realität Informationen der Vorrichtung 15 zur Erfassung von Entfernungen, so dass dem externen Experten 7 eine dreidimensionale virtuelle Realität angezeigt wird, innerhalb welcher er seine Hände bewegen kann, welche wiederum dem Instandhalter 3 angezeigt werden.
  • Vorzugsweise ermöglicht das audiovisuelle Assistenzsystem 1, insbesondere der Rechner 6, dem externen Experten 7 eine virtuelle Markierung in der industriellen Anlage 11 zu erzeugen, insbesondere im dreidimensionalen Raum der industriellen Anlage 11. Diese virtuelle Markierung wird dem Instandhalter 3 auf dem ersten graphischen Ausgabegerät 4 angezeigt, wenn der Instandhalter die Stelle der industriellen Anlage 11 betrachtet, wo die virtuelle Markierung vom externen Experten 7 angeordnet wurde.
  • In einer erfindungsgemäßen Variante umfasst das audiovisuelle Assistenzsystem 1 wenigstens einen Sensor zur Erfassung von Markern, insbesondere elektronischen Markern, der industriellen Anlage 11, insbesondere von Komponenten, Teilen und/oder Maschinen der industriellen Anlage 11. Auf diese Art und Weise lassen sich die Komponenten, Teile und/oder Maschinen der industriellen Anlage 11 einfach und sicher identifizieren.
  • Gemäß dem Ausführungsbeispiel aus 1 umfasst das audiovisuelle Assistenzsystem 1 weiterhin einen zentralen Datenspeicher 17, welcher zumindest die Daten des mobilen Geräts 2, insbesondere aller an der Wartung, Reparatur oder Installation der Anlage 11 beteiligter Komponenten, zu Dokumentationszwecken speichert. Das audiovisuelle System 1 speichert in dieser Variante vorzugsweise sämtliche ausgetauschten Daten. Alternativ oder zusätzlich umfasst das mobile Gerät 2 weiterhin ein Dokumentationsmodul, zur Dokumentation der durch den Instandhalter 3 durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten. Dieses Dokumentationsmodul kann insbesondere eine Spracheingabe umfassen, um die Dokumentation für Instandhalter 3 möglichst einfach zu gestalten und den dafür benötigten Zeitaufwand zu reduzieren.
  • Die industrielle Anlage 11 aus 1 umfasst ferner eine oder mehrere Steuereinheiten 23, insbesondere sogenannte Speicherprogrammierbare Steuerungen (SPS bzw. SPSen). Die mehreren Speicherprogrammierbaren Steuerungen (SPSen) können hierarchisch aufgebaut sein, wobei beispielsweise eine sogenannte Kopf-SPS die Daten untergeordneter SPSen sammelt und auswertet. Die mehreren Steuereinheiten 23 sind dabei vorzugsweise über ein Bussystem oder dergleichen miteinander verbunden.
  • Nach 1 umfasst die industrielle Anlage 11, insbesondere Maschinen und Komponenten der industriellen Anlage 11, Sensoren 18 zur Erfassung von Messwerten und/oder Fehlerzuständen. Die von den Sensoren 18 erfassten Messwerte und/oder Fehlerzustände werden von der industriellen Anlage 11, insbesondere den Maschinen oder Komponenten der industriellen Anlage 11 oder von Steuereinheiten 23 der industriellen Anlage 11, angezeigt und/oder an das audiovisuelle Assistenzsystem 1, insbesondere an das mobile Gerät 2, den Rechner 6 oder an ein zentrales Leitsystem, übermittelt. Das audiovisuelle Assistenzsystem 1, insbesondere das mobile Gerät 2 oder das zentrale Leitsystem, insbesondere die Steuereinheit 23 wertet die angezeigten und/oder empfangenen Messwerte und/oder Fehlerzustände aus und erstellt einen Tätigkeitsplan für den Instandhalter 3 mit dem mobilen Gerät 1.
  • Beispielsweise sammelt die sogenannte Kopf-SPS die Sensordaten, insbesondere Messwerte, von mehreren untergeordneten SPSen bzw. der damit jeweils verbundenen Sensoren 18. Die Kopf-SPS wertet die gesammelten Sensordaten aus, beispielsweise durch eine Datenkorrelation und -analyse und generiert auf Basis der Auswertung ggf. eine Fehlermeldung, welche an das erfindungsgemäße audiovisuelle Assistenzsystem 1, insbesondere das mobile Gerät 2 des Instandhalters 3, übermittelt wird. Ferner kann die Kopf-SPS auch als Empfänger für Informationen von dem mobilen Gerät 2 dienen, welche nachfolgend an die anderen SPSen weitergeleitet werden, insbesondere um die Steuerung der industriellen Anlage 11 anzupassen.
  • Der erstellte Tätigkeitsplan wird dem Instandhalter 3 mittels des ersten graphischen Ausgabegeräts 4 anzeigt. Der erstellte Tätigkeitsplan ist vorzugsweise als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, ausgebildet. Alternativ oder zusätzlich wird der erstellte Tätigkeitsplan dem Instandhalter 3 als 3D-Animation und/oder als Filmsequenz anzeigt.
  • Das erfindungsgemäße audiovisuelle Assistenzsystem umfasst vorteilhafterweise ein Modul 19 zur Bestellung von Ersatzteilen für die industrielle Anlage 11, insbesondere für Maschinen, Komponenten oder dergleichen. Der Instandhalter 3 und/oder der externe Experte 7 können auf das Modul 19 zur Ersatzteilbestellung zugreifen, um die Ersatzteilbeschaffung zu veranlassen.
  • Gemäß dem Ausführungsbeispiel aus 1 umfasst das audiovisuelle Assistenzsystem 1 weiterhin einen virtuellen Werkzeugkasten 20 zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät 4 des mobilen Geräts 2 durch den externen Experten 7. Mittels der eingeblendeten Werkzeuge kann der externe Experte 7 dem Instandhalter 3 in der industriellen Anlage 11 besser die mittels Werkzeugen durchzuführenden Tätigkeiten virtuell auf dem ersten graphischen Ausgabegerät 4 einblenden.
  • Nach dem in 1 dargestellten Ausführungsbeispiel umfasst das audiovisuelle Assistenzsystem 1 ein Übersetzungssystem 21, zur Übersetzung von Informationen für den Instandhalter 3 und/oder externen Experten 7, insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen.
  • Das audiovisuelle Assistenzsystem 1 aus 1 umfasst ferner ein Virtual-Reality-Modul 22, welches ein virtuelles dreidimensionales Modell der industriellen Anlage 11 enthält. Das mobile Gerät 2 und der Rechner 6 können auf das Virtual-Reality-Modul 22 zugreifen. Der Instandhalter 3 und/oder der externe Experte 7 können sich virtuell und unabhängig voneinander durch die industrielle Anlage 11 bewegen und beispielsweise Notizen, Anweisungen, Sicherheitshinweise erzeugen bzw. für den jeweils anderen hinterlassen, welche nachfolgend angezeigt werden. Bei der Durchführung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten kann es vorkommen, dass der Instandhalter 3 an verschiedenen Orten in der industriellen Anlage 11 Arbeiten durchführen muss. Der externe Experte 7 könnte an diesen unterschiedlichen Orten Notizen, Anweisungen, Sicherheitshinweise hinterlassen und wenn der Instandhalter 3 an dem Ort in der tatsächlichen industriellen Anlage 11 ankommt, werden die Notizen, Anweisungen, Sicherheitshinweise auf dem ersten graphischen Ausgabegerät 4 des mobilen Geräts 2 für den Instandhalter 3 angezeigt.
  • Das Virtual-Reality-Modul basiert insbesondere auf einem digitalen Zwilling der industriellen Anlage und/oder auf digitalen Zwillingen von Maschinen, Teilen oder Komponenten der industriellen Anlage. Ein digitaler Zwilling beschreibt ein virtuelles Abbild des realen Systems bzw. Bauteils und enthält vorzugsweise alle relevanten Details, Informationen, Parameter und dergleichen. Zweckmäßigerweise kann auf das reale System bzw. Bauteil über seinen zugehörigen digitalen Zwilling zugegriffen werden.
  • Bezugszeichenliste
    • 1
    audiovisuelles Assistenzsystem
    2
    mobiles Gerät
    3
    Instandhalter
    4
    erstes graphisches Ausgabegerät
    5
    Kamera
    6
    Rechner
    7
    externer Experte
    8
    zweites graphisches Ausgabegerät
    9
    Netzwerk
    10
    Vorrichtung zur Erfassung der Position und Bewegung der Hände
    11
    industrielle Anlage
    12
    Anlageninformationssystem
    13
    Vorrichtung zur Bestimmung der Position
    14
    Vorrichtung zur Bestimmung der Blickrichtung
    15
    Vorrichtung zur Erfassung von Entfernungen
    16
    Audiokommunikationsmittel
    17
    zentraler Datenspeicher
    18
    Sensoren (industrielle Anlage)
    19
    Modul zur Bestellung
    20
    virtueller Werkzeugkasten
    21
    Übersetzungssystem
    22
    Virtual-Reality-Modul
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2017097902 A1 [0005]
    • US 20070273610 A1 [0006]
    • US 20130288719 A1 [0006]
    • WO 2015028978 A1 [0006]
    • EP 1647869 A2 [0007]

Claims (60)

  1. Audiovisuelles Assistenzsystem (1) zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage (11), umfassend: wenigstens ein mobiles Gerät (2) für einen Instandhalter (3) in der industriellen Anlage (11), mit einem ersten graphischen Ausgabegerät (4) zur Darstellung von Informationen bezüglich auszuführender Tätigkeiten durch den Instandhalter (3) und wenigstens einer Kamera (5) zur Erfassung der Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3), wenigstens einen Rechner (6) für einen externen Experten (7) bezüglich der Durchführung von Arbeiten in der industriellen Anlage (11), mit einem zweiten graphischen Ausgabegerät (8) zur Darstellung der mittels der Kamera (5) des mobilen Geräts (2) erfassten Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3); und einem Netzwerk (9), über welches das wenigstens eine mobile Gerät (2) und der wenigstens eine Rechner (6) Informationen, insbesondere Daten, austauschen können; dadurch gekennzeichnet, dass der wenigstens eine Rechner (6) eine Vorrichtung (10) zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten (7) umfasst, wobei die erfasste Position und Bewegung der Hände des externen Experten (7) an das wenigstens eine mobile Gerät (2) des Instandhalters (3) übertragen wird und dem Instandhalter (3) mittels des ersten graphischen Ausgabegeräts (4) des wenigstens einen mobilen Geräts (2) angezeigt wird.
  2. Audiovisuelles Assistenzsystem (1) nach Anspruch 1, wobei die erfasste Position und Bewegung der Hände des externen Experten (7) mittels des zweiten graphischen Ausgabegeräts (8) des wenigstens einen Rechners (6) angezeigt wird.
  3. Audiovisuelles Assistenzsystem (1) nach Anspruch 1 oder Anspruch 2, weiterhin umfassend ein Anlageninformationssystem (12) mit Informationen zu der industriellen Anlage (11), insbesondere mit wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen.
  4. Audiovisuelles Assistenzsystem (1) nach Anspruch 3, wobei die Informationen aus den Anlageninformationssystem (12) dem Instandhalter (3) und/oder externen Experten (7) mittels des ersten graphischen Ausgabegeräts (4) beziehungsweise des zweiten graphischen Ausgabegeräts (8) angezeigt werden.
  5. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 4, wobei das erste graphische Ausgabegerät (4) des wenigstens einen mobilen Geräts (2) als Head-Mounted-Display, Optical-See-Through Head-Mounted-Display, Augmented-Reality Head-Mounted-Display, Virtual-Reality Head-Mounted-Display oder einer Kombination daraus ausgebildet ist.
  6. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 5, weiterhin umfassend eine Vorrichtung (13) zur Bestimmung der Position des wenigstens einen mobilen Geräts (2) in der industriellen Anlage (11).
  7. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 6, weiterhin umfassend eine Vorrichtung (14) zur Bestimmung der Blickrichtung des Instandhalters (3), welcher ein mobiles Gerät (2) nutzt.
  8. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 7, wobei das wenigstens eine mobile Gerät (2) eine Vorrichtung (15) zur Erfassung von Entfernungen umfasst.
  9. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 8, wobei das zweite graphische Ausgabegerät (8) des wenigstens einen Rechners (6) zur Darstellung einer Virtual-Reality ausgebildet ist, insbesondere als Virtual-Reality Head-Up Display oder Virtual-Reality Cave.
  10. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 9, wobei das audiovisuelles Assistenzsystem (1), insbesondere der wenigstens eine Rechner (6), dem externen Experten (7) ermöglicht, eine virtuelle Markierung in der industriellen Anlage (11) zu erzeugen, insbesondere im dreidimensionalen Raum der industriellen Anlage (11).
  11. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 10, weiterhin umfassend wenigstens einen Sensor zur Erfassung von Markern, insbesondere elektronischen Markern, der industriellen Anlage (11), insbesondere von Komponenten, Teilen und/oder Maschinen der industriellen Anlage (11).
  12. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 11, wobei das wenigstens eine mobile Gerät (2) und der wenigstens eine Rechner (6) jeweils Audiokommunikationsmittel (16) für eine Audiokommunikation zwischen Instandhalter (3) und externem Experten (7) umfassen.
  13. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 12, weiterhin umfassend einen zentralen Datenspeicher (17), welcher zumindest die Daten des wenigstens einen mobilen Geräts (2), insbesondere aller an der Wartung, Reparatur oder Installation der industriellen Anlage (11) beteiligter Komponenten, zu Dokumentationszwecken speichert.
  14. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 13, wobei die industrielle Anlage (11), insbesondere Maschinen und Komponenten der industriellen Anlage (11), Sensoren (18) zur Erfassung von Messwerten und/oder Fehlerzuständen umfasst, wobei die von den Sensoren (18) erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage (11), insbesondere den Maschinen oder Komponenten der industriellen Anlage (11) oder von Steuereinheiten der industriellen Anlage (11), angezeigt werden und/oder an das audiovisuelle Assistenzsystem (1), insbesondere an das wenigstens eine mobile Gerät (2), den wenigstens einen Rechner (6) oder an ein zentrales Leitsystem, übermittelt werden.
  15. Audiovisuelles Assistenzsystem (1) nach Anspruch 14, wobei das audiovisuelle Assistenzsystem (1), insbesondere das wenigstens eine mobile Gerät (2) oder das zentrale Leitsystem, die angezeigten und/oder empfangenen Messwerte und/oder Fehlerzustände auswertet und einen Tätigkeitsplan für den Instandhalter (3) mit dem wenigstens einen mobilen Gerät (2) erstellt und dem Instandhalter (3) den erstellten Tätigkeitsplan mittels des ersten graphischen Ausgabegeräts (4) anzeigt.
  16. Audiovisuelles Assistenzsystem (1) nach Anspruch 15, wobei der erstellte Tätigkeitsplan als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, ausgebildet ist und/oder wobei der erstellte Tätigkeitsplan dem Instandhalter (3) als 3D-Animation und/oder als Filmsequenz anzeigt.
  17. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 16, wobei dem Instandhalter (3) mittels des ersten graphischen Ausgabegeräts (4) Sicherheitshinweise angezeigt werden, insbesondere bezüglich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten.
  18. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 17, weiterhin umfassend ein Modul (19) zur Bestellung von Ersatzteilen für die industrielle Anlage (11), insbesondere für Maschinen, Komponenten oder dergleichen.
  19. Audiovisuelles Assistenzsystem (1) nach Anspruch 18, wobei der Instandhalter (3) und/oder der externe Experte (7) auf das Modul (19) zur Ersatzteilbestellung zugreifen kann.
  20. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 19, wobei der wenigstens eine Rechner (6) dazu ausgebildet ist, auf dem ersten graphischen Ausgabegerät (4) des wenigstens einen mobilen Geräts (2) Markierungen, Texte, Bilder, Grafiken oder dergleichen einzublenden, so dass der externe Experte (7) dem Instandhalter (3) in der industriellen Anlage (11) unterschiedlichste Informationen zur Verfügung stellen kann.
  21. Audiovisuelles Assistenzsystem (1) nach Anspruch 20, weiterhin umfassend einen virtuellen Werkzeugkasten (20) zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät (4) des wenigstens einen mobilen Geräts (2) durch den externen Experten (7).
  22. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 21, wobei die Vorrichtung (10) zur Erfassung und Verfolgung der Position und Bewegung der Hände des externen Experten (7) Sensoren zum Tragen an den Händen des externen Experten (7), Videosensoren, Infrarot-Sensoren oder vergleichbare Mittel umfassen.
  23. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 22, wobei das Netzwerk (9) als drahtgebundenes und/oder drahtloses Netzwerk ausgebildet ist, insbesondere als Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus.
  24. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 23, wobei das wenigstens eine mobile Gerät (2) Eingabemittel umfasst, um die auf dem ersten graphischen Ausgabegerät (4) dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben.
  25. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 24, wobei der wenigstens eine Rechner (6) Eingabemittel umfasst, um die auf dem ersten graphischen Ausgabegerät (4) und/oder dem zweiten graphischen Ausgabegerät (8) dargestellten Informationen anzupassen und/oder Informationen zur Darstellung einzugeben.
  26. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 25, weiterhin umfassend ein Übersetzungssystem (21) oder eine Schnittstelle zu einem Übersetzungssystem, zur Übersetzung von Informationen für den Instandhalter (3) und/oder externen Experten (7), insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen.
  27. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 26, wobei das wenigstens eine mobile Gerät (2) als Personal-Computer ausgebildet ist, insbesondere als Rucksack-PC.
  28. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 27, wobei das wenigstens eine mobile Gerät (2) weiterhin ein Dokumentationsmodul umfasst, zur Dokumentation der durch den Instandhalter (3) durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten.
  29. Audiovisuelles Assistenzsystem (1) nach einem der Ansprüche 1 bis 28, weiterhin umfassend ein Virtual-Reality-Modul (22) umfassend ein virtuelles dreidimensionales Modell der industriellen Anlage (11), wobei das wenigstens eine mobile Gerät (2) und/oder der wenigstens eine Rechner (6) auf das Virtual-Reality-Modul (22) zugreifen können.
  30. Verfahren zur audiovisuellen Unterstützung eines Instandhalters (3) durch einen externen Experten (7) bei Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage (11), umfassend die Schritte: Herstellen einer Kommunikationsverbindung zwischen einem mobilen Gerät (2) des Instandhalters (3) und einem Rechner (6) des externen Experten (7), Erfassen der Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3), mittels einer Kamera (5), Darstellen der mittels der Kamera (5) des mobilen Geräts (2) erfassten Umgebung des mobilen Geräts (2), insbesondere des Blickfelds des Instandhalters (3), auf einem zweiten graphischen Ausgabegerät (8) des Rechners (6), Erfassen und Verfolgen der Position und Bewegung der Hände des externen Experten (7) durch eine Vorrichtung (10), und Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten (7) auf einem ersten Ausgabegerät (4) des mobilen Geräts (2).
  31. Verfahren nach Anspruch 30, weiterhin umfassend das Anzeigen der erfassten und verfolgten Position und Bewegung der Hände des externen Experten (7) auf dem zweiten Ausgabegerät (8) des Rechners (6).
  32. Verfahren nach Anspruch 30 oder Anspruch 31, umfassend das Bereitstellen von Informationen zu der industriellen Anlage (11), insbesondere von wartungsrelevanten, reparaturrelevanten oder installationsrelevanten Informationen.
  33. Verfahren nach Anspruch 32, umfassend das Anzeigen der Informationen zu der industriellen Anlage (11) auf dem ersten Ausgabegerät (4) des mobilen Geräts (2) und/oder dem zweiten Ausgabegerät (8) des Rechners (6).
  34. Verfahren nach einem der Ansprüche 30 bis 33, umfassend das Erzeugen einer Virtual-Reality und/oder Augmented-Reality für den Instandhalter (3) durch das mobile Gerät (2), insbesondere durch das erste graphische Ausgabegerät (4) des mobilen Geräts (2), welches als Head-Mounted-Display, Optical-See-Through Head-Mounted-Display, Augmented-Reality Head-Mounted-Display, Virtual-Reality Head-Mounted-Display oder einer Kombination daraus ausgebildet ist.
  35. Verfahren nach einem der Ansprüche 30 bis 34, umfassend das Bestimmen der Position des mobilen Geräts (2) in der industriellen Anlage (11).
  36. Verfahren nach einem der Ansprüche 30 bis 35, umfassend das Bestimmen der Blickrichtung des Instandhalters (3).
  37. Verfahren nach einem der Ansprüche 30 bis 36, umfassend das Erfassen von Entfernungen durch das mobile Gerät (2).
  38. Verfahren nach einem der Ansprüche 30 bis 37, umfassend das Erzeugen einer Virtual-Reality für den externen Experten (7) durch den Rechner (6), insbesondere durch das zweite grafische Ausgabegerät (8) des Rechners (6), welches als Virtual-Reality Head-Up Display oder Virtual-Reality Cave ausgebildet ist.
  39. Verfahren nach einem der Ansprüche 30 bis 38, umfassend das Erzeugen einer virtuellen Markierung in der industriellen Anlage (11) durch den externen Experten (7), insbesondere im dreidimensionalen Raum der industriellen Anlage (11).
  40. Verfahren nach einem der Ansprüche 30 bis 39, umfassend das Erfassen von Markern, insbesondere elektronischen Markern, der industriellen Anlage (11), insbesondere von Komponenten und/oder Maschinen der industriellen Anlage (11).
  41. Verfahren nach einem der Ansprüche 30 bis 40, umfassend das Bereitstellen einer Audiokommunikation zwischen Instandhalter (3) und externem Experten (7).
  42. Verfahren nach einem der Ansprüche 30 bis 41, umfassend das Speichern zumindest der Daten des mobilen Geräts (2), insbesondere aller an der Wartung, Reparator oder Installation der industriellen Anlage (11) beteiligter Komponenten, zu Dokumentationszwecken.
  43. Verfahren nach einem der Ansprüche 30 bis 42, umfassend das Erfassen von Messwerten und/oder Fehlerzuständen der industriellen Anlage (11), insbesondere von Maschinen und Komponenten der industriellen Anlage (11), wobei die erfassten Messwerte und/oder Fehlerzustände von der industriellen Anlage (11), insbesondere den Maschinen oder Komponenten der industriellen Anlage (11) oder von Steuereinheiten der industriellen Anlage (11), angezeigt werden und/oder an das audiovisuelle Assistenzsystem (1), insbesondere an das wenigstens eine mobile Gerät (2), den wenigstens einen Rechner (6) oder an ein zentrales Leitsystem, übermittelt werden.
  44. Verfahren nach Anspruch 43, umfassend das Auswerten der erfassten Messwerte und/oder Fehlerzustände, Erstellen eines Tätigkeitsplans für den Instandhalter (3) mit dem mobilen Gerät (2) und Anzeigen des erstellten Tätigkeitsplans für den Instandhalter (3).
  45. Verfahren nach Anspruch 44, umfassend das Erstellen des Tätigkeitsplans als interaktives Menü, insbesondere als Schritt-für-Schritt-Anleitung oder nach dem Frage-Antwort-Prinzip, und/oder Anzeigen des erstellten Tätigkeitsplans als 3D-Animation und/oder als Filmsequenz für den Instandhalter (3).
  46. Verfahren nach einem der Ansprüche 30 bis 45, umfassend das Anzeigen von Sicherheitshinweisen für den Instandhalter (3), insbesondere hinsichtlich der Ausführung der Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten.
  47. Verfahren nach einem der Ansprüche 30 bis 46, umfassend das Bestellen von Ersatzteilen für die industrielle Anlage (11), insbesondere für Maschinen, Komponenten oder dergleichen.
  48. Verfahren nach Anspruch 47, wobei der Instandhalter (3) und/oder der externe Experte (7) die Ersatzteilbestellung veranlasst.
  49. Verfahren nach einem der Ansprüche 30 bis 48, umfassend das Einblenden von Markierungen, Texten, Bildern, Grafiken oder dergleichen auf dem ersten graphischen Ausgabegerät (4) des mobilen Geräts (2) für den Instandhalter (3) durch den externen Experten (7), so dass der externe Experte (7) dem Instandhalter (3) in der industriellen Anlage (11) unterschiedlichste Informationen zur Verfügung stellen kann.
  50. Verfahren nach einem der Ansprüche 30 bis 49, umfassend das Bereitstellen eines virtuellen Werkzeugkastens (20) zum Einblenden von virtuellen Werkzeugen auf dem ersten graphischen Ausgabegerät (4) des mobilen Geräts (2) durch den externen Experten (7).
  51. Verfahren nach einem der Ansprüche 30 bis 50, wobei die Position und Bewegung der Hände des externen Experten (7) durch an den Händen tragbare Sensoren, Videosensoren, InfrarotSensoren oder vergleichbare Mittel erfasst werden.
  52. Verfahren nach einem der Ansprüche 30 bis 51, umfassend das Übertragen von Daten bei der Ausführung des erfindungsgemäßen Verfahrens über ein drahtgebundenes und/oder drahtloses Netzwerk, insbesondere über ein Local Area Network, Wireless Local Area Network, Mobilfunknetznetzwerk wie beispielsweise gemäß dem UMTS, LTE oder 5G Standard, oder Kombinationen daraus.
  53. Verfahren nach einem der Ansprüche 30 bis 52, umfassend das Anpassen von auf dem ersten graphischen Ausgabegerät (4) dargestellten Informationen und/oder Eingeben von Informationen zur Darstellung durch den Instandhalter (3), insbesondere mittels Eingabemittel des mobilen Geräts (2).
  54. Verfahren nach einem der Ansprüche 30 bis 53, umfassend das Anpassen von auf dem ersten graphischen Ausgabegerät (4) dargestellten Informationen und/oder Eingeben von Informationen zur Darstellung durch den externen Experten (7), insbesondere mittels Eingabemittel des Rechners (6).
  55. Verfahren nach einem der Ansprüche 30 bis 54, umfassend das Übersetzen von Informationen für den Instandhalter (3) und/oder externen Experten (7), insbesondere zur Übersetzung von Audioinformationen, Texten und/oder codierten Informationen.
  56. Verfahren nach einem der Ansprüche 30 bis 55, wobei das Verfahren für den Instandhalter (3) mittels eines mobilen Personal-Computers ausgeführt wird, insbesondere mittels eines Rucksack-PCs.
  57. Verfahren nach einem der Ansprüche 30 bis 56, umfassend das Dokumentieren der durch den Instandhalter (3) durchgeführten Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten, insbesondere mittels des mobilen Geräts (2).
  58. Verfahren nach einem der Ansprüche 30 bis 57, umfassend das Bereitstellen eines virtuellen dreidimensionalen Modells der industriellen Anlage, wobei der Instandhalter (3) und/oder der externe Experte (7) auf das virtuelle dreidimensionale Modell zugreifen können.
  59. Verfahren nach einem der Ansprüche 30 bis 58, wobei das Verfahren mittels eines audiovisuellen Assistenzsystems (1) gemäß einem der Ansprüche 1 bis 29 ausgeführt wird.
  60. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 30 bis 59 auszuführen.
DE102021205859.0A 2021-06-10 2021-06-10 Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage Withdrawn DE102021205859A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021205859.0A DE102021205859A1 (de) 2021-06-10 2021-06-10 Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage
PCT/EP2022/063632 WO2022258343A1 (de) 2021-06-10 2022-05-19 Audiovisuelles assistenzsystem, verfahren und computerprogramm zur unterstützung von wartungsarbeiten, reparaturarbeiten oder installationsarbeiten in einer industriellen anlage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021205859.0A DE102021205859A1 (de) 2021-06-10 2021-06-10 Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage

Publications (1)

Publication Number Publication Date
DE102021205859A1 true DE102021205859A1 (de) 2022-12-15

Family

ID=82116851

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021205859.0A Withdrawn DE102021205859A1 (de) 2021-06-10 2021-06-10 Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage

Country Status (2)

Country Link
DE (1) DE102021205859A1 (de)
WO (1) WO2022258343A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1647869A2 (de) 2004-10-15 2006-04-19 Siemens Aktiengesellschaft Übertragung von Daten in und aus Automatisierungskomponenten
US20070273610A1 (en) 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20130288719A1 (en) 2012-04-27 2013-10-31 Oracle International Corporation Augmented reality for maintenance management, asset management, or real estate management
WO2015028978A1 (en) 2013-08-29 2015-03-05 Umpi Elettronica - Societa' A Responsabilita' Limitata Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality
WO2017097902A1 (de) 2015-12-11 2017-06-15 Sms Group Gmbh Mobile visuelle assistenz in hütten-, walz-, schmiede- und röhrenwerken

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
WO2018222756A1 (en) * 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1647869A2 (de) 2004-10-15 2006-04-19 Siemens Aktiengesellschaft Übertragung von Daten in und aus Automatisierungskomponenten
US20070273610A1 (en) 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20130288719A1 (en) 2012-04-27 2013-10-31 Oracle International Corporation Augmented reality for maintenance management, asset management, or real estate management
WO2015028978A1 (en) 2013-08-29 2015-03-05 Umpi Elettronica - Societa' A Responsabilita' Limitata Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality
WO2017097902A1 (de) 2015-12-11 2017-06-15 Sms Group Gmbh Mobile visuelle assistenz in hütten-, walz-, schmiede- und röhrenwerken

Also Published As

Publication number Publication date
WO2022258343A1 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
DE102006014634B4 (de) Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System
DE19953739C2 (de) Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
EP1163557B1 (de) System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
EP1701233B1 (de) Generierung virtueller Welten auf Basis einer realen Umgebung
DE102019122343A1 (de) Abweichungskorrektur für industrielle anwendungen mit erweiterter realität
DE102016224459A1 (de) Mobile visuelle Assistenz in Hütten-, Walz-, Schmiede- und Röhrenwerken
DE10242007A1 (de) Portabler Computer in einem Prozesssteuerungsumfeld
EP3337751A1 (de) Verfahren zur baustellenüberwachung, arbeitsmaschine und system zur baustellenüberwachung
EP1157314A1 (de) Nutzung von augmented reality-basistechnologien zur situationsgerechten unterstützung des facharbeiters durch entfernte experten
EP1683063A1 (de) System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
EP3623891A1 (de) Individualisierbare bildhierarchien für ein leitsystem einer technischen anlage
EP3392987B1 (de) Verfahren und system zur automatisierten unterstützung eines anschlussvorgangs, insbesondere von in einem schaltschrank oder an einem montagesystem angeordneten komponenten
DE102021205859A1 (de) Audiovisuelles Assistenzsystem, Verfahren und Computerprogramm zur Unterstützung von Wartungsarbeiten, Reparaturarbeiten oder Installationsarbeiten in einer industriellen Anlage
EP1487616B1 (de) Automatische prozesskontrolle
DE19546223A1 (de) Verfahren und Managementsystem zum Management von räumlich getrennten Objekten
EP4186651B1 (de) System und verfahren mit einem system
DE102018217834A1 (de) Verfahren und System zum Betreiben einer Erfassungs- und Anzeigevorrichtung
EP2515554A2 (de) Verfahren zur Visualisierung von Zustandsdaten einer Maschine in einer Anlage sowie Vorrichtung hierfür
EP3616140A1 (de) System zur unterstützung von teamarbeit mittels augmented reality
DE102020134680B4 (de) Verfahren und Anordnung zur Qualitätsprüfung eines Objekts
DE102012203987A1 (de) Verfahren und Vorrichtung zur Visualisierung eines Prozessablaufes in einer hüttentechnischen Anlage
EP2517079B1 (de) Vorrichtung, system und verfahren zum sicheren betrieb technischer anlagen
WO2024104560A1 (de) Generierung von hologrammen zur darstellung in einer augmented reality umgebung
DE202021106457U1 (de) System
WO2023232819A1 (de) Generierung von hologrammen zur darstellung in einer augmented reality umgebung

Legal Events

Date Code Title Description
R120 Application withdrawn or ip right abandoned