-
Die
Erfindung betrifft ein System und ein Verfahren zur Mensch-Maschine-Interaktion
zwischen einem Anwender und einem Automatisierungssystem.
-
Ein
derartiges System kommt auf dem Gebiet der Automatisierungstechnik
zum Einsatz. Die Bedienung von Automatisierungssystemen folgt in
allen Lebenszyklen dem Prinzip, dass der Anwender bzw. Bediener
oder Nutzer des Systems in einem „outof-process-interface" seine Bedienhandlungen durchführt und
Auskünfte
einholt. Im folgenden steht Automatisierungssystem für Fertigungs-
oder Prozessanlage, Maschine oder Komponente.
-
Unabhängig davon,
ob der Nutzer ein Automatisierungssystem konzipiert (Engineering),
ein Automatisierungssystem simuliert bzw. den dazu gehörigen Prozess
simuliert, ein Automatisierungssystem parametriert, in Betrieb setzt
oder konfiguriert, er steht außerhalb
des Automatisierungssystems, fühlt sich
als Beobachter bzw. Initiator für
das Automatisierungssystem. Selbst beim Bedienen eines Automatisierungssystems
in seiner operativen Phase sieht sich der Operator als distanzierter
Betrachter, ohne emotionalen Bezug. Auch in der Maintenance-Situation
benutzt der Servicetechniker die Auskunftssysteme, Signale, Daten,
Dokumentation in einer lexikalischen Arbeitsweise. Er schaut nach,
zieht Schlüsse und
leitet daraus Handlungen ab. Diese Arbeitsform wird als „out-ofprocess-interface" bezeichnet und findet
sich bei allen technischen Geräten
unter dem Begriff Mensch-Maschine-Interface (Human-Machine-Interface)
wieder bzw. dehnt sich auf ein Mensch-Umgebung-Interface (Human-Environment-Interface)
aus, wenn der „Interaktionspartner" nicht als technisches
System erkennbar ist, z.B. für ergänzende Informationen
zu Gebäuden,
historischen Bauten, Fahrzeugen etc.
-
Aus
EP 1 157 314 B1 ist
ein Augmented-Reality-System zur Übertragung von Informationsdaten von
einem Anwender an einen entfernten Experten bekannt, bei dem der
Experte praktisch virtuell in das Geschehen am Einsatzort eingebunden
ist und mit Hilfe des Augmented-Reality-Systems dem Anwender vor
Ort sein Wissen übermitteln
kann. In derselben Schrift wird eine Vielzahl von Anwendungsfeldern
für Augmented
Reality beschrieben, beispielsweise ein so genannter „Mixed
Mock-Up"-Ansatz auf der Grundlage
einer gemischt-virtuellen Umgebung oder eine gemischt-virtuelle
Präsentation
von Arbeitsschritten in einer Trainingsphase.
-
Der
Erfindung liegt die Aufgabe zugrunde, eine verbesserte Einbindung
eines Anwenders in das Geschehen bei einer Mensch-Maschine-Interaktion zu
ermöglichen.
-
Diese
Aufgabe wird durch ein System zur Mensch-Maschine-Interaktion zwischen
einem Anwender und einem Automatisierungssystem gelöst, wobei
das System umfasst: erste Mittel zur Bestimmung des Zustands des
Automatisierungssystems, zweite Mittel zur Einwirkung auf das Automatisierungssystem,
dritte Mittel zur virtuellen Repräsentation von zumindest einer
Komponente des Automatisierungssystems, vierte Mittel zur Einwirkung
auf die virtuelle Repräsentation,
fünfte
Mittel zur Bereitstellung von zumindest einer immersiven Interaktionstechnik
und sechste Mittel zur Vergabe einer Rolle, der ein Funktionsspektrum
von durch die Interaktionstechnik möglichen Funktionen zugeordnet
ist, an den Anwender.
-
Die
Aufgabe wird weiter durch ein Verfahren mit den in Anspruch 6 angegebenen
Merkmalen gelöst.
-
Spiele,
insbesondere rechnergestützte
Spiele, verfolgen ein Interaktionsprinzip, das hier als „in-process-interface" bezeichnet wird.
Der Spieler wird durch eine Dramaturgie, Darstellung der Umgebung,
visuell und akustisch, durch ein Belohnungs- oder Bestrafungsprinzip
Schritt für
Schritt Teil des Spieles und damit Teil der Handlung. Bei vielen
Spielen schlüpft
der Spieler in eine Rolle/Identität einer Person, die Akteur
im Spiel ist, und wird somit emotional in das Geschehen eingebunden,
wird temporär Teil
davon, zumindest solange das Spiel gespielt wird.
-
Durch
das erfindungsgemäße System
bzw. Verfahren werden die Prinzipien des „in-process-interface" auf die Interaktion
im Life-Cycle eines Produktes, einer Anlage oder Maschine übertragen.
Dabei präsentiert
sich das System dem Anwender bzw. Nutzer als Spiel, bietet ihm eine
Rolle an, personalisiert oder abstrakt, und bindet ihn Schritt für Schritt emotional
an den z.B. Engineeringvorgang. Aus der Spieleindustrie transferierte
Vorgehen und Techniken führen
zu einem Paradigmenwechsel in der Interaktion mit System und Umwelt.
So wird beispielsweise das Engineering in einen dramaturgischen
Handlungsablauf umgesetzt und mit immersiven Interaktionstechniken
wie 3D, virtueller Realität
(VR), erweiterter Realität
(AR, „augmented
reality") sowie
Sound und Vibration realisiert. Schritt für Schritt wird dabei z.B. der
interaktive Engineeringvorgang mit simulierter Umgebung als erlebbares
Fortschrittsergebnis entsprechend der Rolle des Akteurs präsentiert,
bzw. der Nutzer erlebt sich als Teil des Engineeringvorgangs, des
schrittweisen spielerischen Aufbaus eines Systems.
-
Simulation
ist ein wesentliches Element der Erlebniswelt eines Spieles. Dabei
unterscheidet die Simulation in ihrer Präsentationsform nicht zwischen der
Simulation des schrittweisen Aufbaus der Produktionsmittel des Automatisierungssystems,
der Simulation des Produktes, das das Produktionsmittel/Automatisierungssystem
erzeugt, und der Simulation der Umgebung, in der das Produktionsmittel
seine Aufgabe realisiert.
-
Über die
Spielesituation heutiger „Games" oder „Serious
Games" hinausgehend,
ist das Ziel eines industriellen „Engineeringspiels" ein real existierendes
bzw. funktionierendes Produktionsmittel/Automatisierungssystem.
Der Übergang
von der Virtualität
in die Realität
mit spiele-orientierten Mechanismen ist eine zusätzliche Herausforderung für die industrielle
Anwendung. Hier kommen Techniken wie erweiterte Realität (AR) zum
Einsatz, die das „in-process-interface" fortschrittsorientiert
von rein virtuellen Welten in reale Welten überführt. Mit AR wird der Akteur,
d.h. der Anwender, in seiner bereits in der virtuellen Welt festgelegten
Rolle in die Realität
geführt und
kann somit seine rein virtuellen Aktionen in reale Aktionen überführen. In
konsequenter Fortsetzung werden nun die gleichen Mechanismen für das Interagieren
mit dem Prozess bzw. dem Produktionsmittel in seiner operativen
Phase ausgeführt.
Darüber
hinaus kann der Akteur in die Rolle eines Produktes schlüpfen, das
in einem realen Produktionsmittel gefertigt bzw. transportiert wird.
-
Beispiele
für „in-process-interfacing" im Engineering:
- – Einnehmen
der Rolle des Produktes. Das Produkt
- – bewegt
sich in der virtuellen Anlage und fühlt die Bewegung, z.B. die
Vibrationen eines Paketes auf einem Förderband. Die Erfahrung kann
z.B. dazu genutzt werden, einen zusätzlichen Vibrationssensor in
der Anlage zu engineeren, der Messdaten in das System einbringt.
- – Das
virtuelle Produkt bewegt sich in der realen Anla ge. Vibrations-/Temperaturdaten
werden von einem Sensor erfasst und sind fühlbar. Bewegung wird über AR visualisiert.
- – Einnehmen
der Rolle eines Servicetechnikers. Der Servicetechniker
- – kann
Reparaturen an einer virtuellen Maschine durchführen bzw. Instandhaltungsaufgaben „üben".
- – Er
kann die reparierte Maschine virtuell in Betrieb nehmen und bekommt
Rückmeldung über Erfolg/Misserfolg.
-
Somit
bietet ein „in-process-interface", wie es durch das
erfindungsgemäße System
bzw. Verfahren realisiert wird, folgende Vorteile: Interaktion und
Präsentation
bilden eine Welt nach, die dem Anwender vertraut ist. Zukünftige Generationen
von Anwendern werden mit den beschriebenen Interaktionsformen vertraut
sein. Das immersive Eintauchen und die Übernahme einer Rolle bei Interaktionsprozessen wie
Engineering, Simulation, Training und Bedienen/Beobachten fesselt
den Akteur und führt
zu spielerischen Leistungsanreizen. Die Nutzung von realitätsnaher
Darstellung, akustischer Rückkopplung, Einbeziehung
von mechanischer Reaktion (Vibration) beziehen wesentlich mehr Sinne
des Anwenders in den Interaktionsprozess mit ein und ermöglichen
in ihrer Ganzheitlichkeit ein umfassenderes Interaktionsprinzip,
was für
Spiele system-inhärent
ist.
-
In
einer vorteilhaften Form der Ausgestaltung umfasst das System siebte
Mittel zur Erweiterung der virtuellen Repräsentation. Hierdurch sind beispielsweise
auch Aufgaben wie virtuelle Erweiterungen einer bestehenden Anlage
möglich.
-
Weitere
Beispiele für „in-process-interfacing" im Engineering:
- – Einnehmen
der Rolle eines Mechanikers. Der Mechaniker
- – bewegt
sich in der virtuellen Anlage und kann neue Mechanikkomponenten
verbauen und den Ablauf simulieren. Er kann die Komponenten auch hören und
fühlen
(Vibrationen im Betrieb, Temperaturanstiege etc.).
- – bewegt
sich in der realen Anlage und kann neue Mechanikkomponenten verbauen.
Die Komponenten werden ihm per AR visualisiert. Auch hier ist ein
zusätzliches
akustisches oder haptisches Interface vorstellbar.
- – Einnehmen
der Rolle eines Elektrikers. Der Elektriker
- – bewegt
sich in der virtuellen Anlage und legt Kabelkanäle und Kabel.
- – In
der realen Anlage kann er die baulichen Gegebenheiten überprüfen.
-
Die
Möglichkeit,
Ergebnisse kontinuierlich in einer Simulation überprüfen zu können, führt zum frühzeitigen Erkennen von Fehlern
und damit zu insgesamt kürzeren
Engineeringzeiten.
-
In
einer weiteren vorteilhaften Ausführungsform weist das System
einen Speicher zur Speicherung eines Profils für den Anwender auf, anhand
dessen ein für
den Anwender vorgesehenes Funktionsspektrum von durch die Interaktionstechnik
möglichen
Funktionen bestimmbar ist. Dadurch ist es möglich, für einen Anwender individuell
zu speichern, dass er beispielsweise innerhalb der Rolle eines Mechanikers
nicht den vollen Funktionsumfang, sondern nur den eines „Lehrlings" zur Verfügung hat. Ebenso
ist es natürlich
möglich,
einem Anwender individuell das Funktionsspektrum sowohl eines Mechanikers
als auch eines Elektrikers (möglicherweise in
eingeschränktem
Umfang) zur Verfügung
zu stellen.
-
In
einer weiteren vorteilhaften Ausführungsform ist dabei das für den Anwender
vorgesehene Funktionsspektrum anhand eines erfolgsabhängigen Bewertungssystems
erweiter- oder reduzierbar. Dieses erfolgsabhängige Bewertungssystem räumt dabei
dem Akteur beispielsweise mehr und mehr „Spielrechte" ein – d.h. das „Engineeringspiel" gewährt zusätzliche
Funktionen – um
ihn schrittweise vom „Beginner" zum „Professional" zu führen. Das
Belohnungssystem berücksichtigt
das Leistungsniveau des Akteurs (Anwenders) ohne Einstufungsproblematiken
(wer ist Anfänger,
Experte).
-
Im
Folgenden wird die Erfindung anhand der in den Figuren dargestellten
Ausführungsbeispiele näher beschrieben
und erläutert.
Es zeigen:
-
1 eine
Interaktion mit einem Automatisierungssystem mittels eines „out-of-process-interface" und
-
2 eine
Interaktion mit einem Automatisierungssystem mittels eines erfindungsgemäßen „in-processinterface".
-
1 zeigt
einen Anwender 1 eines Automatisierungssystems 3,
aus dem eine Komponente 6, beispielsweise ein Prozess oder
ein Produktionsmittel, herausgehoben dargestellt ist. Das Automatisierungssystem 3 tauscht
mit der Komponente 6 z.B. Steuerinformationen und Daten
aus. Der Anwender 1 erhält
Daten (Bilder etc.) über
den Prozess/das Produktionsmittel 6 über ein herkömmliches Mensch-Maschine-Interface 4, über das
er 1 auch Kommandos an das Automatisierungssystem 3 zur Steuerung
des Prozesses/Produktionsmittels 6 absetzen kann. Dieses
Mensch-Maschine-Interface 4 wird als „out-of-processinterface" bezeichnet, da unabhängig davon,
ob der Nutzer 1 ein System 3 konzipiert (Engineering),
ein System 3 simuliert bzw. den dazu gehörigen Prozess 6 simuliert,
ein System 3 parametriert, in Betrieb setzt oder konfiguriert,
er 1 außerhalb
des Systems 3 steht.
-
2 zeigt
wie in 1 einen Anwender 1 eines Automatisierungssystems 3,
aus dem eine Komponente 6 herausgehoben dargestellt ist.
Das Automatisierungssystem 3 tauscht mit der Komponente 6 wiederum
z.B. Steuerinformationen und Daten aus. Der Anwender 1 tauscht
in diesem Fall Informationen mit dem Automatisierungssystem 3 über ein
erfindungsgemäßes System 2 bzw.
unter Verwendung eines erfindungsgemäßen Verfahrens aus. Dabei wird
der Anwender 1 durch immersive Interaktionstechniken 5 wie
3D-Darstellungen, virtueller Realität, erweiterter Realität sowie
Sound und Vibration ganzheitlich in das Geschehen eingebunden und wird
temporär
Teil davon. Daher wird dieses Interaktionsprinzip hier als „in-process-interface" bezeichnet, wie
in der Figur durch die Einbeziehung des Bedieners 1 mit
dem System 2 in das Automatisierungssystem 3 verdeutlicht
werden soll. Vertieft wird dieses „Eintauchen" noch dadurch, dass, ähnlich wie
in vielen rechnergestützten
Spielen, der Anwender 2 in eine Rolle/Identität einer
Person (oder auch eines Produktes), die Akteur im vom System 2 realisierten „Engineeringspiel" ist, schlüpfen kann.
Ein erfolgsabhängiges
Bewertungssystem räumt
dabei dem Akteur 1 mehr und mehr „Spielrechte" ein, d.h. das „Engineeringspiel" gewährt zusätzliche
Funktionen, wodurch das Leistungsniveau des Anwenders 1 ohne Einstufungsproblematiken
berücksichtigt
wird. Das Eintauchen durch die immersiven Interaktionstechniken 5 und
die Übernahme
einer Rolle bei Interaktionsprozessen wie Engineering, Simulation,
Training und Bedienen/Beobachten fesselt den Anwender 1 und
führt zu
spielerischen Leistungsanreizen.
-
Zusammenfassend
betrifft die Erfindung ein System und ein Verfahren zur Mensch-Maschine-Interaktion
zwischen einem Anwender und einem Automatisierungssystem. Der Erfindung
liegt die Aufgabe zugrunde, ein System und ein Verfahren für eine Mensch-Maschine-Interaktion
vorzuschlagen, bei der ein Anwender durch ein an Computerspielen
orientiertes Interaktionsprinzip in das Geschehen eingebunden wird.
Diese Aufgabe wird durch ein System zur Mensch-Maschine-Interaktion
zwischen einem Anwender und einem Automatisierungssystem gelöst, wobei
das System umfasst: erste Mittel zur Bestimmung des Zustands des
Automatisierungssystems, zweite Mittel zur Einwirkung auf das Automatisierungssystem,
dritte Mittel zur virtuellen Repräsentation von zumindest einer
Komponente des Automatisierungssystems, vierte Mittel zur Einwirkung
auf die virtuelle Repräsentation,
fünfte
Mittel zur Bereitstellung von zumindest einer immersiven Interaktionstechnik
und sechste Mittel zur Vergabe einer Rolle, der ein Funktionsspektrum
von durch die Interaktionstechnik möglichen Funktionen zugeordnet
ist, an den Anwender.