DE10056291A1

DE10056291A1 - Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld

Info

Publication number: DE10056291A1
Application number: DE2000156291
Authority: DE
Inventors: Henry Feil
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2000-11-14
Filing date: 2000-11-14
Publication date: 2002-05-23
Also published as: WO2002041069A1

Abstract

Die Erfindung betrifft ein Verfahren zur grafischen Visualisierung von Objekten, mit dessen Hilfe die auf mindestens einem Sichtfeld 203 dargestellten Objekt durch interaktive Steuerbefehle eines Benutzers in ihren Eigenschaften und/oder Aktionen auf eine komfortable und zuverlässige Weise manipuliert, gesteuert bzw. beeinflusst werden. Bei den dabei verwendeten Technologien zur Eingabe der vom Benutzer abgesetzten Steuerbefehle kann es sich neben den standardmäßigen manuell bedienbaren, mechanischen bzw. berührungssensitiven Eingabemechanismen über Tastatur, Maus, Trackball, Joystick, Grafiktablett und Griffel, taktile Displays etc. um Vorrichtungen 501, 502 und 503 zur Aufnahme, Erkennung, Interpretation und Verarbeitung akustischer und/oder optischer Signale eines Benutzers handeln. Der Benutzer ist somit nicht mehr auf das Vorhandensein zusätzlicher Hardware-Vorrichtungen zur manuellen Eingabe von Steuerbefehlen angewiesen. Die Auswertung der eingegebenen Information kann stattdessen bzw. zusätzlich mit Hilfe von Methoden der Signal- bzw. Mustererkennung erfolgen. Erst durch diesen erfinderischen Schritt wird aus einem reinen Ausgabe-Sichtfeld, bei dem keine Steuerungsmöglichkeit für den Benutzer vorgesehen ist, ein interaktiv bedienbares Ein- und Ausgabe-Sichtfeld 203. Die Art des Eingabeverfahrens kann dabei auf die individuell vorhandenen Fähigkeiten des Benutzers zugeschnitten sein.

Description

A. Schilderung des allgemeinen Problems

Im Rahmen der Kommunikation zwischen Mensch und Maschine tre ten häufig Probleme auf, die auf der ungenügenden Anpassung der Maschine an die Eigenschaften der Aufnahme, Verarbeitung und Ausgabe von Information durch den menschlichen Anwender beruhen. Diese Fehlanpassung kann einerseits zu einer vom An wender nicht mehr zu bewältigenden Informationsflut führen, vor allem wenn mehrere Aufgaben erledigt werden müssen. Ande rerseits kann auch eine Unterforderung des Anwenders, bei spielsweise bei einer hochautomatisierten Anlage, bei der dem Menschen lediglich eine Kontrollfunktion zukommt, bewirken, dass durch die Monotonie der Arbeitssituation ein Leistungs abfall eintritt und Störfälle infolge mangelnder Übung der Vorgehensweise in solchen Situationen nicht mehr beherrscht werden. Auch die mangelnde Berücksichtigung der Kenntnisse und des Ausbildungszustands des Benutzers einer Maschine sind hier zu nennen. Das menschliche Verhalten wird, zum Beispiel bei der Auswahl, Bewertung und Verknüpfung von Information, bei der Entscheidungsfindung, beim Problemlösen sowie bei der Planung und Ausführung von Handlungen, nur unzureichend be rücksichtigt und unterstützt, wenn es sich um die Auslegung technischer Systeme handelt.

Für die Anpassung technischer Systeme an den Menschen ist so mit Vorwissen über seine Eigenschaften, seine Verhaltensmus ter, seine Fertigkeiten und seinen Kenntnisstand notwendig. Im Zusammenhang mit der Mensch-Maschine-Kommunikation inter essieren also seine sensorischen, kognitiven und motorischen Eigenschaften. Auf der Seite der durch die Sinneskanäle vorgegebenen sensorischen Eigenschaften des Menschen werden von herkömmlichen Maschinen und Geräten zur Ausgabe von Informa tion im Wesentlichen die folgenden Kanäle angesprochen:

- der visuelle Kanal (Augen) durch optische Signale,
- der auditive Kanal (Ohren) durch akustische Signale und
- der taktile Kanal (Tastsinn) durch haptische Signale.

Nach der Verarbeitung der Signale im Gehirn (Kognition) ste hen auf der Seite der durch die Ausgabekanäle vorgegebenen motorischen Eigenschaften des Menschen im Wesentlichen fol gende Kanäle zur Verfügung:

- die Arm-, Hand- und Finger- bzw. Bein- und Fußmotorik so wie Körper-, Kopf-, Augen- oder Mundbewegungen, also phy sikalische Bewegungen, Gebärden, Gestik und Mimik für me chanische bzw. optische Signale,
- die Sprachmotorik für akustische Signale.

Über diese Kanäle können Signale in ein Informationssystem eingegeben werden, um eine gewünschte Aktion des Systems aus zulösen.

B. Bekannte Lösung des allgemeinen Problems nach dem aktuellen Stand der Technik

Das Ziel der Entwicklung von geeigneten Schnittstellen zwi schen Mensch und Maschine ist es, von den Eigenschaften der menschlichen Kommunikationskanäle und Fertigkeiten auszuge hen, um Geräte, Interaktionstechniken und Schnittstellen be reitzustellen, die eine effektive wechselseitige Kommunika tion über diese Kanäle gewährleisten. Um dieses Ziel zu er reichen, sind sogenannte "Virtuelle Realitäten" (VR) beson ders geeignet. Unter dem Begriff "Virtuelle Realität" (VR) versteht man die computerbasierte Erzeugung einer intuitiv wahrnehmbaren oder empfindbaren Szene, bestehend aus ihrer grafischen Darstellung und den Interaktionsmöglichkeiten für den Benutzer. Eine virtuelle Umgebung ermöglicht einem Benut zer Zugriff zu Informationen, die andernfalls am gegebenen Ort oder zur gegebenen Zeit nicht verfügbar wären. Sie stützt sich auf natürliche Aspekte der menschlichen Wahrnehmung, in dem sie visuelle Information in drei räumlichen Dimensionen einsetzt. Diese Information kann beispielsweise gezielt ver ändert oder mit weiteren sensorischen Reizen angereichert werden. Wesentliche Voraussetzungen sind die Kontrolle der Perspektive in Echtzeit und die Möglichkeit der aktiven Ein flussnahme auf die dargestellte Szene durch den Benutzer des Systems.

Bei der Navigation durch virtuelle Umgebungen kann der Benut zer die für ihn natürliche Art der Steuerung einsetzen. Dies können beispielsweise entsprechende Arm- oder Beinbewegungen, Positionieren des Kopfes bzw. der Augen, Drehen des Körpers oder Zulaufen auf ein Objekt beinhalten. Durch den Einsatz bereits vorhandener Fertigkeiten des Benutzers zur Steuerung kann die kognitive Belastung während der Interaktion zwischen Mensch und Maschine reduziert werden. Dadurch kann die Band breite der Kommunikation zwischen Mensch und Maschine erhöht und die Bedienbarkeit der Maschine verbessert werden. Während bei den herkömmlichen Formen der Mensch-Maschine-Kommunika tion die Steuerung der Maschine kommandoorientiert erfolgt, müssen bei der Steuerung von Objekten in virtuellen Umgebun gen keine spezifischen Kommandos neu erlernt und eingesetzt werden: Der Computer "beobachtet" den Benutzer passiv und re agiert aufgrund von dessen Augen-, Kopf- und/oder Handbewe gungen etc. unter Echtzeitbedingungen in angemessener Weise.

Bei den handelsüblichen VR-Applikationen unterscheidet man Systeme, bei denen der Benutzer vollständig in die virtuelle Umgebung integriert ist (engl.: "Immersion") und Systeme, die nur ein "Fenster" zur virtuellen Realität darbieten. Neben den bekannten Formen der Mensch-Maschine-Kommunikation wie

- Direktmanipulation von Objekten durch manuelle feinmotori sche Operationen (Zeigen, Berühren, Greifen, Bewegen, Festhalten etc.),
- formale Interaktionssprachen (Programmiersprachen, Komman dosprachen und formale Abfragesprachen),
- natürlichsprachliche Interaktion,
- gestische Interaktion mittels nonverbaler symbolischer Kommandos (Mimik, Gestik, Gebärden, Bewegungen) sowie
- hybride aufgabenorientierte Interaktionsformen

kann man virtuelle Realitäten auch als eine neue Form der Mensch-Maschine-Kommunikation auffassen. Wie der Name "Virtuelle Realität" schon andeutet, ist hierfür eine gewisse Realitätstreue der Darstellung notwendig: Dem Anwender soll diejenige sensorische Information dargeboten werden, die zur Bearbeitung einer Aufgabe oder zum Erreichen eines Ziels er forderlich ist.

Die visuelle Wahrnehmung liefert nicht nur Informationen über die Lage, Bewegung, Form, Struktur, Kontur, Textur, Farbe bzw. Musterung von Objekten etc., sondern auch Informationen über die relative Körperstellung des Betrachters und dessen Bewegungen sowie über die Beschaffenheit der dreidimensiona len Umgebung. Synthetisch generierte Umgebungen können dabei realistischer gestaltet werden, wenn möglichst viele der in natürlichen Umgebungen auftretenden Informationen (Bewegungs parallaxe, Fluchtpunkte der perspektivischen Darstellung, räumliche Tiefenwirkung und Plastizität, Beleuchtung und Schattenwurf, Verdeckung, Glanzwirkung, Spiegelungseffekte und diffuse Reflexion etc.) simuliert werden. Wie viele und welche Informationen präsentiert werden sollen, hängt von der jeweiligen Aufgabenstellung ab. Die Unterschiede zwischen re aler und virtueller Welt bestimmen, als wie realistisch die Simulation wahrgenommen wird.

Die visuelle Information muss zur Realisierung virtueller Re alitäten durch einen Computer simuliert werden. Dabei sind ähnliche Aspekte relevant wie in der Malerei. Bei der compu tergestützten Simulation dreidimensionaler Welten wird übli cherweise die Projektion einzelner Lichtstrahlen simuliert. Ausgangspunkt einer solchen Simulation ist die Spezifikation der zu simulierenden Umgebung. Dazu müssen die einzelnen Ob jekte mit ihren Eigenschaften und ihrer Lage festgelegt wer den. Zur Visualisierung werden dann die Intensitäten einzel ner Bildpunkte berechnet und auf das Ausgabemedium proji ziert.

Mit Hilfe dieser Simulationen lassen sich völlig neue Arten des Lernens und Übens realisieren (Beispiele: Fahrzeug- bzw. Flugzeugsimulator), andererseits wird dabei immer auch von bestimmten Aspekten der realen Welt abstrahiert. VR-Applika tionen bewirken daher gleichzeitig eine Anreicherung und eine Einschränkung der Erfahrungsmöglichkeiten des Anwenders.

Grundsätzlich bestehen VR-Systeme aus Sensoren und Aktoren sowie deren Kopplung. Wichtige Hardware-Bestandteile sind un ter anderem folgende:

- "Displays" zur Präsentation der virtuellen Umgebung. Im Rahmen der visuellen Präsentation kommen heute vor allem Monitore, "Head Mounted Displays" (HMD), "Binocular Omni- Oriented Monitors" (BOOM) und Projektionssysteme; verwen det werden aber auch auditive bzw. taktile Displays, wel che auf akustische bzw. manuelle Benutzereingaben reagie ren.
- Positionierungs- und Orientierungssysteme zur Erfassung von Standort und Perspektive des Benutzers. Hierbei wird unterschieden zwischen der Bestimmung der absoluten Posi tion (engl.: "Position Tracking") und der Messung der Beu gung von Gelenken (engl.: "Angle Measurement"). Zum Ein satz kommen elektromagnetische, kinematische, akustische, optische sowie bildverarbeitende Prozeduren.
- Interaktions- und Manipulationssysteme zum Agieren und Re agieren des Anwenders in der virtuellen Umgebung. Hierfür werden Zeigegeräte (2D- bzw. 3D-Mäuse, -Trackballs, -Joy sticks etc.) bzw. taktile Geräte (Touchscreen, elektromag netisches Grafiktablett und Griffel etc.) verwendet; auch sogenannte "Datenhandschuhe" mit Beugungs- und Drucksenso ren werden in zunehmendem Maße eingesetzt. Auch Sprach steuerung ist in diesem Zusammenhang zu nennen.
- Berechnungssysteme und Software zur Erzeugung der virtuel len Umgebung unter Echtzeitanforderungen.
- Netzwerke zur Integration verschiedener Benutzer, durch die sich neue Formen der Zusammenarbeit entwickeln können.

Die verschiedenartigen technischen Varianten von helm- bzw. kopfbasierten Systemen zur Visualisierung virtueller Realitä ten werden im englischen Sprachgebrauch zusammenfassend als "Visually Coupled Systems" (VCS) bezeichnet. Sie bestehen aus den folgenden wichtigen Komponenten:

1. einem am Kopf bzw. Helm befestigtes Display,
2. einem Gerät zum Bestimmen der Kopf- und/oder Blickbewegun gen des Anwenders,
3. einer Quelle visueller Information, die von der Kopf- und/oder Blickrichtung des Anwenders abhängt.

Beim Einsatz eines derartigen Systems für VR-Applikationen können sowohl Informationen aus der realen als auch aus der virtuellen Umgebung gleichzeitig dargeboten werden. Man spricht dabei von "See-Through Displays" für die Darstellung von angereicherten Realitäten.

Zur Visualisierung sind geeignete optische Komponenten (Lin sen, halbdurchlässige Spiegel) hoher Qualität erforderlich, die ein scharf fokussiertes, vergrößertes Abbild der Bild quelle ermöglichen. Als Bildquellen kommen verschiedene Sys teme in Betracht; am häufigsten werden jedoch Kathodenstrahl röhren oder LCD-Bildschirme eingesetzt. Wünschenswert sind dabei eine hohe Auflösung und Leuchtdichte, hohe Farbsätti gung und hoher Kontrast sowie geringe Abmessungen der Bild quelle. Zur Visualisierung dreidimensionaler Objekte sind zwei derartige Bildquellen erforderlich.

Die Verfolgung von Kopfbewegungen ist ein wichtiger Bestand teil von VR-Applikationen. Üblicherweiser werden Position und Orientierung des Kopfes im Raum ermittelt, fortgeschrittene Systeme können außerdem die Blickrichtung verfolgen. Die meisten Systeme setzen dazu entweder Ultraschall, magnetische oder Lichtenergie zur Kommunikation zwischen den am Kopf an gebrachten Sendern und den Empfängern ein. Wichtige techni sche Daten, die bei der Auswahl dieser Systeme eine Rolle spielen, sind:

- die Anzahl der Freiheitsgrade für die Bewegungsrichtungen, welche registriert und verfolgt werden können,
- der erfassbare Winkelbereich,
- die statische Genauigkeit (Erschütterungsempfindlichkeit),
- das Auflösungsvermögen,
- die Zuverlässigkeit,
- der Datendurchsatz und die Bildschirm-Abtastfrequenz,
- die Schnittstelle zum Computer sowie
- weitere Performanzaspekte.

VR-Applikationen lassen sich in einer Reihe von unterschied lichen Bereichen in der Praxis erfolgreich anwenden. Im Fol genden werden einige Anwendungsmöglichkeiten beispielhaft skizziert.

- Entwicklung virtueller Prototypen, zum Beispiel in der Au tomobilindustrie: Wegen der zunehmenden Komplexität der zu entwickelnden Bauteile und immer kürzer werdenden Entwick lungszyklen ist es sinnvoll, Planung und Design mit Unter stützung von Computern zu betreiben. Es lassen sich eine höhere Innovationsrate, kürzere Entwicklungszyklen und eine bessere Koordination des in einem Team vorhandenen Wissens erreichen, wenn mehrere Personen parallel das Pro dukt in einer virtuellen Umgebung planen und designen. Durch den Einsatz virtueller Realitäten lassen sich auch komplexe dreidimensionale Gebilde leicht spezifizieren. Die Brauchbarkeit virtueller Prototypen kann anschließend von verschiedenen Benutzern evaluiert werden.
- Einsatz im Ausbildungsbereich: Durch das Erlernen des Um gangs mit (virtuellen) Objekten, interaktive Demonstratio nen, Visualisierung abstrakter Konzepte, virtuelles Trai ning des Verhaltens in gefährlichen Situationen, virtuelle Erforschung entfernter Orte oder Epochen können Wissen vermittelt, kreative Fertigkeiten geschult und Verhaltens muster trainiert werden.
- Fahr- und Flugtraining in entsprechenden Simulatoren:
Durch den Einsatz von Simulatoren kann das Verhalten ins besondere in Notsituationen geschult werden

Die heute verfügbaren Technologien zur Eingabe von Informa tion in ein datenverarbeitendes System lassen sich nach den verwendeten Sensoren in vier Gruppen einteilen: mechanische (z. B. Tastaturen, Mäuse, Trackballs und Joysticks), elektri sche (z. B. taktile Displays und Grafiktabletts), optische (z. B. Lichtgriffel) und akustische (z. B. Spracheingabe- und Sprachinterpretationssysteme). Im Folgenden soll auf die nach dem heutigen Stand der Technik gebräuchlichen Hilfsmittel zur Eingabe von Information, die zur Steuerung von Objekten im Bereich von VR-Applikationen eingesetzt werden, kurz einge gangen werden.

Sowohl Tastaturen, Mäuse, Trackballs als auch Joysticks benö tigen eine Ablagefläche, also einen festen Standplatz. Mit einem Touchscreen dagegen ist es möglich, direkt auf Objekte, die auf dem Bildschirm abgebildet sind, mit dem Finger zu zeigen, ohne weitere platzraubende Zusatzgeräte auf dem Schreibtisch zu benötigen. Niedrig auflösende Touchscreens weisen 10 bis 50 Positionen in waagerechter und senkrechter Richtung auf und benutzen eine horizontale und vertikale Reihe von Infrarot-Leuchtdioden und Fotosensoren, um ein Git ter von unsichtbaren Lichtstrahlen unmittelbar vor dem Bild schirm aufzubauen. Bei einer Berührung des Bildschirms werden sowohl vertikale als auch horizontale Lichtstrahlen unterbro chen. Aus dieser Information kann die aktuelle Fingerposition ermittelt werden.

Eine andere bekannte Ausführungsform berührungssensitiver In formationseingabegeräte ist das kapazitiv gekoppelte Touch- Panel. Dieses liefert eine Auflösung von ca. 100 Positionen in jeder Richtung. Wenn ein Benutzer die leitfähig beschich tete Glasplatte des Touchscreens mit einem Finger berührt, kann aufgrund der Impedanzänderung die aktuelle Fingerposi tion ermittelt werden. Andere hochauflösende Panels verwenden zwei minimal voneinander entfernte, transparente Schichten. Eine davon ist leitfähig beschichtet, die andere mit einem Widerstandsmaterial beschichtet. Durch den Anpressdruck des Fingers berühren sich diese beiden Lagen, und durch Messung des daraus resultierenden Spannungsabfalls kann dann die ak tuelle Fingerposition ermittelt werden. Eine niedriger auflösende und billigere Variante dieser Technologie verwendet an stelle dieser Schichten ein Gitter von feinen Drähten.

C. Unzulänglichkeiten, Auswirkungen und Nachteile der bekann ten Lösung

Die derzeit verwendeten Systeme zur Darstellung und Steuerung von Objekten in virtuellen Umgebungen berücksichtigen zwar in zunehmendem Maße die Fähigkeiten des Menschen zur Aufnahme und Verarbeitung von Information, jedoch weisen sie einen entscheidenden Nachteil auf: Bei der Eingabe von Steuerbefeh len zur direkten Beeinflussung der dargestellten Szene ist der Benutzer nach wie vor auf herkömmliche Methoden zur manu ellen Eingabe von Information angewiesen, wie zum Beispiel über Maus, Trackball, Joystick, Grafiktablett mit Griffel, Touchscreen. Die hierbei notwendigen Eingabemechanismen müs sen vom Benutzer erst erlernt werden, um auch in einer ange messenen Reaktionsgeschwindigkeit ausgeführt werden zu kön nen. Dagegen werden die angeborenen bzw. bereits vorhandenen erlernten Fähigkeiten des Menschen zur Kommunikation mittels akustischen Signalen (z. B. Sprache) bzw. optischen Signalen (z. B. Mimik, Gestik, Gebärden und Bewegungen) bei der Eingabe von Information zur Steuerung von Objekten nur unzureichend berücksichtigt.

Die Manipulation der Eigenschaften und Beeinflussung der Ak tionen von Objekten einer dargestellten Szene setzt ein kom pliziertes Zusammenspiel von Sensorik, kognitiver Verarbei tung und Motorik voraus, auf das viele Faktoren einwirken (individuelle Verhaltensmuster und Fähigkeiten, Erfahrungen, Umwelteinflüsse etc.). Bei Interaktionen in einer virtuellen Welt kommen noch zusätzliche Schwierigkeiten hinzu. Zur Steu erung, Manipulation bzw. Beeinflussung von Objekten ist ins besondere eine reflexartige bzw. kognitive sensorisch-motori sche Rückkopplung wichtig, die beispielsweise von Rezeptoren in der Haut, kinästhetischen Empfindungen, dem Gleichge wichtssinn sowie visuellen und/oder akustischen Empfindungen stammt. Dabei ergibt sich in vielen Fällen eine notwendige Redundanz, die bei VR-Applikationen nicht immer gegeben ist. Aufgrund der unzureichenden sensorischen Rückkopplung bei VR- Applikationen wird zudem das Erlernen motorischer Fertigkei ten erschwert.

D. Durch die Erfindung zu lösende spezielle Aufgabe

Ein ideales Medium zur Kommunikation zwischen einem Benutzer und einem Informationssystem sollte sowohl auf die sensori schen und perzeptuellen als auch auf die motorischen Fähig keiten sowie auf die spezifischen Eigenschaften des menschli chen Benutzers abgestimmt sein. Dabei sollte die Information so strukturiert sein, dass eine optimale Übereinstimmung zwi schen der Repräsentation der ausgegebenen Information und dem mentalen Modell des Benutzers erzielt wird: Werden die dem Benutzer anzuzeigenden Informationen in einer Weise dargebo ten, dass zum Beispiel sein räumliches Wahrnehmungsvermögen angesprochen wird, kann der Benutzer mit erstaunlich komple xen Informationsmengen pro Zeiteinheit umgehen. Ebenso sollte das Informationssystem in der Lage sein, möglichst viele Ar ten der von einem Benutzer abgesetzten Information aufzuneh men, zu verstehen und zu verarbeiten und in entsprechende Ak tionen umzusetzen. Damit ist der Vorteil verbunden, dass der Benutzer effizienter und schneller auf neue Ereignisse und Situationen reagieren kann. Benutzerfreundlichkeit und Aufga benangemessenheit sind somit typische Merkmale, über die ein ideales Medium verfügt. Diese Merkmale können sich wie folgt äußern:

- Übereinstimmung zwischen Art, Umfang und Ausgabegeschwin digkeit und Präsentation der ausgegebenen Information mit den sensorischen Eigenschaften des menschlichen Benutzers,
- Berücksichtigung aller Informationskanäle des Benutzers bei der Aufnahme, Erkennung und Interpretation empfangener Steuersignale des Benutzers,
- leichte Erlernbarkeit und intuitive Bedienbarkeit des Me diums,
- hohe Bandbreite der Informationsübermittlung zum Gehirn und hoher Durchsatz der Information,
- dynamische Adaption der Applikation an die individuellen Eigenschaften, Fähigkeiten, Aufgaben, Arbeits- und Organi sationstechniken des Benutzers,
- Verwendung einer natürlichen Interaktionssprache mit hohem semantischem Inhalt,
- Zuverlässigkeit, Robustheit und Wartbarkeit des Mediums,
- soziale Akzeptanz des Mediums in der Bevölkerung,
- Berücksichtigung gesundheitlicher, ergonomischer und si cherheitsrelevanter Aspekte etc.

Der vorgelegten Erfindung liegt die Aufgabe zugrunde, die be stehende Situation mit technischen Mitteln zu verbessern. Da her widmet sich die Erfindung vorrangig der Aufgabe, komfor table und zuverlässig arbeitende Verfahren bereitzustellen, mit deren Hilfe dem Anwender eine aktive Steuerung virtueller Objekte ermöglicht wird, wobei die bereits vorhandenen Fer tigkeiten des Benutzers zur Aussendung von Information ge nutzt werden. Diese Aufgabe wird durch ein Verfahren mit Merkmalen nach Patentanspruch 1 gelöst.

E. Erfindungsgemäße Lösung der speziellen Aufgabe gemäß den Patentansprüchen und Vorteile dieser Lösung Zu Patentanspruch 1

Der Benutzer soll in die Lage versetzt werden können, mit Hilfe geeigneter Interaktionsmöglichkeiten die Eigenschaften und/oder Aktionen der dargestellten Objekte im Sichtfeld 203 zu manipulieren bzw. zu beeinflussen. Zu diesem Zweck sind zusätzliche hardwaretechnische Hilfsmittel zur manuellen Ein gabe von Steuerbefehlen (z. B. via Tastatur, Maus, Trackball, Joystick oder Touchscreen) nicht unbedingt erforderlich. Die vorliegende Erfindung greift deshalb zur Erfassung und Verar beitung vom Benutzer in Form von Signalen ausgesendeter In formation auf Methoden der Signal- bzw. Mustererkennung zu rück. Erst durch diesen erfinderischen Schritt wird aus einem reinen Ausgabe-Sichtfeld ein interaktiv bedienbares Ein- und Ausgabe-Sichtfeld 203, das an die Fähigkeiten des Benutzers angepasst ist. Bei den durch den Benutzer manipulierbaren Ei genschaften von Objekten einer dargestellten Szene 204 kann es sich beispielsweise um Merkmale wie Ortsvektor, Lage, Aus maße, Betrachtungsperspektive, geometrische Form, Struktur, Kontur bzw. Textur der Objekte handeln. Vorstellbar sind aber auch Interaktionsmöglichkeiten, mit denen die Art der Dar stellung der Objekte verändert wird, wie beispielsweise Farbe bzw. Musterung, Helligkeit, Kontrastwirkung gegenüber dem Hintergrund, Glanzeffekte, Spiegelungen und Reflexionen, Schattierung etc. Bei den durch den Benutzer beeinflussbaren Aktionen von Objekten der dargestellten Szene kann es sich etwa um die Bewegung der Objekte handeln. Die Bewegung der Objekte kann dabei Translations- und/oder Rotationsanteile beinhalten, wobei die kinematischen Daten der Objekte, wie zum Beispiel Betrag und/oder Richtung seines Geschwindig keits- bzw. Beschleunigungsvektors bzw. seines Winkel geschwindigkeits- bzw. Winkelbeschleunigungsvektors, indivi duell gemäß den Steuerbefehlen des Benutzers verändert werden können.

Zu Patentanspruch 2

Die Registrierung der interaktiven Steuerbefehle des Benut zers kann dabei mit Hilfe von Sensoren 502 und/oder Aufnahme geräten 501 erfolgen. Nach der Datenerfassung können die er fassten Eingabe-Daten einer Auswerte- und Steuerungsvorrich tung 503 zugeführt werden, als Steuerbefehle interpretiert und verarbeitet werden. Um die Möglichkeit einer Fehlinter pretation von ausgesendeten Signalen eines Benutzers durch das Datenverarbeitungssystem möglichst gering zu halten und damit die Zuverlässigkeit des Systems zu erhöhen, muss das System an die gewohnten Eigenschaften des Benutzers angepasst werden. Aus diesem Grund müssen dem System alle möglichen Eingabesignale eines individuellen Befehlssatzes des betref fenden Benutzers in einer Trainingsphase mehrfach wiederholt "beigebracht" werden. Entsprechend dieser vom System als Steuerbefehle interpretierten Signale ist es möglich, die Ob jekte einer dargestellten Szene zu manipulieren bzw. zu be einflussen oder/und eine Aktion auszulösen. Die auf diese Weise manipulierten bzw. beeinflussten Objekte oder/und die damit ausgelösten Aktionen können auf einem Sichtfeld 203 dem Benutzer grafisch visualisiert bzw. akustisch und/oder op tisch angezeigt werden. Dadurch ist ein Rückkopplungskreis zwischen Ausgabe- und Eingabedaten gegeben, mit dessen Hilfe die Reaktion auf Änderungen von Objekten einer dargestellten Szene 204 nahezu in Echtzeit ermöglicht werden kann.

Zu Patentanspruch 3

Bei den im Rahmen dieses Verfahrens steuerbaren Objekten kann es sich beispielsweise um real existierende Objekte in einer realen Umgebung handeln. Ein typisches Anwendungsbeispiel ist etwa die Funkfernsteuerung eines Roboters zur Durchführung gefährlicher Arbeiten an schwer zugänglichen und/oder ent fernten Orten, zum Beispiel zur Erledigung von Reparaturar beiten in Kanalisationsrohren, zur Untersuchung radioaktiver Substanzen in hermetisch abgeschotteten Hochsicherheitsräumen oder zur Datengewinnung und -übermittlung bei unbemannten Weltraummissionen. Ein anderes typisches Anwendungsbeispiel ist die Möglichkeit der Fernsteuerung von Arbeits- und/oder Haushaltsgeräten mittels nicht-manueller Eingabeverfahren für körper- oder/und manuell behinderte Menschen. Die Art des Eingabeverfahrens kann dabei auf die individuell vorhandenen Fähigkeiten des Benutzers zugeschnitten sein.

Zu Patentanspruch 4

Vorstellbar sind aber auch Ausführungsbeipiele dieser Erfin dung, bei denen die zu steuernden Objekte nicht real existie rende Objekte in einer virtuellen Umgebung eines computerge steuerten Modells sind. Vor allem im Ausbildungsbereich er scheint der Einsatz von Systemen zur interaktiven Steuerung virtueller Objekte sinnvoll: Durch das Erlernen des Umgangs mit virtuellen Objekten, interaktive Demonstrationen, Visua lisierung abstrakter Konzepte, virtuelles Training des Ver haltens in gefährlichen Situationen, virtuelle Erforschung entfernter Orte oder Epochen können Wissen vermittelt, krea tive Fertigkeiten geschult und Verhaltensmuster trainiert werden. Typische Einsatzgebiete sind beispielsweise Flugsimu latoren, mit deren Hilfe kritische Situationen im Flugverkehr (Triebwerksausfälle, Strömungsabrisse, Notlandungen auf dem Wasser und auf dem Land etc.) von auszubildenden Piloten trainiert werden und Lernfortschritte quantitativ beurteilt werden können.

Zu Patentanspruch 5

Eine natürliche Form der Interaktion von Mensch und Maschine sowie der Eingabe von Information in ein informationsverar beitendes System ist die der natürlichsprachlichen Kommunika tion. Aus diesem Grund bietet sich diese Form der Eingabe für Ausführungsbeispiele der vorliegenden Erfindung an. Die bis her und in absehbarer Zeit verwendeten Spracheingabesysteme machen jedoch nur in einem eingeschränkten Umfang von der na türlichsprachlichen Kommunikation Gebrauch, indem nur Wörter eines vom Hersteller fest vorgegeben Basisvokabulars geringen Umfangs zuzüglich eines benutzerspezifischen Fachvokabulars (in der Regel einige hundert bis tausend Wörter) oder auch Zusammensetzungen dieser Wörter zugelassen werden. Zur Erhö hung der Erkennungsrate muss ein Anwender sowohl das Basisvo kabular als auch sein benutzerspezifisches Fachvokabular dem System in einer Trainingsphase mehrfach wiederholt vorspre chen, damit sich das System auf die Stimme des Benutzers und etwaige Abweichungen vom Normalzustand der Stimme, zum Bei spiel infolge Erkältung oder Heiserkeit des Benutzers, ein stellen kann. Bei einer Ausführungsform spracherkennender Systeme werden während dieser Trainingsphase vom System sta tistische Modelle (in der Regel "Hidden-Markov-Modelle") ge neriert, mit deren Hilfe beispielsweise der Abfolge einzelner Phoneme bzw. Silben der trainierten Wörter Wahrscheinlich keitsdichtefunktionen zugeordnet werden, so dass neu vorge sprochene Wörter mit einer vorhersagbaren Wahrscheinlichkeit als richtig bzw. falsch erkannt werden.

Zu Patentanspruch 6

Bei der Vorrichtung 503 zur Erkennung und Interpretation der Steuerbefehle des Benutzers kann es sich beispielsweise um ein automatisches Erkennungssystem für akustische Signale handeln, speziell für Sprachsignale. Die meisten der heute eingesetzten automatischen Spracherkennungssysteme sind zum Beispiel wort-, silben- oder phonembasierte Systeme, die nur für kontextunabhängige Spracherkennung konzipiert sind. Das bedeutet, dass die aus Wörtern eines trainierten Vokabulars bestehenden Sprachkommandos dem System derzeit mit ausrei chend großen Sprechpausen ("diskret") vorgesprochen werden müssen, um für den Benutzer akzeptable Worterkennungsraten im Bereich von ca. 90% bis 95% zu erzielen. Handelsübliche poly phonbasierte Prototypen kontextabhängiger Spracherkennungs systeme für fließend ("kontinuierlich") gesprochene Sprache erreichen heute schon Worterkennungsraten von ca. 95% bis 98%. Allerdings ist die Rechenleistung des Systems für konti nuierliche kontextabhängige Spracherkennung so groß, dass sie auch auf den derzeitigen Hochleistungsrechnern nicht mehr in Echtzeit durchgeführt werden kann.

Zu Patentanspruch 7

Eine weitere Form der Mensch-Maschine-Kommunikation, welche den Eigenschaften und Fertigkeiten des Benutzers entgegen kommt, ist die der Auswertung von optischen Signalen, wie etwa Körper-, Kopf-, Gesichts-, Bein-, Fuß-, Arm-, Hand- und/oder Fingerbewegungen, also Gebärden, Gestik und/oder Mi mik. Die weitverbreiteten Fähigkeiten des Menschen, Informa tionen durch die Position, Raumrichtung und Bewegung von Kör perteilen zu kodieren, stellt heute noch eine große Heraus forderung für die Gestaltung von Eingabeverfahren für die Mensch-Maschine-Kommunikation dar.

Zu Patentanspruch 8

Zum Empfang von optischen Signalen des Benutzers können Sen soren 202 und/oder Aufnahmegeräte 201 verwendet werden. Kon kret kann es sich dabei um optische bzw. akustische Abstands sensoren und/oder Videokameras handeln. Der Abstandssensor kann über eine Ultraschall- bzw. hochfrequente Strahlungs quelle verfügen sowie einem Detektor und Vorrichtungen, die den Schall bzw. die Strahlung auf das Messobjekt bündeln und die vom Messobjekt reflektierten Schall- bzw. Lichtwellen auf dem Detektor sammeln. Dabei kann ein Teil des Umgebungs schalls bzw. der Umgebungsstrahlung mit Hilfe von Filtern ab geblockt werden. Damit das Sensorsystem unabhängig von den Umgebungsbedingungen zuverlässig funktioniert, kann eine Kom pression, Kodierung und Modulation der von der Signalquelle ausgesendeten Signale und eine geeignete Signalverarbeitung auf der Detektorseite zur Demodulation, Dekodierung und De kompression der empfangenen Signale vorgesehen sein.

Zu Patentanspruch 9

Bei der Vorrichtung 503 zur Interpretation von interaktiven Steuerbefehlen eines Benutzers kann es sich beispielsweise auch um ein automatisches Erkennungssystem für Bewegungssig nale handeln, wobei Methoden der Bildverarbeitung zum Einsatz gelangen können. Eine Möglichkeit ist zum Beispiel, die Lip penbewegungen des Benutzers beim Sprechen zu analysieren, um damit die Erkennungssicherheit der Spracheingabe zu erhöhen. Moderne Untersuchungen haben gezeigt, dass durch die Kombina tion von akustischer und optischer Spracherkennung im Ver gleich zur ausschließlich akustischen Spracherkennung die Wortfehlerrate bei einzelnen Sprechern um 30% bis 50% gesenkt werden kann. Andere Ausführungsformen können die Kopf- und/oder Augenbewegungen zur Informationseingabe verwenden. Hierzu ist eine Vermessung der Kopf- und/oder Blickrichtung erforderlich. Bei einem seit 1982 bekannten Eingabeverfahren, das auf einer Messung der Blickrichtung des Anwenders durch berührungslose Erfassung der Kopfbewegung beruht, erfolgt mittels eines vor einem Auge angebrachten Visiers die visu elle Rückkopplung der Kopfposition. Weiter ist am Kopf eine kleine Lichtquelle angebracht, deren Position mit Hilfe einer Videokamera vermessen wird, so dass Kopfbewegungen um zwei Drehachsen (horizontal und vertikal) erfasst werden können. Ein anderes Eingabeverfahren, das auf der Messung der Augen bewegungen basiert, ist seit 1987 bekannt. Dabei wird davon ausgegangen, dass die Auswahl eines auf einer optischen An zeige dargestellten Objekts eine der häufigsten Eingabeopera tionen ist und dass die visuelle Fixierung eines auszuwählen den Objekts eine normale Verhaltensweise des Menschen ist. Diese Art der Eingabe wird vor allem bei hohen Anforderungen an die Geschwindigkeit der Eingabe bzw. bei Behinderung der Hände oder Belegung durch andere Aufgaben empfohlen.

Zu Patentanspruch 10

Bei der Ausgabevorrichtung 505 zur Darstellung einer virtuel len Umgebung kann es sich beispielsweise um ein Gerät zur Er zeugung eines sogenannten "Virtual Retinal Display" (VRD) handeln, bei dem eine virtuelle Bildfläche 203 auf die Netz haut 206 des Anwenders projiziert wird. Anstelle eines Bild schirms oder einer Anzeigevorrichtung wird lediglich eine ko härente Photonenstrahlung aussendende Lichtquelle benötigt. Dabei kann es sich um ein Gerät aus dem Arbeits- oder Frei zeitbereich bzw. um eine Orthese handeln, die eine Erweite rung des menschlichen Sehvermögens bewerkstelligt. Gegenüber realen Displays weist ein VRD folgende Vorteile auf: 1. Die Auflösung des VRD wird lediglich durch die Beugung und opti sche Aberration des Lichtstrahls im menschlichen Auge be grenzt, nicht aber durch die bei Bildschirmen oder realen Displays technisch realisierbare Größe eines elementaren Bildelements (Pixelgröße). Aus diesem Grund können Bilder mit einer sehr hohen Auflösung generiert werden. 2. Die mit Hilfe eines VRDs erzielbare Bildhelligkeit kann durch die Intensi tät des ausgesendeten Lichtstrahls gesteuert werden. Bei Ver wendung eines Lasers als Lichtquelle kann die Bildhelligkeit des VRDs groß genug eingestellt werden, um im Freien einge setzt werden zu können. 3. VRDs können entweder in einem Mo dus für virtuelle Realitäten oder in einem Modus für angerei cherte Realitäten ("See-Through Modus") betrieben werden. 4. Die industrielle Fertigung einer Lichtquelle zur Generierung eines VRDs ist verhältnismäßig einfach und im Vergleich mit konventionellen Bildschirmen und Anzeigevorrichtungen mit ge ringen Produktionskosten durchführbar. 5. Da ein Großteil des generierten Lichts auf die Netzhaut des Betrachters fokus siert wird, arbeiten VRDs mit einem hohen Wirkungsgrad und weisen einen im Vergleich zu Bildschirmen und realen Displays geringen Leistungsverbrauch auf.

Zu Patentanspruch 11

Die virtuelle Bildfläche 401 kann beispielsweise virtuelle eingabesensitive Referenzpunkte 404, 405, 406 und 407 und/oder -flächen 403 in einer virtuellen Bildebene vorgege bener Raumrichtung aufweisen. Dies können ebene Flächen mit vorgegebenem Flächeninhalt sein. Die Raumrichtung der virtu ellen Bildebene kann vorzugsweise senkrecht zur Blickrichtung orientiert sein, also dergestalt, dass der Normalenvektor n der virtuellen Bildebene parallel bzw. antiparallel zum Blickrichtungsvektor b liegt. Eingaben werden jeweils dann ausgelöst, wenn ein reales Objekt (ein Gegenstand oder ein Körperteil des Benutzers) die Ebene des virtuellen Displays an einer solchen eingabesensitiven Fläche 205 berührt bzw. die Fläche in einem beliebigen Eintrittswinkel schneidet. Mit Hilfe von Methoden der Mustererkennung kann es ermöglicht werden, eine beabsichtigte Eingabe von einer unbeabsichtigten Eingabe zu unterscheiden. Dabei könnte beispielsweise der Zeigefinger der rechten Hand eines Benutzers als einziges Eingabemedium erkannt werden. Eine Interaktion wird in diesem Fall nur dann zugelassen, wenn dieser Finger eine eingabesen sitive Fläche in einer virtuellen Bildebene schneidet bzw. berührt.

Zu Patentanspruch 12

Der Abstand des Lotfußpunkts der virtuellen Bildebene zum Punkt schärfster Abbildung auf der Netzhaut eines der Augen 304 des Betrachters bzw. die Begrenzung und räumliche Aus richtung der Bildfläche 303 der virtuellen Bildebene kann durch die Erkennung von optischen Signalen des Benutzers mit Hilfe eines optischen oder akustischen Abstandssensors 502, einer Videokamera 501 sowie einer nachgeschalteten Auswerte elektronik 503 vorgenommen werden.

Zu Patentanspruch 13

Bei den optischen Anzeigevorrichtungen wird neben konventio nellen analogen und digitalen Displays zunehmend der Bildschirm eingesetzt, da hier die Kodierung der Information durch viele verschiedene Arten (Text, Graphik, Bild, Anima tion etc.) erfolgen kann. Außerdem stehen hier die Möglich keiten der flexiblen Organisation der Information zur Verfü gung, mit denen der erforderliche Such- und Auswahlvorgang einzelner Objekte unterstützt werden kann. Zur Darstellung räumlicher Sachverhalte können 3D-Anzeigen bzw. 3D-Brillen verwendet werden. Bei allen diesen optischen Anzeigen sind bei der Ablesung neben der dazu nötigen Aufmerksamkeit des Benutzers Bewegungen des Kopfes und/oder der Augen erforder lich. Zur Verhinderung der visuellen Ablenkung des Benutzers können, zum Beispiel bei der Flugzeug- oder Fahrzeugführung, Projektionsvorrichtungen ("Head up"-Anzeigen) verwendet wer den, bei denen die abzulesende Information in den Sichtbe reich eingeblendet wird, auf den das Auge zur Wahrnehmung der Hauptaufgabe (etwa der Flugzeug- oder Fahrzeugführung) vor zugsweise ausgerichtet ist. Eine Sonderform ist die Ausfüh rung als helmbasierte Anzeigevorrichtung in Form eines "Head- Mounted Displays" (HMD), bei der die Anzeigeeinheit im Helm des Benutzers befestigt ist. Herkömmliche VR-Anwendungen ver wenden HMDs zur Darstellung virtueller Welten über ein Ste reodisplaysystem sowie über Raumklangsysteme oder an das HMD gekoppelte Kopfhörer. Damit die dreidimensionale virtuelle Umgebung dem Betrachter auch bei Kopfbewegungen stabil er scheint, muß die Kopfbewegung in den sechs Freiheitsgraden erfaßt und dem Display weitergegeben werden. Dies muß mit ei ner genügend hohen Frequenz von mindestens 70 Hz erfolgen. Zur Messung der Kopfbewegung werden bisher eine Vielzahl ver schiedener Messsysteme eingesetzt. Viele sind jedoch entweder für den Betrachter unbequem oder in der Beschaffung zu teuer. Zusätzliche können akustische bzw. haptische Ausgabevorrich tungen vorhanden sein, da akustische und haptische Signale geringer Intensität keine visuelle Ablenkung des Benutzers bewirken. Allerdings sind haptische Signalgeber derzeit nur als Blindenhilfsmittel in breitem Einsatz.

F. Figurenbeschreibung

Im Folgenden wird die Erfindung anhand bevorzugter Ausfüh rungsbeispiele, wie sie in den Fig. 1 bis 5 geschildert sind, näher beschrieben.

Im Detail zeigen

Fig. 1 ein Designmuster 101, eine Prinzipdarstellung 102 sowie ein typisches Anwendungsbeispiel 103 eines "Virtual Retinal Displays" (VRD) aus der Sicht des Benutzers (Quelle: "Technologies to Watch", Ausgabe Mai 2000),

Fig. 2 eine schematische Darstellung des Eingabeverfahrens über ein VRD,

Fig. 3 eine schematische Darstellung zur Erfassung des Ab stands der virtuellen Bildebene bei einem VRD,

Fig. 4 ein Beispiel zur Erfassung der virtuellen Eckpunkt koordinaten 404, 405, 406 und 407 der Bildfläche 401 eines VRD und

Fig. 5 einen schematischen Hardwareaufbau zur Erfassung der Eingabe und Steuerung der Ausgabe eines VRD.

In Fig. 1 ist ein Designmuster 101 eines Microvision-Systems zur Erzeugung eines VRDs, eine Prinzipdarstellung 102 der Funktionsweise des VRDs sowie ein typisches Anwendungsbei spiel 103 eines VRDs dargestellt. Bei dem dargestellten An wendungsbeispiel handelt es sich um eine Spannungsmessung im Kraftfahrzeugbereich, bei der dem Anwender über ein VRD Seriennummer, Profil, Messwerte und die gemessene Spannungs- Zeit-Kennlinie des geprüften Bauteils eingeblendet werden.

In Fig. 2 wird das Verfahren der Eingabe über berührungssen sitive Schaltflächen 205 bei VRDs demonstriert. Abgebildet ist die Bildfläche 203 der virtuelle Bildebene mit den darin enthaltenen Teilbereichen für die virtuelle Ausgabefläche 204 und die virtuellen Taster bzw. Schalter 205. Werden die Ein gabeflächen von einem Finger des Benutzers 207 oder einem Ge genstand berührt bzw. in einem beliebigen Eintrittswinkel durchstoßen, wird eine Eingabe erkannt und entsprechende Ak tion ausgelöst. Die Eingaben des Benutzers können mit Hilfe einer Videokamera 201 und/oder einem Abstandssensor 202 er fasst werden.

Fig. 3 veranschaulicht bildhaft das Verfahren zur Bestimmung des Abstands der virtuellen Bildebene zur Netzhaut eines der Augen 304 des Betrachters bei einem VRD. Durch die Position und räumliche Ausrichtung der ausgestreckten Handfläche 305 des Benutzers werden der Aufpunkt und die beiden Richtungs vektoren der virtuellen Bildebene 303 bestimmt. Zu diesem Zweck kann beispielsweise ein Ultraschall- bzw. Infrarotwel len aussendender Abstandssensor 302, eine Videokamera 301 so wie ein Verfahren zur Signal- bzw. Mustererkennung herange zogen werden. Idealerweise wird die räumliche Orientierung der virtuellen Bildebene vom Benutzer dergestalt festgelegt, dass der Normalenvektor n der virtuellen Bildebene parallel bzw. antiparallel zum Blickrichtungsvektor b verläuft, also das Skalarprodukt der betragsnormierten Vektoren n/||n||₂ und b/||b||₂ die Werte +1 bzw. -1 ergibt. Der Abstand der virtu ellen Ebene zum Betrachter ergibt sich dann als der Abstand zwischen dem Lotfußpunkt, also dem Schnittpunkt zwischen vir tueller Bildebene und Blickrichtungsgerade, und dem Punkt schärfster Abbildung auf der Netzhaut eines der Augen 304 des Betrachters.

In Fig. 4 wird gezeigt, wie die Begrenzungspunkte einer vir tuellen polygonalen Bildfläche 401 eingegeben werden. In dem skizzierten Beispiel wurde über Vorgabe von vier Eckpunkten eine rechteckige Bildfläche definiert. Dabei können die kar tesischen Koordinaten der Bildflächen-Eckpunkte 404, 405, 406 und 407 an denjenigen Raumpositionen generiert werden, an de nen beispielsweise ein Finger einer Hand 408 des Benutzers oder ein Gegenstand die virtuelle Bildebene 401 berührt bzw. schneidet. Durch die Pfeile ist dabei die Bewegung des Fin gers von einem Eckpunkt zum nächsten Eckpunkt der virtuellen Bildfläche angedeutet. Über die virtuellen Schalter bzw. Tas ter 403 können beispielsweise die Funktionen für das Ein- bzw. Ausschalten des auf der virtuellen Ausgabefläche 402 dargestellten Bildes, für das Umschalten zwischen mehreren Informationskanälen, für die Modus-Auswahl zur Einstellung von System- und/oder Bildparametern sowie für das Archiv zum Speichern von Ton- und/oder Bildsequenzen gesteuert werden.

Fig. 5 zeigt den Rückkopplungskreis zwischen Mensch und Ma schine, der den schematischen Hardewareaufbau zur Erfassung der Eingabe und Steuerung der Ausgabe bei einem VRD enthält. Die über eine Videokamera 501 bzw. einen Abstandssensor 502 erhaltenen optischen Informationen des Benutzers werden dabei einer zentralen Steuerungseinheit 503 zugeführt, in der die Erkennung, Interpretation und Verarbeitung der Informationen erfolgt. Nach Auslösung einer entsprechenden Aktion werden die neu ermittelten bzw. berechneten Daten an die Steuerungs einheit 504 zur Steuerung des VRD weitergeleitet. Dieser übernimmt dann die Ausgabe der Text- und/oder Bilddaten über ein beispielsweise laserbetriebenes VRD 505. Nach Aufnahme und Verarbeitung dieser Ausgabedaten durch den menschlichen Benutzer 506 kann dann eine neue Reaktion des Benutzers auf den veränderten Ist-Zustand einsetzen.

Die Bedeutung der in den Fig. 1 bis 5 mit Ziffern bezeich neten Symbole kann der nachfolgenden Bezugszeichenliste ent nommen werden.

Bezugszeichenliste

Nr. Bezeichnung

101

Designmuster eines Microvision-Systems zur Erzeugung eines "Virtual Retinal Displays" (VRD)

102

Prinzipdarstellung der Funktionsweise eines VRD-Systems

103

Anwendungsbeispiel eines VRD-Systems aus der Sicht des An wenders

201

Videokamera

202

Optischer bzw. akustischer Abstandssensor

203

Bildfläche in der virtuellen Bildebene des VRD (virtuelles Sichtfeld bzw. virtuelles Display)

204

Virtuelle Ausgabefläche

205

Berührungssensitive Eingabeflächen (virtuelle Tasten bzw. virtuelle Schalter)

206

z. B. rechtes Auge des Benutzers

207

Auslösung einer Eingabe über das VRD durch Berührung bzw. Durchstoßung einer berührungssensitiven Eingabefläche durch einen Finger des Benutzers

301

Videokamera

302

Optischer bzw. akustischer Abstandssensor

303

304

z. B. rechtes Auge des Benutzers

305

z. B. rechte Hand des Benutzers

401

402

Virtuelle Ausgabefläche

403

Berührungssensitive Eingabeflächen (virtuelle Tasten bzw. virtuelle Schalter)

404

Linke obere Ecke der Bildfläche des VRD

405

Rechte obere Ecke der Bildfläche des VRD

406

Rechte untere Ecke der Bildfläche des VRD

407

Linke untere Ecke der Bildfläche des VRD

408

z. B. rechte Hand des Benutzers

501

Videokamera

502

Optischer bzw. akustischer Abstandssensor

503

Zentrale Steuerungseinheit (CCU)

504

Steuerungseinheit zur Steuerung des VRD

505

Steuerungseinheit für ein laserbetriebenes VRD

506

Perzeption und Verarbeitung der aufgenommenen Information durch den menschlichen Benutzer und Reaktion des Benutzers auf die veränderte Sachlage

Claims

1. Verfahren zur visuellen Darstellung von Objekten auf min destens einem Sichtfeld (203), dadurch gekennzeichnet, dass mindestens ein dargestelltes Objekt mit Hilfe interaktiver Steuerbefehle eines Benut zers in seinen Eigenschaften und/oder Aktionen manipu liert, gesteuert bzw. beeinflusst werden und/oder die Mög lichkeit einer Navigation des Benutzers in einer darge stellten Szene (204) gegeben ist, wobei die Erfassung und Verarbeitung der vom Benutzer eingegebenen Information mit Hilfe von Methoden der Signal- bzw. Mustererkennung er folgt und somit keine zusätzlichen manuell bedienbaren, mechanischen bzw. berührungssensitiven Hardware-Vorrich tungen zur Eingabe von Steuerbefehlen benötigt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass

a) die interaktiven Steuerbefehle des Benutzers mit Hilfe von Sensoren (502) und/oder Aufnahmegeräten (501) registriert werden,
b) die erfassten Eingabe-Daten einer Auswerte- und Steu erungsvorrichtung (503) zugeführt und als Steuerbe fehle interpretiert werden und
c) die Objekte entsprechend diesen Steuerbefehlen mani puliert bzw. beeinflusst werden oder/und eine Aktion ausgelöst wird
d) die manipulierten bzw. beeinflussten Objekte oder/und die ausgelöste Aktion auf einem Display (204) visua lisiert bzw. akustisch und/oder optisch angezeigt werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den zu steuernden Objekten um real existierende Objekte in einer realen Um gebung handelt.

4. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass es sich bei den zu steuernden Objekten um nicht real existierende Objekte in einer vir tuellen Umgebung eines computergesteuerten Modells han delt.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass es sich bei den interaktiven Steuerbefehlen eines Benutzers um akustische Signale, wie etwa Sprachkommandos, handelt.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass es sich bei der Vorrichtung (503) zur Interpretation von Steuerbefehlen um ein automa tisches Erkennungssystem für Sprachsignale handelt.

7. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass es sich bei den interaktiven Steuerbefehlen eines Benutzers um optische Signale, wie etwa Körper-, Kopf-, Fuß-, Hand- und/oder Fingerbewegun gen, also Gebärden, Gestik und/oder Mimik, handelt.

8. Verfahren nach einem der Ansprüche 1 bis 4 oder 7, dadurch gekennzeichnet, dass es sich bei den Sensoren (502) und/oder Aufnahmegeräten (501) zur Registrierung von optischen Signalen des Benutzers um Abstandssensoren und/oder Videokameras handelt.

9. Verfahren nach einem der Ansprüche 1 bis 4, 7 oder 8, dadurch gekennzeichnet, dass es sich bei der Vorrichtung zur Interpretation von Steuerbefehlen um ein automatisches Erkennungssystem für Bewegungssignale handelt.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass es sich bei der Ausgabevor richtung 505 zur Darstellung einer virtuellen Umgebung um ein Gerät zur Erzeugung eines sogenannten "Virtual Retinal Displays" (VRD) handelt, bei dem ein virtuelles Display (203) auf die Netzhaut des Anwenders projiziert wird.

11. Verfahren nach einem der Ansprüche 1 bis 4 oder 7 bis 10, dadurch gekennzeichnet, dass Eingaben ausgelöst werden, wenn ein reales Objekt die Ebene des virtuellen Displays (401) an einer eingabesensitiven Fläche (403) schneidet bzw. berührt.

12. Verfahren nach einem der Ansprüche 1 bis 4 oder 7 bis 11, dadurch gekennzeichnet, dass die Ermittlung des Abstands zwischen der Ebene (303) des virtuellen Displays und der Netzhaut eines der Augen (304) des Benutzers bzw. die Be grenzung und räumliche Ausrichtung der Fläche (401) des virtuellen Displays durch die Erkennung von optischen Sig nalen des Benutzers mit Hilfe eines Abstandssensors (502) sowie einer nachgeschalteten Auswerteelektronik (503) vor genommen wird.

13. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass es sich bei der Ausgabevor richtung (505) zur Darstellung einer virtuellen Umgebung um ein sogenanntes "Head-Mounted Display" (HMD) handelt.