DE10056291A1 - Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld - Google Patents
Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-SichtfeldInfo
- Publication number
- DE10056291A1 DE10056291A1 DE2000156291 DE10056291A DE10056291A1 DE 10056291 A1 DE10056291 A1 DE 10056291A1 DE 2000156291 DE2000156291 DE 2000156291 DE 10056291 A DE10056291 A DE 10056291A DE 10056291 A1 DE10056291 A1 DE 10056291A1
- Authority
- DE
- Germany
- Prior art keywords
- user
- virtual
- objects
- control commands
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur grafischen Visualisierung von Objekten, mit dessen Hilfe die auf mindestens einem Sichtfeld 203 dargestellten Objekt durch interaktive Steuerbefehle eines Benutzers in ihren Eigenschaften und/oder Aktionen auf eine komfortable und zuverlässige Weise manipuliert, gesteuert bzw. beeinflusst werden. Bei den dabei verwendeten Technologien zur Eingabe der vom Benutzer abgesetzten Steuerbefehle kann es sich neben den standardmäßigen manuell bedienbaren, mechanischen bzw. berührungssensitiven Eingabemechanismen über Tastatur, Maus, Trackball, Joystick, Grafiktablett und Griffel, taktile Displays etc. um Vorrichtungen 501, 502 und 503 zur Aufnahme, Erkennung, Interpretation und Verarbeitung akustischer und/oder optischer Signale eines Benutzers handeln. Der Benutzer ist somit nicht mehr auf das Vorhandensein zusätzlicher Hardware-Vorrichtungen zur manuellen Eingabe von Steuerbefehlen angewiesen. Die Auswertung der eingegebenen Information kann stattdessen bzw. zusätzlich mit Hilfe von Methoden der Signal- bzw. Mustererkennung erfolgen. Erst durch diesen erfinderischen Schritt wird aus einem reinen Ausgabe-Sichtfeld, bei dem keine Steuerungsmöglichkeit für den Benutzer vorgesehen ist, ein interaktiv bedienbares Ein- und Ausgabe-Sichtfeld 203. Die Art des Eingabeverfahrens kann dabei auf die individuell vorhandenen Fähigkeiten des Benutzers zugeschnitten sein.
Description
Im Rahmen der Kommunikation zwischen Mensch und Maschine tre
ten häufig Probleme auf, die auf der ungenügenden Anpassung
der Maschine an die Eigenschaften der Aufnahme, Verarbeitung
und Ausgabe von Information durch den menschlichen Anwender
beruhen. Diese Fehlanpassung kann einerseits zu einer vom An
wender nicht mehr zu bewältigenden Informationsflut führen,
vor allem wenn mehrere Aufgaben erledigt werden müssen. Ande
rerseits kann auch eine Unterforderung des Anwenders, bei
spielsweise bei einer hochautomatisierten Anlage, bei der dem
Menschen lediglich eine Kontrollfunktion zukommt, bewirken,
dass durch die Monotonie der Arbeitssituation ein Leistungs
abfall eintritt und Störfälle infolge mangelnder Übung der
Vorgehensweise in solchen Situationen nicht mehr beherrscht
werden. Auch die mangelnde Berücksichtigung der Kenntnisse
und des Ausbildungszustands des Benutzers einer Maschine sind
hier zu nennen. Das menschliche Verhalten wird, zum Beispiel
bei der Auswahl, Bewertung und Verknüpfung von Information,
bei der Entscheidungsfindung, beim Problemlösen sowie bei der
Planung und Ausführung von Handlungen, nur unzureichend be
rücksichtigt und unterstützt, wenn es sich um die Auslegung
technischer Systeme handelt.
Für die Anpassung technischer Systeme an den Menschen ist so
mit Vorwissen über seine Eigenschaften, seine Verhaltensmus
ter, seine Fertigkeiten und seinen Kenntnisstand notwendig.
Im Zusammenhang mit der Mensch-Maschine-Kommunikation inter
essieren also seine sensorischen, kognitiven und motorischen
Eigenschaften. Auf der Seite der durch die Sinneskanäle vorgegebenen
sensorischen Eigenschaften des Menschen werden von
herkömmlichen Maschinen und Geräten zur Ausgabe von Informa
tion im Wesentlichen die folgenden Kanäle angesprochen:
- - der visuelle Kanal (Augen) durch optische Signale,
- - der auditive Kanal (Ohren) durch akustische Signale und
- - der taktile Kanal (Tastsinn) durch haptische Signale.
Nach der Verarbeitung der Signale im Gehirn (Kognition) ste
hen auf der Seite der durch die Ausgabekanäle vorgegebenen
motorischen Eigenschaften des Menschen im Wesentlichen fol
gende Kanäle zur Verfügung:
- - die Arm-, Hand- und Finger- bzw. Bein- und Fußmotorik so wie Körper-, Kopf-, Augen- oder Mundbewegungen, also phy sikalische Bewegungen, Gebärden, Gestik und Mimik für me chanische bzw. optische Signale,
- - die Sprachmotorik für akustische Signale.
Über diese Kanäle können Signale in ein Informationssystem
eingegeben werden, um eine gewünschte Aktion des Systems aus
zulösen.
Das Ziel der Entwicklung von geeigneten Schnittstellen zwi
schen Mensch und Maschine ist es, von den Eigenschaften der
menschlichen Kommunikationskanäle und Fertigkeiten auszuge
hen, um Geräte, Interaktionstechniken und Schnittstellen be
reitzustellen, die eine effektive wechselseitige Kommunika
tion über diese Kanäle gewährleisten. Um dieses Ziel zu er
reichen, sind sogenannte "Virtuelle Realitäten" (VR) beson
ders geeignet. Unter dem Begriff "Virtuelle Realität" (VR)
versteht man die computerbasierte Erzeugung einer intuitiv
wahrnehmbaren oder empfindbaren Szene, bestehend aus ihrer
grafischen Darstellung und den Interaktionsmöglichkeiten für
den Benutzer. Eine virtuelle Umgebung ermöglicht einem Benut
zer Zugriff zu Informationen, die andernfalls am gegebenen
Ort oder zur gegebenen Zeit nicht verfügbar wären. Sie stützt
sich auf natürliche Aspekte der menschlichen Wahrnehmung, in
dem sie visuelle Information in drei räumlichen Dimensionen
einsetzt. Diese Information kann beispielsweise gezielt ver
ändert oder mit weiteren sensorischen Reizen angereichert
werden. Wesentliche Voraussetzungen sind die Kontrolle der
Perspektive in Echtzeit und die Möglichkeit der aktiven Ein
flussnahme auf die dargestellte Szene durch den Benutzer des
Systems.
Bei der Navigation durch virtuelle Umgebungen kann der Benut
zer die für ihn natürliche Art der Steuerung einsetzen. Dies
können beispielsweise entsprechende Arm- oder Beinbewegungen,
Positionieren des Kopfes bzw. der Augen, Drehen des Körpers
oder Zulaufen auf ein Objekt beinhalten. Durch den Einsatz
bereits vorhandener Fertigkeiten des Benutzers zur Steuerung
kann die kognitive Belastung während der Interaktion zwischen
Mensch und Maschine reduziert werden. Dadurch kann die Band
breite der Kommunikation zwischen Mensch und Maschine erhöht
und die Bedienbarkeit der Maschine verbessert werden. Während
bei den herkömmlichen Formen der Mensch-Maschine-Kommunika
tion die Steuerung der Maschine kommandoorientiert erfolgt,
müssen bei der Steuerung von Objekten in virtuellen Umgebun
gen keine spezifischen Kommandos neu erlernt und eingesetzt
werden: Der Computer "beobachtet" den Benutzer passiv und re
agiert aufgrund von dessen Augen-, Kopf- und/oder Handbewe
gungen etc. unter Echtzeitbedingungen in angemessener Weise.
Bei den handelsüblichen VR-Applikationen unterscheidet man
Systeme, bei denen der Benutzer vollständig in die virtuelle
Umgebung integriert ist (engl.: "Immersion") und Systeme, die
nur ein "Fenster" zur virtuellen Realität darbieten. Neben
den bekannten Formen der Mensch-Maschine-Kommunikation wie
- - Direktmanipulation von Objekten durch manuelle feinmotori sche Operationen (Zeigen, Berühren, Greifen, Bewegen, Festhalten etc.),
- - formale Interaktionssprachen (Programmiersprachen, Komman dosprachen und formale Abfragesprachen),
- - natürlichsprachliche Interaktion,
- - gestische Interaktion mittels nonverbaler symbolischer Kommandos (Mimik, Gestik, Gebärden, Bewegungen) sowie
- - hybride aufgabenorientierte Interaktionsformen
kann man virtuelle Realitäten auch als eine neue Form der
Mensch-Maschine-Kommunikation auffassen. Wie der Name
"Virtuelle Realität" schon andeutet, ist hierfür eine gewisse
Realitätstreue der Darstellung notwendig: Dem Anwender soll
diejenige sensorische Information dargeboten werden, die zur
Bearbeitung einer Aufgabe oder zum Erreichen eines Ziels er
forderlich ist.
Die visuelle Wahrnehmung liefert nicht nur Informationen über
die Lage, Bewegung, Form, Struktur, Kontur, Textur, Farbe
bzw. Musterung von Objekten etc., sondern auch Informationen
über die relative Körperstellung des Betrachters und dessen
Bewegungen sowie über die Beschaffenheit der dreidimensiona
len Umgebung. Synthetisch generierte Umgebungen können dabei
realistischer gestaltet werden, wenn möglichst viele der in
natürlichen Umgebungen auftretenden Informationen (Bewegungs
parallaxe, Fluchtpunkte der perspektivischen Darstellung,
räumliche Tiefenwirkung und Plastizität, Beleuchtung und
Schattenwurf, Verdeckung, Glanzwirkung, Spiegelungseffekte
und diffuse Reflexion etc.) simuliert werden. Wie viele und
welche Informationen präsentiert werden sollen, hängt von der
jeweiligen Aufgabenstellung ab. Die Unterschiede zwischen re
aler und virtueller Welt bestimmen, als wie realistisch die
Simulation wahrgenommen wird.
Die visuelle Information muss zur Realisierung virtueller Re
alitäten durch einen Computer simuliert werden. Dabei sind
ähnliche Aspekte relevant wie in der Malerei. Bei der compu
tergestützten Simulation dreidimensionaler Welten wird übli
cherweise die Projektion einzelner Lichtstrahlen simuliert.
Ausgangspunkt einer solchen Simulation ist die Spezifikation
der zu simulierenden Umgebung. Dazu müssen die einzelnen Ob
jekte mit ihren Eigenschaften und ihrer Lage festgelegt wer
den. Zur Visualisierung werden dann die Intensitäten einzel
ner Bildpunkte berechnet und auf das Ausgabemedium proji
ziert.
Mit Hilfe dieser Simulationen lassen sich völlig neue Arten
des Lernens und Übens realisieren (Beispiele: Fahrzeug- bzw.
Flugzeugsimulator), andererseits wird dabei immer auch von
bestimmten Aspekten der realen Welt abstrahiert. VR-Applika
tionen bewirken daher gleichzeitig eine Anreicherung und eine
Einschränkung der Erfahrungsmöglichkeiten des Anwenders.
Grundsätzlich bestehen VR-Systeme aus Sensoren und Aktoren
sowie deren Kopplung. Wichtige Hardware-Bestandteile sind un
ter anderem folgende:
- - "Displays" zur Präsentation der virtuellen Umgebung. Im Rahmen der visuellen Präsentation kommen heute vor allem Monitore, "Head Mounted Displays" (HMD), "Binocular Omni- Oriented Monitors" (BOOM) und Projektionssysteme; verwen det werden aber auch auditive bzw. taktile Displays, wel che auf akustische bzw. manuelle Benutzereingaben reagie ren.
- - Positionierungs- und Orientierungssysteme zur Erfassung von Standort und Perspektive des Benutzers. Hierbei wird unterschieden zwischen der Bestimmung der absoluten Posi tion (engl.: "Position Tracking") und der Messung der Beu gung von Gelenken (engl.: "Angle Measurement"). Zum Ein satz kommen elektromagnetische, kinematische, akustische, optische sowie bildverarbeitende Prozeduren.
- - Interaktions- und Manipulationssysteme zum Agieren und Re agieren des Anwenders in der virtuellen Umgebung. Hierfür werden Zeigegeräte (2D- bzw. 3D-Mäuse, -Trackballs, -Joy sticks etc.) bzw. taktile Geräte (Touchscreen, elektromag netisches Grafiktablett und Griffel etc.) verwendet; auch sogenannte "Datenhandschuhe" mit Beugungs- und Drucksenso ren werden in zunehmendem Maße eingesetzt. Auch Sprach steuerung ist in diesem Zusammenhang zu nennen.
- - Berechnungssysteme und Software zur Erzeugung der virtuel len Umgebung unter Echtzeitanforderungen.
- - Netzwerke zur Integration verschiedener Benutzer, durch die sich neue Formen der Zusammenarbeit entwickeln können.
Die verschiedenartigen technischen Varianten von helm- bzw.
kopfbasierten Systemen zur Visualisierung virtueller Realitä
ten werden im englischen Sprachgebrauch zusammenfassend als
"Visually Coupled Systems" (VCS) bezeichnet. Sie bestehen aus
den folgenden wichtigen Komponenten:
- 1. einem am Kopf bzw. Helm befestigtes Display,
- 2. einem Gerät zum Bestimmen der Kopf- und/oder Blickbewegun gen des Anwenders,
- 3. einer Quelle visueller Information, die von der Kopf- und/oder Blickrichtung des Anwenders abhängt.
Beim Einsatz eines derartigen Systems für VR-Applikationen
können sowohl Informationen aus der realen als auch aus der
virtuellen Umgebung gleichzeitig dargeboten werden. Man
spricht dabei von "See-Through Displays" für die Darstellung
von angereicherten Realitäten.
Zur Visualisierung sind geeignete optische Komponenten (Lin
sen, halbdurchlässige Spiegel) hoher Qualität erforderlich,
die ein scharf fokussiertes, vergrößertes Abbild der Bild
quelle ermöglichen. Als Bildquellen kommen verschiedene Sys
teme in Betracht; am häufigsten werden jedoch Kathodenstrahl
röhren oder LCD-Bildschirme eingesetzt. Wünschenswert sind
dabei eine hohe Auflösung und Leuchtdichte, hohe Farbsätti
gung und hoher Kontrast sowie geringe Abmessungen der Bild
quelle. Zur Visualisierung dreidimensionaler Objekte sind
zwei derartige Bildquellen erforderlich.
Die Verfolgung von Kopfbewegungen ist ein wichtiger Bestand
teil von VR-Applikationen. Üblicherweiser werden Position und
Orientierung des Kopfes im Raum ermittelt, fortgeschrittene
Systeme können außerdem die Blickrichtung verfolgen. Die
meisten Systeme setzen dazu entweder Ultraschall, magnetische
oder Lichtenergie zur Kommunikation zwischen den am Kopf an
gebrachten Sendern und den Empfängern ein. Wichtige techni
sche Daten, die bei der Auswahl dieser Systeme eine Rolle
spielen, sind:
- - die Anzahl der Freiheitsgrade für die Bewegungsrichtungen, welche registriert und verfolgt werden können,
- - der erfassbare Winkelbereich,
- - die statische Genauigkeit (Erschütterungsempfindlichkeit),
- - das Auflösungsvermögen,
- - die Zuverlässigkeit,
- - der Datendurchsatz und die Bildschirm-Abtastfrequenz,
- - die Schnittstelle zum Computer sowie
- - weitere Performanzaspekte.
VR-Applikationen lassen sich in einer Reihe von unterschied
lichen Bereichen in der Praxis erfolgreich anwenden. Im Fol
genden werden einige Anwendungsmöglichkeiten beispielhaft
skizziert.
- - Entwicklung virtueller Prototypen, zum Beispiel in der Au tomobilindustrie: Wegen der zunehmenden Komplexität der zu entwickelnden Bauteile und immer kürzer werdenden Entwick lungszyklen ist es sinnvoll, Planung und Design mit Unter stützung von Computern zu betreiben. Es lassen sich eine höhere Innovationsrate, kürzere Entwicklungszyklen und eine bessere Koordination des in einem Team vorhandenen Wissens erreichen, wenn mehrere Personen parallel das Pro dukt in einer virtuellen Umgebung planen und designen. Durch den Einsatz virtueller Realitäten lassen sich auch komplexe dreidimensionale Gebilde leicht spezifizieren. Die Brauchbarkeit virtueller Prototypen kann anschließend von verschiedenen Benutzern evaluiert werden.
- - Einsatz im Ausbildungsbereich: Durch das Erlernen des Um gangs mit (virtuellen) Objekten, interaktive Demonstratio nen, Visualisierung abstrakter Konzepte, virtuelles Trai ning des Verhaltens in gefährlichen Situationen, virtuelle Erforschung entfernter Orte oder Epochen können Wissen vermittelt, kreative Fertigkeiten geschult und Verhaltens muster trainiert werden.
- - Fahr- und Flugtraining in entsprechenden Simulatoren:
Durch den Einsatz von Simulatoren kann das Verhalten ins besondere in Notsituationen geschult werden
Die heute verfügbaren Technologien zur Eingabe von Informa
tion in ein datenverarbeitendes System lassen sich nach den
verwendeten Sensoren in vier Gruppen einteilen: mechanische
(z. B. Tastaturen, Mäuse, Trackballs und Joysticks), elektri
sche (z. B. taktile Displays und Grafiktabletts), optische
(z. B. Lichtgriffel) und akustische (z. B. Spracheingabe- und
Sprachinterpretationssysteme). Im Folgenden soll auf die nach
dem heutigen Stand der Technik gebräuchlichen Hilfsmittel zur
Eingabe von Information, die zur Steuerung von Objekten im
Bereich von VR-Applikationen eingesetzt werden, kurz einge
gangen werden.
Sowohl Tastaturen, Mäuse, Trackballs als auch Joysticks benö
tigen eine Ablagefläche, also einen festen Standplatz. Mit
einem Touchscreen dagegen ist es möglich, direkt auf Objekte,
die auf dem Bildschirm abgebildet sind, mit dem Finger zu
zeigen, ohne weitere platzraubende Zusatzgeräte auf dem
Schreibtisch zu benötigen. Niedrig auflösende Touchscreens
weisen 10 bis 50 Positionen in waagerechter und senkrechter
Richtung auf und benutzen eine horizontale und vertikale
Reihe von Infrarot-Leuchtdioden und Fotosensoren, um ein Git
ter von unsichtbaren Lichtstrahlen unmittelbar vor dem Bild
schirm aufzubauen. Bei einer Berührung des Bildschirms werden
sowohl vertikale als auch horizontale Lichtstrahlen unterbro
chen. Aus dieser Information kann die aktuelle Fingerposition
ermittelt werden.
Eine andere bekannte Ausführungsform berührungssensitiver In
formationseingabegeräte ist das kapazitiv gekoppelte Touch-
Panel. Dieses liefert eine Auflösung von ca. 100 Positionen
in jeder Richtung. Wenn ein Benutzer die leitfähig beschich
tete Glasplatte des Touchscreens mit einem Finger berührt,
kann aufgrund der Impedanzänderung die aktuelle Fingerposi
tion ermittelt werden. Andere hochauflösende Panels verwenden
zwei minimal voneinander entfernte, transparente Schichten.
Eine davon ist leitfähig beschichtet, die andere mit einem
Widerstandsmaterial beschichtet. Durch den Anpressdruck des
Fingers berühren sich diese beiden Lagen, und durch Messung
des daraus resultierenden Spannungsabfalls kann dann die ak
tuelle Fingerposition ermittelt werden. Eine niedriger auflösende
und billigere Variante dieser Technologie verwendet an
stelle dieser Schichten ein Gitter von feinen Drähten.
Die derzeit verwendeten Systeme zur Darstellung und Steuerung
von Objekten in virtuellen Umgebungen berücksichtigen zwar in
zunehmendem Maße die Fähigkeiten des Menschen zur Aufnahme
und Verarbeitung von Information, jedoch weisen sie einen
entscheidenden Nachteil auf: Bei der Eingabe von Steuerbefeh
len zur direkten Beeinflussung der dargestellten Szene ist
der Benutzer nach wie vor auf herkömmliche Methoden zur manu
ellen Eingabe von Information angewiesen, wie zum Beispiel
über Maus, Trackball, Joystick, Grafiktablett mit Griffel,
Touchscreen. Die hierbei notwendigen Eingabemechanismen müs
sen vom Benutzer erst erlernt werden, um auch in einer ange
messenen Reaktionsgeschwindigkeit ausgeführt werden zu kön
nen. Dagegen werden die angeborenen bzw. bereits vorhandenen
erlernten Fähigkeiten des Menschen zur Kommunikation mittels
akustischen Signalen (z. B. Sprache) bzw. optischen Signalen
(z. B. Mimik, Gestik, Gebärden und Bewegungen) bei der Eingabe
von Information zur Steuerung von Objekten nur unzureichend
berücksichtigt.
Die Manipulation der Eigenschaften und Beeinflussung der Ak
tionen von Objekten einer dargestellten Szene setzt ein kom
pliziertes Zusammenspiel von Sensorik, kognitiver Verarbei
tung und Motorik voraus, auf das viele Faktoren einwirken
(individuelle Verhaltensmuster und Fähigkeiten, Erfahrungen,
Umwelteinflüsse etc.). Bei Interaktionen in einer virtuellen
Welt kommen noch zusätzliche Schwierigkeiten hinzu. Zur Steu
erung, Manipulation bzw. Beeinflussung von Objekten ist ins
besondere eine reflexartige bzw. kognitive sensorisch-motori
sche Rückkopplung wichtig, die beispielsweise von Rezeptoren
in der Haut, kinästhetischen Empfindungen, dem Gleichge
wichtssinn sowie visuellen und/oder akustischen Empfindungen
stammt. Dabei ergibt sich in vielen Fällen eine notwendige
Redundanz, die bei VR-Applikationen nicht immer gegeben ist.
Aufgrund der unzureichenden sensorischen Rückkopplung bei VR-
Applikationen wird zudem das Erlernen motorischer Fertigkei
ten erschwert.
Ein ideales Medium zur Kommunikation zwischen einem Benutzer
und einem Informationssystem sollte sowohl auf die sensori
schen und perzeptuellen als auch auf die motorischen Fähig
keiten sowie auf die spezifischen Eigenschaften des menschli
chen Benutzers abgestimmt sein. Dabei sollte die Information
so strukturiert sein, dass eine optimale Übereinstimmung zwi
schen der Repräsentation der ausgegebenen Information und dem
mentalen Modell des Benutzers erzielt wird: Werden die dem
Benutzer anzuzeigenden Informationen in einer Weise dargebo
ten, dass zum Beispiel sein räumliches Wahrnehmungsvermögen
angesprochen wird, kann der Benutzer mit erstaunlich komple
xen Informationsmengen pro Zeiteinheit umgehen. Ebenso sollte
das Informationssystem in der Lage sein, möglichst viele Ar
ten der von einem Benutzer abgesetzten Information aufzuneh
men, zu verstehen und zu verarbeiten und in entsprechende Ak
tionen umzusetzen. Damit ist der Vorteil verbunden, dass der
Benutzer effizienter und schneller auf neue Ereignisse und
Situationen reagieren kann. Benutzerfreundlichkeit und Aufga
benangemessenheit sind somit typische Merkmale, über die ein
ideales Medium verfügt. Diese Merkmale können sich wie folgt
äußern:
- - Übereinstimmung zwischen Art, Umfang und Ausgabegeschwin digkeit und Präsentation der ausgegebenen Information mit den sensorischen Eigenschaften des menschlichen Benutzers,
- - Berücksichtigung aller Informationskanäle des Benutzers bei der Aufnahme, Erkennung und Interpretation empfangener Steuersignale des Benutzers,
- - leichte Erlernbarkeit und intuitive Bedienbarkeit des Me diums,
- - hohe Bandbreite der Informationsübermittlung zum Gehirn und hoher Durchsatz der Information,
- - dynamische Adaption der Applikation an die individuellen Eigenschaften, Fähigkeiten, Aufgaben, Arbeits- und Organi sationstechniken des Benutzers,
- - Verwendung einer natürlichen Interaktionssprache mit hohem semantischem Inhalt,
- - Zuverlässigkeit, Robustheit und Wartbarkeit des Mediums,
- - soziale Akzeptanz des Mediums in der Bevölkerung,
- - Berücksichtigung gesundheitlicher, ergonomischer und si cherheitsrelevanter Aspekte etc.
Der vorgelegten Erfindung liegt die Aufgabe zugrunde, die be
stehende Situation mit technischen Mitteln zu verbessern. Da
her widmet sich die Erfindung vorrangig der Aufgabe, komfor
table und zuverlässig arbeitende Verfahren bereitzustellen,
mit deren Hilfe dem Anwender eine aktive Steuerung virtueller
Objekte ermöglicht wird, wobei die bereits vorhandenen Fer
tigkeiten des Benutzers zur Aussendung von Information ge
nutzt werden. Diese Aufgabe wird durch ein Verfahren mit
Merkmalen nach Patentanspruch 1 gelöst.
Der Benutzer soll in die Lage versetzt werden können, mit
Hilfe geeigneter Interaktionsmöglichkeiten die Eigenschaften
und/oder Aktionen der dargestellten Objekte im Sichtfeld 203
zu manipulieren bzw. zu beeinflussen. Zu diesem Zweck sind
zusätzliche hardwaretechnische Hilfsmittel zur manuellen Ein
gabe von Steuerbefehlen (z. B. via Tastatur, Maus, Trackball,
Joystick oder Touchscreen) nicht unbedingt erforderlich. Die
vorliegende Erfindung greift deshalb zur Erfassung und Verar
beitung vom Benutzer in Form von Signalen ausgesendeter In
formation auf Methoden der Signal- bzw. Mustererkennung zu
rück. Erst durch diesen erfinderischen Schritt wird aus einem
reinen Ausgabe-Sichtfeld ein interaktiv bedienbares Ein- und
Ausgabe-Sichtfeld 203, das an die Fähigkeiten des Benutzers
angepasst ist. Bei den durch den Benutzer manipulierbaren Ei
genschaften von Objekten einer dargestellten Szene 204 kann
es sich beispielsweise um Merkmale wie Ortsvektor, Lage, Aus
maße, Betrachtungsperspektive, geometrische Form, Struktur,
Kontur bzw. Textur der Objekte handeln. Vorstellbar sind aber
auch Interaktionsmöglichkeiten, mit denen die Art der Dar
stellung der Objekte verändert wird, wie beispielsweise Farbe
bzw. Musterung, Helligkeit, Kontrastwirkung gegenüber dem
Hintergrund, Glanzeffekte, Spiegelungen und Reflexionen,
Schattierung etc. Bei den durch den Benutzer beeinflussbaren
Aktionen von Objekten der dargestellten Szene kann es sich
etwa um die Bewegung der Objekte handeln. Die Bewegung der
Objekte kann dabei Translations- und/oder Rotationsanteile
beinhalten, wobei die kinematischen Daten der Objekte, wie
zum Beispiel Betrag und/oder Richtung seines Geschwindig
keits- bzw. Beschleunigungsvektors bzw. seines Winkel
geschwindigkeits- bzw. Winkelbeschleunigungsvektors, indivi
duell gemäß den Steuerbefehlen des Benutzers verändert werden
können.
Die Registrierung der interaktiven Steuerbefehle des Benut
zers kann dabei mit Hilfe von Sensoren 502 und/oder Aufnahme
geräten 501 erfolgen. Nach der Datenerfassung können die er
fassten Eingabe-Daten einer Auswerte- und Steuerungsvorrich
tung 503 zugeführt werden, als Steuerbefehle interpretiert
und verarbeitet werden. Um die Möglichkeit einer Fehlinter
pretation von ausgesendeten Signalen eines Benutzers durch
das Datenverarbeitungssystem möglichst gering zu halten und
damit die Zuverlässigkeit des Systems zu erhöhen, muss das
System an die gewohnten Eigenschaften des Benutzers angepasst
werden. Aus diesem Grund müssen dem System alle möglichen
Eingabesignale eines individuellen Befehlssatzes des betref
fenden Benutzers in einer Trainingsphase mehrfach wiederholt
"beigebracht" werden. Entsprechend dieser vom System als
Steuerbefehle interpretierten Signale ist es möglich, die Ob
jekte einer dargestellten Szene zu manipulieren bzw. zu be
einflussen oder/und eine Aktion auszulösen. Die auf diese
Weise manipulierten bzw. beeinflussten Objekte oder/und die
damit ausgelösten Aktionen können auf einem Sichtfeld 203 dem
Benutzer grafisch visualisiert bzw. akustisch und/oder op
tisch angezeigt werden. Dadurch ist ein Rückkopplungskreis
zwischen Ausgabe- und Eingabedaten gegeben, mit dessen Hilfe
die Reaktion auf Änderungen von Objekten einer dargestellten
Szene 204 nahezu in Echtzeit ermöglicht werden kann.
Bei den im Rahmen dieses Verfahrens steuerbaren Objekten kann
es sich beispielsweise um real existierende Objekte in einer
realen Umgebung handeln. Ein typisches Anwendungsbeispiel ist
etwa die Funkfernsteuerung eines Roboters zur Durchführung
gefährlicher Arbeiten an schwer zugänglichen und/oder ent
fernten Orten, zum Beispiel zur Erledigung von Reparaturar
beiten in Kanalisationsrohren, zur Untersuchung radioaktiver
Substanzen in hermetisch abgeschotteten Hochsicherheitsräumen
oder zur Datengewinnung und -übermittlung bei unbemannten
Weltraummissionen. Ein anderes typisches Anwendungsbeispiel
ist die Möglichkeit der Fernsteuerung von Arbeits- und/oder
Haushaltsgeräten mittels nicht-manueller Eingabeverfahren für
körper- oder/und manuell behinderte Menschen. Die Art des
Eingabeverfahrens kann dabei auf die individuell vorhandenen
Fähigkeiten des Benutzers zugeschnitten sein.
Vorstellbar sind aber auch Ausführungsbeipiele dieser Erfin
dung, bei denen die zu steuernden Objekte nicht real existie
rende Objekte in einer virtuellen Umgebung eines computerge
steuerten Modells sind. Vor allem im Ausbildungsbereich er
scheint der Einsatz von Systemen zur interaktiven Steuerung
virtueller Objekte sinnvoll: Durch das Erlernen des Umgangs
mit virtuellen Objekten, interaktive Demonstrationen, Visua
lisierung abstrakter Konzepte, virtuelles Training des Ver
haltens in gefährlichen Situationen, virtuelle Erforschung
entfernter Orte oder Epochen können Wissen vermittelt, krea
tive Fertigkeiten geschult und Verhaltensmuster trainiert
werden. Typische Einsatzgebiete sind beispielsweise Flugsimu
latoren, mit deren Hilfe kritische Situationen im Flugverkehr
(Triebwerksausfälle, Strömungsabrisse, Notlandungen auf dem
Wasser und auf dem Land etc.) von auszubildenden Piloten
trainiert werden und Lernfortschritte quantitativ beurteilt
werden können.
Eine natürliche Form der Interaktion von Mensch und Maschine
sowie der Eingabe von Information in ein informationsverar
beitendes System ist die der natürlichsprachlichen Kommunika
tion. Aus diesem Grund bietet sich diese Form der Eingabe für
Ausführungsbeispiele der vorliegenden Erfindung an. Die bis
her und in absehbarer Zeit verwendeten Spracheingabesysteme
machen jedoch nur in einem eingeschränkten Umfang von der na
türlichsprachlichen Kommunikation Gebrauch, indem nur Wörter
eines vom Hersteller fest vorgegeben Basisvokabulars geringen
Umfangs zuzüglich eines benutzerspezifischen Fachvokabulars
(in der Regel einige hundert bis tausend Wörter) oder auch
Zusammensetzungen dieser Wörter zugelassen werden. Zur Erhö
hung der Erkennungsrate muss ein Anwender sowohl das Basisvo
kabular als auch sein benutzerspezifisches Fachvokabular dem
System in einer Trainingsphase mehrfach wiederholt vorspre
chen, damit sich das System auf die Stimme des Benutzers und
etwaige Abweichungen vom Normalzustand der Stimme, zum Bei
spiel infolge Erkältung oder Heiserkeit des Benutzers, ein
stellen kann. Bei einer Ausführungsform spracherkennender
Systeme werden während dieser Trainingsphase vom System sta
tistische Modelle (in der Regel "Hidden-Markov-Modelle") ge
neriert, mit deren Hilfe beispielsweise der Abfolge einzelner
Phoneme bzw. Silben der trainierten Wörter Wahrscheinlich
keitsdichtefunktionen zugeordnet werden, so dass neu vorge
sprochene Wörter mit einer vorhersagbaren Wahrscheinlichkeit
als richtig bzw. falsch erkannt werden.
Bei der Vorrichtung 503 zur Erkennung und Interpretation der
Steuerbefehle des Benutzers kann es sich beispielsweise um
ein automatisches Erkennungssystem für akustische Signale
handeln, speziell für Sprachsignale. Die meisten der heute
eingesetzten automatischen Spracherkennungssysteme sind zum
Beispiel wort-, silben- oder phonembasierte Systeme, die nur
für kontextunabhängige Spracherkennung konzipiert sind. Das
bedeutet, dass die aus Wörtern eines trainierten Vokabulars
bestehenden Sprachkommandos dem System derzeit mit ausrei
chend großen Sprechpausen ("diskret") vorgesprochen werden
müssen, um für den Benutzer akzeptable Worterkennungsraten im
Bereich von ca. 90% bis 95% zu erzielen. Handelsübliche poly
phonbasierte Prototypen kontextabhängiger Spracherkennungs
systeme für fließend ("kontinuierlich") gesprochene Sprache
erreichen heute schon Worterkennungsraten von ca. 95% bis
98%. Allerdings ist die Rechenleistung des Systems für konti
nuierliche kontextabhängige Spracherkennung so groß, dass sie
auch auf den derzeitigen Hochleistungsrechnern nicht mehr in
Echtzeit durchgeführt werden kann.
Eine weitere Form der Mensch-Maschine-Kommunikation, welche
den Eigenschaften und Fertigkeiten des Benutzers entgegen
kommt, ist die der Auswertung von optischen Signalen, wie
etwa Körper-, Kopf-, Gesichts-, Bein-, Fuß-, Arm-, Hand-
und/oder Fingerbewegungen, also Gebärden, Gestik und/oder Mi
mik. Die weitverbreiteten Fähigkeiten des Menschen, Informa
tionen durch die Position, Raumrichtung und Bewegung von Kör
perteilen zu kodieren, stellt heute noch eine große Heraus
forderung für die Gestaltung von Eingabeverfahren für die
Mensch-Maschine-Kommunikation dar.
Zum Empfang von optischen Signalen des Benutzers können Sen
soren 202 und/oder Aufnahmegeräte 201 verwendet werden. Kon
kret kann es sich dabei um optische bzw. akustische Abstands
sensoren und/oder Videokameras handeln. Der Abstandssensor
kann über eine Ultraschall- bzw. hochfrequente Strahlungs
quelle verfügen sowie einem Detektor und Vorrichtungen, die
den Schall bzw. die Strahlung auf das Messobjekt bündeln und
die vom Messobjekt reflektierten Schall- bzw. Lichtwellen auf
dem Detektor sammeln. Dabei kann ein Teil des Umgebungs
schalls bzw. der Umgebungsstrahlung mit Hilfe von Filtern ab
geblockt werden. Damit das Sensorsystem unabhängig von den
Umgebungsbedingungen zuverlässig funktioniert, kann eine Kom
pression, Kodierung und Modulation der von der Signalquelle
ausgesendeten Signale und eine geeignete Signalverarbeitung
auf der Detektorseite zur Demodulation, Dekodierung und De
kompression der empfangenen Signale vorgesehen sein.
Bei der Vorrichtung 503 zur Interpretation von interaktiven
Steuerbefehlen eines Benutzers kann es sich beispielsweise
auch um ein automatisches Erkennungssystem für Bewegungssig
nale handeln, wobei Methoden der Bildverarbeitung zum Einsatz
gelangen können. Eine Möglichkeit ist zum Beispiel, die Lip
penbewegungen des Benutzers beim Sprechen zu analysieren, um
damit die Erkennungssicherheit der Spracheingabe zu erhöhen.
Moderne Untersuchungen haben gezeigt, dass durch die Kombina
tion von akustischer und optischer Spracherkennung im Ver
gleich zur ausschließlich akustischen Spracherkennung die
Wortfehlerrate bei einzelnen Sprechern um 30% bis 50% gesenkt
werden kann. Andere Ausführungsformen können die Kopf-
und/oder Augenbewegungen zur Informationseingabe verwenden.
Hierzu ist eine Vermessung der Kopf- und/oder Blickrichtung
erforderlich. Bei einem seit 1982 bekannten Eingabeverfahren,
das auf einer Messung der Blickrichtung des Anwenders durch
berührungslose Erfassung der Kopfbewegung beruht, erfolgt
mittels eines vor einem Auge angebrachten Visiers die visu
elle Rückkopplung der Kopfposition. Weiter ist am Kopf eine
kleine Lichtquelle angebracht, deren Position mit Hilfe einer
Videokamera vermessen wird, so dass Kopfbewegungen um zwei
Drehachsen (horizontal und vertikal) erfasst werden können.
Ein anderes Eingabeverfahren, das auf der Messung der Augen
bewegungen basiert, ist seit 1987 bekannt. Dabei wird davon
ausgegangen, dass die Auswahl eines auf einer optischen An
zeige dargestellten Objekts eine der häufigsten Eingabeopera
tionen ist und dass die visuelle Fixierung eines auszuwählen
den Objekts eine normale Verhaltensweise des Menschen ist.
Diese Art der Eingabe wird vor allem bei hohen Anforderungen
an die Geschwindigkeit der Eingabe bzw. bei Behinderung der
Hände oder Belegung durch andere Aufgaben empfohlen.
Bei der Ausgabevorrichtung 505 zur Darstellung einer virtuel
len Umgebung kann es sich beispielsweise um ein Gerät zur Er
zeugung eines sogenannten "Virtual Retinal Display" (VRD)
handeln, bei dem eine virtuelle Bildfläche 203 auf die Netz
haut 206 des Anwenders projiziert wird. Anstelle eines Bild
schirms oder einer Anzeigevorrichtung wird lediglich eine ko
härente Photonenstrahlung aussendende Lichtquelle benötigt.
Dabei kann es sich um ein Gerät aus dem Arbeits- oder Frei
zeitbereich bzw. um eine Orthese handeln, die eine Erweite
rung des menschlichen Sehvermögens bewerkstelligt. Gegenüber
realen Displays weist ein VRD folgende Vorteile auf: 1. Die
Auflösung des VRD wird lediglich durch die Beugung und opti
sche Aberration des Lichtstrahls im menschlichen Auge be
grenzt, nicht aber durch die bei Bildschirmen oder realen
Displays technisch realisierbare Größe eines elementaren
Bildelements (Pixelgröße). Aus diesem Grund können Bilder mit
einer sehr hohen Auflösung generiert werden. 2. Die mit Hilfe
eines VRDs erzielbare Bildhelligkeit kann durch die Intensi
tät des ausgesendeten Lichtstrahls gesteuert werden. Bei Ver
wendung eines Lasers als Lichtquelle kann die Bildhelligkeit
des VRDs groß genug eingestellt werden, um im Freien einge
setzt werden zu können. 3. VRDs können entweder in einem Mo
dus für virtuelle Realitäten oder in einem Modus für angerei
cherte Realitäten ("See-Through Modus") betrieben werden. 4.
Die industrielle Fertigung einer Lichtquelle zur Generierung
eines VRDs ist verhältnismäßig einfach und im Vergleich mit
konventionellen Bildschirmen und Anzeigevorrichtungen mit ge
ringen Produktionskosten durchführbar. 5. Da ein Großteil des
generierten Lichts auf die Netzhaut des Betrachters fokus
siert wird, arbeiten VRDs mit einem hohen Wirkungsgrad und
weisen einen im Vergleich zu Bildschirmen und realen Displays
geringen Leistungsverbrauch auf.
Die virtuelle Bildfläche 401 kann beispielsweise virtuelle
eingabesensitive Referenzpunkte 404, 405, 406 und 407
und/oder -flächen 403 in einer virtuellen Bildebene vorgege
bener Raumrichtung aufweisen. Dies können ebene Flächen mit
vorgegebenem Flächeninhalt sein. Die Raumrichtung der virtu
ellen Bildebene kann vorzugsweise senkrecht zur Blickrichtung
orientiert sein, also dergestalt, dass der Normalenvektor n
der virtuellen Bildebene parallel bzw. antiparallel zum
Blickrichtungsvektor b liegt. Eingaben werden jeweils dann
ausgelöst, wenn ein reales Objekt (ein Gegenstand oder ein
Körperteil des Benutzers) die Ebene des virtuellen Displays
an einer solchen eingabesensitiven Fläche 205 berührt bzw.
die Fläche in einem beliebigen Eintrittswinkel schneidet. Mit
Hilfe von Methoden der Mustererkennung kann es ermöglicht
werden, eine beabsichtigte Eingabe von einer unbeabsichtigten
Eingabe zu unterscheiden. Dabei könnte beispielsweise der
Zeigefinger der rechten Hand eines Benutzers als einziges
Eingabemedium erkannt werden. Eine Interaktion wird in diesem
Fall nur dann zugelassen, wenn dieser Finger eine eingabesen
sitive Fläche in einer virtuellen Bildebene schneidet bzw.
berührt.
Der Abstand des Lotfußpunkts der virtuellen Bildebene zum
Punkt schärfster Abbildung auf der Netzhaut eines der Augen
304 des Betrachters bzw. die Begrenzung und räumliche Aus
richtung der Bildfläche 303 der virtuellen Bildebene kann
durch die Erkennung von optischen Signalen des Benutzers mit
Hilfe eines optischen oder akustischen Abstandssensors 502,
einer Videokamera 501 sowie einer nachgeschalteten Auswerte
elektronik 503 vorgenommen werden.
Bei den optischen Anzeigevorrichtungen wird neben konventio
nellen analogen und digitalen Displays zunehmend der Bildschirm
eingesetzt, da hier die Kodierung der Information
durch viele verschiedene Arten (Text, Graphik, Bild, Anima
tion etc.) erfolgen kann. Außerdem stehen hier die Möglich
keiten der flexiblen Organisation der Information zur Verfü
gung, mit denen der erforderliche Such- und Auswahlvorgang
einzelner Objekte unterstützt werden kann. Zur Darstellung
räumlicher Sachverhalte können 3D-Anzeigen bzw. 3D-Brillen
verwendet werden. Bei allen diesen optischen Anzeigen sind
bei der Ablesung neben der dazu nötigen Aufmerksamkeit des
Benutzers Bewegungen des Kopfes und/oder der Augen erforder
lich. Zur Verhinderung der visuellen Ablenkung des Benutzers
können, zum Beispiel bei der Flugzeug- oder Fahrzeugführung,
Projektionsvorrichtungen ("Head up"-Anzeigen) verwendet wer
den, bei denen die abzulesende Information in den Sichtbe
reich eingeblendet wird, auf den das Auge zur Wahrnehmung der
Hauptaufgabe (etwa der Flugzeug- oder Fahrzeugführung) vor
zugsweise ausgerichtet ist. Eine Sonderform ist die Ausfüh
rung als helmbasierte Anzeigevorrichtung in Form eines "Head-
Mounted Displays" (HMD), bei der die Anzeigeeinheit im Helm
des Benutzers befestigt ist. Herkömmliche VR-Anwendungen ver
wenden HMDs zur Darstellung virtueller Welten über ein Ste
reodisplaysystem sowie über Raumklangsysteme oder an das HMD
gekoppelte Kopfhörer. Damit die dreidimensionale virtuelle
Umgebung dem Betrachter auch bei Kopfbewegungen stabil er
scheint, muß die Kopfbewegung in den sechs Freiheitsgraden
erfaßt und dem Display weitergegeben werden. Dies muß mit ei
ner genügend hohen Frequenz von mindestens 70 Hz erfolgen.
Zur Messung der Kopfbewegung werden bisher eine Vielzahl ver
schiedener Messsysteme eingesetzt. Viele sind jedoch entweder
für den Betrachter unbequem oder in der Beschaffung zu teuer.
Zusätzliche können akustische bzw. haptische Ausgabevorrich
tungen vorhanden sein, da akustische und haptische Signale
geringer Intensität keine visuelle Ablenkung des Benutzers
bewirken. Allerdings sind haptische Signalgeber derzeit nur
als Blindenhilfsmittel in breitem Einsatz.
Im Folgenden wird die Erfindung anhand bevorzugter Ausfüh
rungsbeispiele, wie sie in den Fig. 1 bis 5 geschildert
sind, näher beschrieben.
Im Detail zeigen
Fig. 1 ein Designmuster 101, eine Prinzipdarstellung 102
sowie ein typisches Anwendungsbeispiel 103 eines
"Virtual Retinal Displays" (VRD) aus der Sicht des
Benutzers (Quelle: "Technologies to Watch", Ausgabe
Mai 2000),
Fig. 2 eine schematische Darstellung des Eingabeverfahrens
über ein VRD,
Fig. 3 eine schematische Darstellung zur Erfassung des Ab
stands der virtuellen Bildebene bei einem VRD,
Fig. 4 ein Beispiel zur Erfassung der virtuellen Eckpunkt
koordinaten 404, 405, 406 und 407 der Bildfläche
401 eines VRD und
Fig. 5 einen schematischen Hardwareaufbau zur Erfassung
der Eingabe und Steuerung der Ausgabe eines VRD.
In Fig. 1 ist ein Designmuster 101 eines Microvision-Systems
zur Erzeugung eines VRDs, eine Prinzipdarstellung 102 der
Funktionsweise des VRDs sowie ein typisches Anwendungsbei
spiel 103 eines VRDs dargestellt. Bei dem dargestellten An
wendungsbeispiel handelt es sich um eine Spannungsmessung im
Kraftfahrzeugbereich, bei der dem Anwender über ein VRD Seriennummer,
Profil, Messwerte und die gemessene Spannungs-
Zeit-Kennlinie des geprüften Bauteils eingeblendet werden.
In Fig. 2 wird das Verfahren der Eingabe über berührungssen
sitive Schaltflächen 205 bei VRDs demonstriert. Abgebildet
ist die Bildfläche 203 der virtuelle Bildebene mit den darin
enthaltenen Teilbereichen für die virtuelle Ausgabefläche 204
und die virtuellen Taster bzw. Schalter 205. Werden die Ein
gabeflächen von einem Finger des Benutzers 207 oder einem Ge
genstand berührt bzw. in einem beliebigen Eintrittswinkel
durchstoßen, wird eine Eingabe erkannt und entsprechende Ak
tion ausgelöst. Die Eingaben des Benutzers können mit Hilfe
einer Videokamera 201 und/oder einem Abstandssensor 202 er
fasst werden.
Fig. 3 veranschaulicht bildhaft das Verfahren zur Bestimmung
des Abstands der virtuellen Bildebene zur Netzhaut eines der
Augen 304 des Betrachters bei einem VRD. Durch die Position
und räumliche Ausrichtung der ausgestreckten Handfläche 305
des Benutzers werden der Aufpunkt und die beiden Richtungs
vektoren der virtuellen Bildebene 303 bestimmt. Zu diesem
Zweck kann beispielsweise ein Ultraschall- bzw. Infrarotwel
len aussendender Abstandssensor 302, eine Videokamera 301 so
wie ein Verfahren zur Signal- bzw. Mustererkennung herange
zogen werden. Idealerweise wird die räumliche Orientierung
der virtuellen Bildebene vom Benutzer dergestalt festgelegt,
dass der Normalenvektor n der virtuellen Bildebene parallel
bzw. antiparallel zum Blickrichtungsvektor b verläuft, also
das Skalarprodukt der betragsnormierten Vektoren n/||n||2 und
b/||b||2 die Werte +1 bzw. -1 ergibt. Der Abstand der virtu
ellen Ebene zum Betrachter ergibt sich dann als der Abstand
zwischen dem Lotfußpunkt, also dem Schnittpunkt zwischen vir
tueller Bildebene und Blickrichtungsgerade, und dem Punkt
schärfster Abbildung auf der Netzhaut eines der Augen 304 des
Betrachters.
In Fig. 4 wird gezeigt, wie die Begrenzungspunkte einer vir
tuellen polygonalen Bildfläche 401 eingegeben werden. In dem
skizzierten Beispiel wurde über Vorgabe von vier Eckpunkten
eine rechteckige Bildfläche definiert. Dabei können die kar
tesischen Koordinaten der Bildflächen-Eckpunkte 404, 405, 406
und 407 an denjenigen Raumpositionen generiert werden, an de
nen beispielsweise ein Finger einer Hand 408 des Benutzers
oder ein Gegenstand die virtuelle Bildebene 401 berührt bzw.
schneidet. Durch die Pfeile ist dabei die Bewegung des Fin
gers von einem Eckpunkt zum nächsten Eckpunkt der virtuellen
Bildfläche angedeutet. Über die virtuellen Schalter bzw. Tas
ter 403 können beispielsweise die Funktionen für das Ein-
bzw. Ausschalten des auf der virtuellen Ausgabefläche 402
dargestellten Bildes, für das Umschalten zwischen mehreren
Informationskanälen, für die Modus-Auswahl zur Einstellung
von System- und/oder Bildparametern sowie für das Archiv zum
Speichern von Ton- und/oder Bildsequenzen gesteuert werden.
Fig. 5 zeigt den Rückkopplungskreis zwischen Mensch und Ma
schine, der den schematischen Hardewareaufbau zur Erfassung
der Eingabe und Steuerung der Ausgabe bei einem VRD enthält.
Die über eine Videokamera 501 bzw. einen Abstandssensor 502
erhaltenen optischen Informationen des Benutzers werden dabei
einer zentralen Steuerungseinheit 503 zugeführt, in der die
Erkennung, Interpretation und Verarbeitung der Informationen
erfolgt. Nach Auslösung einer entsprechenden Aktion werden
die neu ermittelten bzw. berechneten Daten an die Steuerungs
einheit 504 zur Steuerung des VRD weitergeleitet. Dieser
übernimmt dann die Ausgabe der Text- und/oder Bilddaten über
ein beispielsweise laserbetriebenes VRD 505. Nach Aufnahme
und Verarbeitung dieser Ausgabedaten durch den menschlichen
Benutzer 506 kann dann eine neue Reaktion des Benutzers auf
den veränderten Ist-Zustand einsetzen.
Die Bedeutung der in den Fig. 1 bis 5 mit Ziffern bezeich
neten Symbole kann der nachfolgenden Bezugszeichenliste ent
nommen werden.
Nr. Bezeichnung
101
Designmuster eines Microvision-Systems zur Erzeugung eines
"Virtual Retinal Displays" (VRD)
102
Prinzipdarstellung der Funktionsweise eines VRD-Systems
103
Anwendungsbeispiel eines VRD-Systems aus der Sicht des An
wenders
201
Videokamera
202
Optischer bzw. akustischer Abstandssensor
203
Bildfläche in der virtuellen Bildebene des VRD (virtuelles
Sichtfeld bzw. virtuelles Display)
204
Virtuelle Ausgabefläche
205
Berührungssensitive Eingabeflächen (virtuelle Tasten bzw.
virtuelle Schalter)
206
z. B. rechtes Auge des Benutzers
207
Auslösung einer Eingabe über das VRD durch Berührung bzw.
Durchstoßung einer berührungssensitiven Eingabefläche
durch einen Finger des Benutzers
301
Videokamera
302
Optischer bzw. akustischer Abstandssensor
303
Bildfläche in der virtuellen Bildebene des VRD (virtuelles
Sichtfeld bzw. virtuelles Display)
304
z. B. rechtes Auge des Benutzers
305
z. B. rechte Hand des Benutzers
401
Bildfläche in der virtuellen Bildebene des VRD (virtuelles
Sichtfeld bzw. virtuelles Display)
402
Virtuelle Ausgabefläche
403
Berührungssensitive Eingabeflächen (virtuelle Tasten bzw.
virtuelle Schalter)
404
Linke obere Ecke der Bildfläche des VRD
405
Rechte obere Ecke der Bildfläche des VRD
406
Rechte untere Ecke der Bildfläche des VRD
407
Linke untere Ecke der Bildfläche des VRD
408
z. B. rechte Hand des Benutzers
501
Videokamera
502
Optischer bzw. akustischer Abstandssensor
503
Zentrale Steuerungseinheit (CCU)
504
Steuerungseinheit zur Steuerung des VRD
505
Steuerungseinheit für ein laserbetriebenes VRD
506
Perzeption und Verarbeitung der aufgenommenen Information
durch den menschlichen Benutzer und Reaktion des Benutzers
auf die veränderte Sachlage
Claims (13)
1. Verfahren zur visuellen Darstellung von Objekten auf min
destens einem Sichtfeld (203),
dadurch gekennzeichnet, dass mindestens ein dargestelltes
Objekt mit Hilfe interaktiver Steuerbefehle eines Benut
zers in seinen Eigenschaften und/oder Aktionen manipu
liert, gesteuert bzw. beeinflusst werden und/oder die Mög
lichkeit einer Navigation des Benutzers in einer darge
stellten Szene (204) gegeben ist, wobei die Erfassung und
Verarbeitung der vom Benutzer eingegebenen Information mit
Hilfe von Methoden der Signal- bzw. Mustererkennung er
folgt und somit keine zusätzlichen manuell bedienbaren,
mechanischen bzw. berührungssensitiven Hardware-Vorrich
tungen zur Eingabe von Steuerbefehlen benötigt werden.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass
- a) die interaktiven Steuerbefehle des Benutzers mit Hilfe von Sensoren (502) und/oder Aufnahmegeräten (501) registriert werden,
- b) die erfassten Eingabe-Daten einer Auswerte- und Steu erungsvorrichtung (503) zugeführt und als Steuerbe fehle interpretiert werden und
- c) die Objekte entsprechend diesen Steuerbefehlen mani puliert bzw. beeinflusst werden oder/und eine Aktion ausgelöst wird
- d) die manipulierten bzw. beeinflussten Objekte oder/und die ausgelöste Aktion auf einem Display (204) visua lisiert bzw. akustisch und/oder optisch angezeigt werden.
3. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass es sich bei den zu steuernden
Objekten um real existierende Objekte in einer realen Um
gebung handelt.
4. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass es sich bei den zu steuernden
Objekten um nicht real existierende Objekte in einer vir
tuellen Umgebung eines computergesteuerten Modells han
delt.
5. Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass es sich bei den interaktiven
Steuerbefehlen eines Benutzers um akustische Signale, wie
etwa Sprachkommandos, handelt.
6. Verfahren nach einem der Ansprüche 1 bis 5,
dadurch gekennzeichnet, dass es sich bei der Vorrichtung
(503) zur Interpretation von Steuerbefehlen um ein automa
tisches Erkennungssystem für Sprachsignale handelt.
7. Verfahren nach einem der Ansprüche 1 bis 4,
dadurch gekennzeichnet, dass es sich bei den interaktiven
Steuerbefehlen eines Benutzers um optische Signale, wie
etwa Körper-, Kopf-, Fuß-, Hand- und/oder Fingerbewegun
gen, also Gebärden, Gestik und/oder Mimik, handelt.
8. Verfahren nach einem der Ansprüche 1 bis 4 oder 7,
dadurch gekennzeichnet, dass es sich bei den Sensoren
(502) und/oder Aufnahmegeräten (501) zur Registrierung von
optischen Signalen des Benutzers um Abstandssensoren
und/oder Videokameras handelt.
9. Verfahren nach einem der Ansprüche 1 bis 4, 7 oder 8,
dadurch gekennzeichnet, dass es sich bei der Vorrichtung
zur Interpretation von Steuerbefehlen um ein automatisches
Erkennungssystem für Bewegungssignale handelt.
10. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass es sich bei der Ausgabevor
richtung 505 zur Darstellung einer virtuellen Umgebung um
ein Gerät zur Erzeugung eines sogenannten "Virtual Retinal
Displays" (VRD) handelt, bei dem ein virtuelles Display
(203) auf die Netzhaut des Anwenders projiziert wird.
11. Verfahren nach einem der Ansprüche 1 bis 4 oder 7 bis 10,
dadurch gekennzeichnet, dass Eingaben ausgelöst werden,
wenn ein reales Objekt die Ebene des virtuellen Displays
(401) an einer eingabesensitiven Fläche (403) schneidet
bzw. berührt.
12. Verfahren nach einem der Ansprüche 1 bis 4 oder 7 bis 11,
dadurch gekennzeichnet, dass die Ermittlung des Abstands
zwischen der Ebene (303) des virtuellen Displays und der
Netzhaut eines der Augen (304) des Benutzers bzw. die Be
grenzung und räumliche Ausrichtung der Fläche (401) des
virtuellen Displays durch die Erkennung von optischen Sig
nalen des Benutzers mit Hilfe eines Abstandssensors (502)
sowie einer nachgeschalteten Auswerteelektronik (503) vor
genommen wird.
13. Verfahren nach einem der Ansprüche 1 bis 9,
dadurch gekennzeichnet, dass es sich bei der Ausgabevor
richtung (505) zur Darstellung einer virtuellen Umgebung
um ein sogenanntes "Head-Mounted Display" (HMD) handelt.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE2000156291 DE10056291A1 (de) | 2000-11-14 | 2000-11-14 | Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld |
PCT/DE2001/004267 WO2002041069A1 (de) | 2000-11-14 | 2001-11-14 | Verfahren zur visuellen darstellung und interaktiven steuerung von virtuellen objekten auf einem ausgabe-sichtfeld |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE2000156291 DE10056291A1 (de) | 2000-11-14 | 2000-11-14 | Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10056291A1 true DE10056291A1 (de) | 2002-05-23 |
Family
ID=7663184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE2000156291 Withdrawn DE10056291A1 (de) | 2000-11-14 | 2000-11-14 | Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE10056291A1 (de) |
WO (1) | WO2002041069A1 (de) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10318376A1 (de) * | 2003-04-14 | 2004-11-04 | Volkswagen Ag | Haptische Bedieneinrichtung insbesondere für Kraftfahrzeuge |
WO2004107153A2 (en) * | 2003-05-28 | 2004-12-09 | Brother International Corporation | Multi-focal plane user interface system and method |
DE10337538A1 (de) * | 2003-08-06 | 2005-02-24 | E.G.O. Elektro-Gerätebau GmbH | Vorrichtung und Verfahren zur Bedienung eines Kochsystems |
DE10361341A1 (de) * | 2003-12-18 | 2005-07-14 | E.G.O. Elektro-Gerätebau GmbH | Vorrichtung zur Bedienung eines Kochfeldes |
DE102004053738A1 (de) * | 2004-11-06 | 2006-05-11 | Man Roland Druckmaschinen Ag | Druckmaschinenleitstand |
EP1667423A1 (de) * | 2004-12-02 | 2006-06-07 | Swisscom Mobile AG | Verfahren und Virtual Retinal Display zur Wiedergabe des Bildes einer Person |
DE102004021379B4 (de) * | 2003-11-10 | 2007-07-12 | Siemens Ag | Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren |
DE102006032117A1 (de) * | 2006-07-12 | 2008-01-24 | Volkswagen Ag | Informationssystem für ein Verkehrsmittel und Verfahren zum Steuern eines solchen Informationssystems |
DE102008029736B3 (de) * | 2008-06-23 | 2009-07-16 | Abb Ag | Türklingel oder Türstation |
DE102008043446A1 (de) * | 2008-11-04 | 2010-05-06 | BSH Bosch und Siemens Hausgeräte GmbH | Haushaltsgerät mit einer Anzeigeeinheit und Verfahren zur Anzeige einer Information auf einer Anzeigeeinheit eines Haushaltsgeräts |
DE102011075467A1 (de) * | 2011-05-06 | 2012-11-08 | Deckel Maho Pfronten Gmbh | Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken |
DE102012203163A1 (de) * | 2012-02-29 | 2013-08-29 | Airbus Operations Gmbh | Vorrichtung und Verfahren zum Austauschen von Informationen zwischen mindestens einem Bediener und einer Maschine |
US8555171B2 (en) | 2009-12-09 | 2013-10-08 | Industrial Technology Research Institute | Portable virtual human-machine interaction device and operation method thereof |
DE102013013166A1 (de) | 2013-08-08 | 2015-02-12 | Audi Ag | Kraftwagen mit Head-up-Anzeige und zugehöriger Gestenbedienung |
DE102013021927A1 (de) | 2013-12-20 | 2015-06-25 | Audi Ag | Verfahren und System zum Betreiben einer Anzeigeeinrichtung sowie Vorrichtung mit einer Anzeigeeinrichtung |
DE102014222194A1 (de) * | 2014-10-30 | 2016-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeug mit dreidimensionaler Bedienschnittstelle |
DE10349673B4 (de) | 2003-10-24 | 2024-06-13 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7312788B2 (en) | 2003-03-11 | 2007-12-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Gesture-based input device for a user interface of a computer |
US20070052672A1 (en) | 2005-09-08 | 2007-03-08 | Swisscom Mobile Ag | Communication device, system and method |
DE102008022158A1 (de) * | 2008-05-05 | 2009-12-03 | Rheinmetall Waffe Munition Gmbh | System zur sprachgesteuerten, interaktiven Unterstützung bei Wartungsarbeiten oder dergleichen |
GB2494907A (en) * | 2011-09-23 | 2013-03-27 | Sony Corp | A Head-mountable display with gesture recognition |
US20190026935A1 (en) * | 2017-07-24 | 2019-01-24 | Medivrse Bv | Method and system for providing virtual reality experience based on ultrasound data |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
DE29519078U1 (de) * | 1995-12-01 | 1996-01-25 | Kelle Olaf Dr | Vorrichtung für die Erfassung der räumlichen Position eines menschlichen Körperteils |
US6118888A (en) * | 1997-02-28 | 2000-09-12 | Kabushiki Kaisha Toshiba | Multi-modal interface apparatus and method |
SE9800884L (sv) * | 1998-03-16 | 1999-05-25 | Tony Paul Lindeberg | Förfarande och anordning för överföring av information genom rörelsedetektering, samt användning av anordningen |
-
2000
- 2000-11-14 DE DE2000156291 patent/DE10056291A1/de not_active Withdrawn
-
2001
- 2001-11-14 WO PCT/DE2001/004267 patent/WO2002041069A1/de active Application Filing
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10318376A1 (de) * | 2003-04-14 | 2004-11-04 | Volkswagen Ag | Haptische Bedieneinrichtung insbesondere für Kraftfahrzeuge |
WO2004107153A2 (en) * | 2003-05-28 | 2004-12-09 | Brother International Corporation | Multi-focal plane user interface system and method |
WO2004107153A3 (en) * | 2003-05-28 | 2005-02-17 | Brother Int | Multi-focal plane user interface system and method |
DE10337538A1 (de) * | 2003-08-06 | 2005-02-24 | E.G.O. Elektro-Gerätebau GmbH | Vorrichtung und Verfahren zur Bedienung eines Kochsystems |
DE10349673B4 (de) | 2003-10-24 | 2024-06-13 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug |
DE102004021379B4 (de) * | 2003-11-10 | 2007-07-12 | Siemens Ag | Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren |
DE10361341A1 (de) * | 2003-12-18 | 2005-07-14 | E.G.O. Elektro-Gerätebau GmbH | Vorrichtung zur Bedienung eines Kochfeldes |
DE10361341B4 (de) * | 2003-12-18 | 2007-09-13 | E.G.O. Elektro-Gerätebau GmbH | Vorrichtung zur Bedienung eines Kochfeldes |
DE102004053738A1 (de) * | 2004-11-06 | 2006-05-11 | Man Roland Druckmaschinen Ag | Druckmaschinenleitstand |
EP1667423A1 (de) * | 2004-12-02 | 2006-06-07 | Swisscom Mobile AG | Verfahren und Virtual Retinal Display zur Wiedergabe des Bildes einer Person |
DE102006032117A1 (de) * | 2006-07-12 | 2008-01-24 | Volkswagen Ag | Informationssystem für ein Verkehrsmittel und Verfahren zum Steuern eines solchen Informationssystems |
DE102008029736B3 (de) * | 2008-06-23 | 2009-07-16 | Abb Ag | Türklingel oder Türstation |
DE102008043446B4 (de) * | 2008-11-04 | 2014-07-31 | BSH Bosch und Siemens Hausgeräte GmbH | Haushaltsgerät mit einer Anzeigeeinheit und Verfahren zur Anzeige einer Information auf einer Anzeigeeinheit eines Haushaltsgeräts |
DE102008043446A1 (de) * | 2008-11-04 | 2010-05-06 | BSH Bosch und Siemens Hausgeräte GmbH | Haushaltsgerät mit einer Anzeigeeinheit und Verfahren zur Anzeige einer Information auf einer Anzeigeeinheit eines Haushaltsgeräts |
US8555171B2 (en) | 2009-12-09 | 2013-10-08 | Industrial Technology Research Institute | Portable virtual human-machine interaction device and operation method thereof |
DE102011075467A1 (de) * | 2011-05-06 | 2012-11-08 | Deckel Maho Pfronten Gmbh | Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken |
US9158298B2 (en) | 2011-05-06 | 2015-10-13 | Deckel Maho Pfronten Gmbh | Device for operating an automated machine for handling, assembling or machining workpieces |
DE102012203163A1 (de) * | 2012-02-29 | 2013-08-29 | Airbus Operations Gmbh | Vorrichtung und Verfahren zum Austauschen von Informationen zwischen mindestens einem Bediener und einer Maschine |
DE102013013166A1 (de) | 2013-08-08 | 2015-02-12 | Audi Ag | Kraftwagen mit Head-up-Anzeige und zugehöriger Gestenbedienung |
DE102013021927A1 (de) | 2013-12-20 | 2015-06-25 | Audi Ag | Verfahren und System zum Betreiben einer Anzeigeeinrichtung sowie Vorrichtung mit einer Anzeigeeinrichtung |
DE102014222194A1 (de) * | 2014-10-30 | 2016-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeug mit dreidimensionaler Bedienschnittstelle |
Also Published As
Publication number | Publication date |
---|---|
WO2002041069A1 (de) | 2002-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10056291A1 (de) | Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld | |
Mott et al. | Accessible by design: An opportunity for virtual reality | |
Boman | International survey: Virtual-environment research | |
EP3143478B1 (de) | Verfahren zur darstellung einer virtuellen interaktion auf zumindest einem bildschirm und eingabevorrichtung | |
US20160019808A1 (en) | Aircraft pilot training system, method and apparatus for theory, practice and evaluation | |
EP3067874A1 (de) | Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts | |
DE112006002954T5 (de) | Virtuelles Schnittstellensystem | |
WO2012082971A1 (en) | Systems and methods for a gaze and gesture interface | |
Istance et al. | Providing motor impaired users with access to standard Graphical User Interface (GUI) software via eye-based interaction | |
Murthy et al. | Evaluating accuracy of eye gaze controlled interface in military aviation environment | |
Baig et al. | Qualitative analysis of a multimodal interface system using speech/gesture | |
Shree DV et al. | Operating different displays in military fast jets using eye gaze tracker | |
DE112019002798T5 (de) | Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm | |
Peshkova et al. | Exploring intuitiveness of metaphor-based gestures for UAV navigation | |
Spirkovska | Summary of tactile user interfaces techniques and systems | |
Alcañiz et al. | Technological background of VR | |
Po et al. | Pointing and visual feedback for spatial interaction in large-screen display environments | |
WO2003042802A2 (de) | Eingabegerät, webcam und bildschirm mit spracheingabefunktion | |
DE102021120629B3 (de) | Verfahren und Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars, Computerprogramm zur Durchführung eines solchen Verfahrens | |
DE10124834C2 (de) | Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens | |
RU160084U1 (ru) | Водительский тренажер виртуальной реальности с дополнением реальными объектами | |
US20190064920A1 (en) | Controlling and configuring unit and method for controlling and configuring a microscope | |
Stedmon et al. | Free-Speech in a Virtual World: A User-Centred Approach for Developing Speech Commands | |
Karpov et al. | ICANDO: Low cost multimodal interface for hand disabled people | |
Joyce | Performance of a Novel Virtual Environment for Cockpit Evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8130 | Withdrawal |