DE102012209917A1

DE102012209917A1 - Überführung von 2D-Eyetracking-Daten in virtuelle 3D-Entwurfswerkzeuge

Info

Publication number: DE102012209917A1
Application number: DE201210209917
Authority: DE
Inventors: Kai Bürkle
Original assignee: Technische Universitaet Dresden
Current assignee: Technische Universitaet Dresden
Priority date: 2012-06-13
Filing date: 2012-06-13
Publication date: 2013-12-19

Abstract

Es wird ein Verfahren vorgeschlagen, die Bewegung mindestens eines Auges eines realen Probanden gemeinsam mit dem betrachteten Bildausschnitt der realen Welt (bzw. der virtuellen Welt eines Simulators) aufzuzeichnen und nach geeigneter Datenaufbereitung in eine simulierte 3D-Umgebungen zu übertragen und die sich dort ergebenden Sichtverhältnisse als die eines virtuellen Betrachters auszuwerten. In einer bevorzugten Ausführungsform erfolgt anhand der Auswertung der Bewegung beider Augen des Probanden eine Bestimmung der Fixationsziele der Augen im Zeitverlauf. Dieses Vorgehen ermöglicht die Beurteilung von Sichtverhältnissen an bzw. in Maschinen und Anlagen, noch bevor ein Prototyp vorliegt.

Description

Gegenstand der vorliegenden Erfindung ist ein Verfahren, wie mittels Eyetracking gewonnene Daten in 3D-Entwurfswerkzeuge, bspw. CAD-Systeme, integriert und in diesen nutzbar gemacht werden können. Insbesondere wird ein Verfahren vorgeschlagen, wie das Sehverhalten eines realen Probanden auf Grundlage dynamischer Augpunktlage(n) als Richtung eines Sehstrahlvektors in den 3-dimensionalen Raum überführt werden kann.
Hersteller von Maschinen und technischen Anlagen sind darum bemüht, in immer früheren Phasen des Produktentstehungsprozesses Konstruktionskonzepte hinsichtlich der Ergonomie und damit auch hinsichtlich der Sichtverhältnisse der späteren Nutzer bzw. Bediener zu überprüfen. Idealerweise finden solche Überprüfungen noch vor dem Bau realer Prototypen oder Versuchsmuster statt, da mit zur Realisierung dieser Prototypen oftmals Festlegungen zur Gestaltung getroffen werden müssen, deren nachträgliche Veränderungen hohe Kosten nach sich ziehen.
Eine Abbildung tatsächlicher menschlicher Blickbewegung als Darstellung dynamischer Sichtgeometrie in virtuellen 3-dimensionalen Anwendungen ist bisher nicht realisiert worden.
Bekannte Eyetracking-Systeme (bspw. "Eyelink^® II" der FA "SR Research Ltd.") bilden auf Grundlage der erfassten Rohdaten (2-dimensionale Koordinatenpaare) im sog."Overlay-Video" die Blickrichtung als individuell konfigurierbare Markierungen (z.B. als Fadenkreuz oder Punkt in verschiedenen Größen und Farben) 2-dimensional ab.
Die bisherigen Modelle für Augpunktlage und Blickrichtung sind entweder nur durch realen Vorrichtungsbau realisierbar oder in 2-dimensionalen Darstellungen verfügbar.
Durch das Nichtvorhandensein valider statistischer Häufigkeitsverteilungen werden zudem oftmals maximal mögliche "Sehstrahldurchlässigkeiten" untersucht (Hudelmaier, J. (2003): Sichtanalyse im PKW unter Berücksichtigung von Bewegung und individuellen Körpercharakteristika, Dissertation, Lehrstuhl für Ergonomie, Technische Universität München). In der Automobilbranche werden z.B. solche Strahlengänge durch die Größen und Lagen der Autoscheiben bzw. sichtundurchlässigen Bauteile (A-/B-C-Säulen, Fahrzeugdach etc.) begrenzt. Ihnen liegen Messungen zu Augpunktlagen durch Videoaufzeichnung aus verschiedenen Perspektiven zugrunde. Ein eventuell eingesetztes Eyetracking-System wird jedoch lediglich in seiner 2-dimensionalen Darstellung ausgewertet.
Die WO 2012/021967 A1 stellt in Verbindung mit der WO 2008/141460 A1 ein System vor, bei dem Eyetracking-Daten genutzt werden, um die bei der Vorführung von 3D-Medieninhalten (bspw. 3D-Fernsehen/Kino) vom Nutzer visuell erfassten Punkte in der 3D-Darstellung zu ermitteln und darauf gestützte Auswertungen zur Verbesserung der Präsentation der Medieninhalte zu realisieren. Dieses System ist jedoch ungeeignet, um ergonomische Problemstellungen zu bearbeiten, da eine Übertragung des Nutzerverhaltens auf 3D-Vollsimulationen nicht möglich ist.
Es stellt sich somit die Aufgabe, das Sehverhalten eines realen Probanden auf Grundlage dynamischer Augpunktlage(n) in dreidimensionale Simulationen zu übertragen und dort nutzbar zu machen.
Erfindungsgemäß wird die Aufgabe mit dem Verfahren nach Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens sind in den rückbezogenen Unteransprüchen offenbart.
Erfindungsgemäß ist vorgesehen, die Bewegung mindestens eines Auges eines realen Probanden gemeinsam mit dem betrachteten Bildausschnitt der realen Welt (bzw. der virtuellen Welt eines Simulators) aufzuzeichnen und nach geeigneter Datenaufbereitung in simulierte 3D-Umgebungen zu übertragen und die sich dort ergebenden Sichtverhältnisse als die eines virtuellen Betrachters auszuwerten.
Die Probanden (bspw. Bediener und Nutzer von Maschinen und Anlagen) bewegen während der Bedienungsvorgänge nicht ausschließlich die Augen, sondern führen sowohl bewusste als auch unbewusste Körperbewegungen aus, die die Position der Augen im Raum verändern. Um eine realistische Simulation des Sehverhaltens der Nutzer zu ermöglichen sind auch diese Bewegungen mit zu erfassen. Zur Erfassung der Bewegungen ist eine Reihe von Verfahren bekannt. So z. B. mit auf den Probanden angebrachten Markern, wie dies beispielsweise in der Filmindustrie gängig ist oder mittels markerloser Verfahren (beispielsweise Microsoft Kinect, Tiefenbildkameras etc.).
Eine bevorzugte Vorgehensweise zur Erfassung der Körper- und Kopfbewegungen sieht den Einsatz eines mechanisch/elektronischen Systems vor, das gemessene Körperwinkel erfasst. Das sogenannte CUELA-System (Computer-Unterstützte Erfassung und Langzeit-Analyse von Belastungen des Muskel-Skelett-Systems) wird vom Institut für Arbeitsschutz der Deutschen Gesetzlichen Unfallversicherung (IFA) entwickelt und betrieben (IFA 2012).
Mit durch das CUELA-System ermittelten Körper- und Kopfbewegungen lässt sich die Position der Augen (deren Lage) im Raum bestimmen.
Damit die Daten der Bewegungen in die 3D-Modellierungssoftware importiert werden können, sind diese unter Umständen mittels Verfahren nach dem Stand der Technik geeignet zu konvertieren.
Im Stand der Technik wird häufig angenommen, dass z.B. Maschinenführer mobiler Arbeitsmaschinen überwiegend Sehziele fixieren, die innerhalb Ihrer optimalen Blickfelder (etwa 30° Öffnungswinkel) liegen. Innerhalb eines Blickfeldes sind Fixationen bestimmter Sehziele allein durch die Auslenkung der Augen innerhalb eines komfortablen Bereiches möglich. Es wird daher meist angenommen, dass zur Sehzielidentifikation somit allein eine Erfassung der Kopfrotation ausreiche.
Die Auswertung von Feldversuche mit Probanden, die mit einer an der Stirn angebrachten Kamera ausgestattet waren, hat überraschend erbracht, dass diese Annahme nicht zutrifft. Es wurde deutlich, dass zum einen oft außerhalb dieses Blickfeldes prozessabhängige Sehziele fixiert werden und zum anderen, dass die Betrachtung der mit dieser Stirnkamera erzeugten Videosequenzen allein keine mit Sicherheit ableitbare Identifikation fixierter Objekte, also auch keine Aussage über den tatsächlichen Verlauf der Sehstrahlvektoren, ermöglicht. Dies ist durch das Vorhandensein mehrerer prozesskritischer Sehziele im Bildausschnitt begründet.
Um solche prozessspezifischen Sehziele (fixierte Objekte) identifizieren zu können, wird daher ein Eyetracking-Systems eingesetzt.
„Eyetracking-Systeme dienen dem Aufzeichnen der hauptsächlich aus Fixationen (Punkte, die man genau betrachtet), Sakkaden (schnellen Augenbewegungen) und Regressionen bestehenden Blickbewegungen einer Person). Als Eyetracker werden Geräte und Systeme bezeichnet, die die Aufzeichnung vornehmen und eine Analyse der Blickbewegungen ermöglichen“ (nach Wikipedia, 06. Juni 2012). Besonders fortgeschrittene Systeme eliminieren bereits intern die Sakkaden und liefern bereinigte Datensätze, die nur noch Fixationen und Regressionen enthalten.
Eyetracking-Systeme existieren für ein (monokular) oder für beide (binokular) Augen. Wird lediglich die Bewegung eines Auges aufgezeichnet, lässt sich der zugehörige Sehstrahl ermitteln. Liegen dagegen Daten für beide Augen vor, so können beide Sehstrahlen ermittelt werden und bieten somit die vorteilhafte Möglichkeit für weiterreichende Untersuchungen, nachfolgend in C2 beschrieben.
Die Übertragung des Datensatzes eines monokularen Systems in eine virtuelle 3D-Umgebung liefert jedoch bereits wertvolle Informationen hinsichtlich der Blickrichtungen, der Kollision des Sehstrahls mit virtuellen Objekten (Bauteilen) der virtuellen Maschinen und Vorrichtungen etc.
Die Einbeziehung der Daten für das zweite Auge ermöglicht dann weitergehende Aussagen zu den tatsächlich fixierten Objekten.
Als geeignet für das erfindungsgemäße Verfahren hat sich als Eyetracking-System ein Laborgerät (Eyelink II der FA SR Research) erwiesen. Dieses ist insbesondere bei Versuchen in Simulatoren verwendbar. Bei Feldeinsätzen sind entsprechende Systeme aus dem Stand der Technik bekannt. Geeignete Eyetracking-Systeme erfassen mittels einer Kamera (monokular), bevorzugt mit zwei unterschiedlichen Kameras (binokular) die Stellung beider Augen, genauer gesagt, deren Pupillen bzw. Lichtreflexe, entweder direkt oder indirekt. Eine weitere Kamera erfasst simultan den betrachteten Bildausschnitt. So wird insbesondere bei Kopfbewegungen sichergestellt, dass die Augenposition in Relation zum Sichtfeld erfasst wird.
Vorteilhaft am Einsatz von Simulatoren ist insbesondere, dass die im Simulator ablaufenden Versuchsfahrten oder Versuchsbedienungen eines Maschinenmodells aufgezeichnet und zusammen mit anderen in das Versuchsszenario implementierten 3D-Objekten dynamisch in desktopbasierten 3D-Anwendungen exakt nachgebildet werden können. Überraschend hat sich gezeigt, dass beim Einsatz des Simulators mit zweidimensionaler Darstellungstechnik nachweislich okulomotorische Effekte auftreten, wie sie in dieser Ausprägung sonst nur in der realen Welt möglich wären. Solche Effekte sind berechnete Sehobjektentfernungen mit größerer Distanz zwischen virtuellem Augpunkt und Sehziel als der theoretisch maximal mögliche Abstand, der sich durch die Distanz zwischen den Augen des realen Probanden bis zur Projektionsfläche des Simulators ergibt. Es wird angenommen, dass aufgrund der hohen Realitätstreue bei hybriden Versuchen (Mischung aus haptisch wahrnehmbarer Mensch-Maschine-Schnittstelle, Rückkopplung über mehrer Sinnesorgane (visuell, akustisch, vestibulär etc.) und einem virtuellen Anteil der restlichen Maschine und Umgebung) zunächst im unterbewussten Erfahrungsschatz verankerte Sehgewohnheiten ausgelöst werden. Unter Umständen stellen sich die Augen erst nach einer gewissen Betrachtungszeit auf die tatsächliche Projektionsebene ein. Das auf physikalisch korrekten Berechnungen basierende Bewegungssystem kann eine realitätsnahe Empfindung verstärken.
Da die virtuelle Umgebung, das Maschinenmodell und die Körperbewegung des Nutzers wie beschrieben in den virtuellen 3D-Raum übertragbar sind, ist nunmehr noch die Überführung der Sichtdynamik in diesen notwendig. Im Ergebnis stehen reale Blickbewegungen in 3-dimensionalen Entwurfswerkzeugen (z.B. gängige CAD-Anwendungen oder 3D-Modellierungssoftware) zur Verfügung.
Wahlweise können die Datensätze des Eyetrackeing-Systems für ein Auge oder für beide Augen ausgewertet und so eine monokulare oder eine binokulare Auswertung im 3D-Modell vorgenommen werden.
Eyetracking-Systeme geben Messdaten meist in Form 2-dimensionaler Darstellungen als Video und als diesem zugrunde liegende 2-D-Rohdatensätze für jedes Auge aus. Oftmals werden solche Eyetracking-Systeme zusammen mit einer Software zur 2D-Auswertung aufgenommener Daten ausgeliefert. Den Bildausschnitt des Videos liefert meist eine Szenenkamera, die an der Stirn von Probanden befestigt ist. Die Augenbewegungen (Blickmessdaten) werden hingegen von mindestens einer, oft zwei Kameras aufgezeichnet. Die Blickmessdaten werden dann der aufgezeichneten Videosequenz überlagert und als Markierungen in der Videosequenz dargestellt. Für das weitere Vorgehen stehen daher lediglich die x- und y-Koordinaten mit zeitlichem Bezug (Zeitstempel und Frameangaben) aus den Rohdaten des Eyetracking-Systems zur Verfügung.
Alternativ zur Nutzung der Rohdaten des Eyetracking-Systems ist eine auf Matlab/Simulink oder einer ähnlichen Software beruhenden Simulation auf Basis einer Funktion zur Kreuzkorrelation zur automatisierten Bildverarbeitung anhand der Videodarstellung möglich.
Das folgende Vorgehen ist sowohl zur Blickbewegungsübertragung auf Basis statischer Augpunktlagen (z.B. Mensch in Ruhe ohne zusätzliche Kopfbewegungen vor einem Bildschirm o.ä.) als auch auf Basis ortsveränderlicher und mit Körperbewegungen verknüpften Szenarien verwendbar.
Eine vollständige Abbildung virtueller Sichtdynamik geht davon aus, dass mindestens ein (monokular) bzw. zwei (binokular) sich zeitlich verändernde Augenpunkte mit bekannten Raumkoordinaten und zusätzlich Kopfbewegungen (Translations- und Rotationsbewegungen) bekannt sind, wie sie z.B. mit o.g. Verfahren (CUELA, markerbasiert, markerlos mit Kinect etc.) ermittelt werden können.
A. Rohdatenaufbereitung (sowohl monokular als auch binokular)
Bei der bevorzugten Verwendung der Rohdaten des Eyetracking-Systems ist eine Aufbereitung notwendig:

• Die Rohdaten (vorzugsweise ASCII-Datensätze aus dem Eyetracking-System) werden (z.B. mit MS Excel) so modifiziert, dass ein Animationsimport in ein 3D-Modellierungsprogramm (z.B. 3DS Max in Form eines xml-basierten Dateiformats als *.xaf-Datei) erfolgen kann. Die fehlende dritte Koordinate erhält über die gesamte Zeitstruktur den pauschalen Wert Null.
• Die Hardwareeigenschaften der Kamera, die auf die betrachtete Szene gerichtet ist, insbesondere deren Öffnungswinkel und Pixelauflösung, erfordern hardwareabhängige (Eyetracker-System-abhängige) Berechnungen zum Import der Eyetracking-Rohdaten. Durch den trigonometrischen Zusammenhang zwischen dem Bildausschnitt der Eyetracker-Szenenkamera (beim Eyelink II mit einer Auflösung Breite(B)·Höhe(H) [Pixel] = 720·480) und ihrer optischen Parameter (einstellbar, bevorzugt ist ein horizontaler Öffnungswinkel α beim Eyelink II von 95°, vorzugsweise wird weiterhin das Pixelseitenverhätnis (PAR) berücksichtigt) kann der Abstand A einer theoretischen Projektionsebene von der Kameraposition berechnet werden: A = (tan( 180° – α / 2))· B / 2 (1) Für den bevorzugten Einsatz des Eyelinks hat der Hersteller nur den horizontalen Öffnungswinkel angegeben. Möglich ist eine Abstandsbestimmung auch über den vertikalen oder diagonalen Öffnungswinkel.

B. Import der aufbereiteten Daten in die 3D-Modellierungsanwendung
Die aufbereiteten Daten werden nunmehr in die 3D-Modellierungsanwendung importiert.

• Ein virtuelles Objekt (bevorzugt eine Ebene als theoretische Projektionsebene) mit den gleichen relativen Verhältnissen wie die Auflösung der Szenenkamera (Stirnkamera) wird erstellt und im zuvor berechneten Abstand A vom Mittenauge des digitalen Menschmodells platziert. Die Stirn (und somit der reale Aufnahmeort der Eyelink Szenenkamera am Probanden) entspricht in etwa der Position des Mittenauges (Okula M) des Menschmodells. Die erstellte Projektionsebene wird parallel zur Frontalebene des Kopfes des Menschmodells ausgerichtet und von der Kopfbewegung abhängig gemacht. Auf diese Ebene werden dadurch translatorische und rotatorische Transformationen des Kopfes in Abhängigkeit der Entfernung zwischen Kopf und Ebene übertragen ("Vererbung" der Transformationen).
• Je nach Eyetracking-Verfahren (monokular – für ein Auge oder binokular – für beide Augen) wird/werden ein bzw. zwei Sehstrahlvektor(en) erzeugt. Diese dienen hier als Hilfskonstrukte zur Visualisierung in der 3D-Modellierungsanwendung, bevorzugt als dünne Zylinder, Linie oder Strahl ("ray") dargestellt. Jeder Sehstrahlvektor weist einen Koordinatenursprung an seinem Ursprung auf und wird auf die x-, y-, und z-Koordinaten der jeweiligen Augenpunkte übereinstimmend positioniert. Ein eventuell zusätzlich erstellter dritter Sehstrahlvektor für die „Blickrichtung“ der Szenekamera (als drittes Auge / Mittenauge) wird vom geometrischen Aufbau und der zugrunde liegenden Hierarchie analog behandelt. Er bekommt die geometrisch gemittelten Raumkoordinaten aus den Positionen des rechten und linken Auges als Startpunkt. Seine Richtung wird bestimmt durch den Mittelwert aus den Rohdaten für das rechte und linke Auge und liegt zwischen den beiden Helferobjekten.
• Der/die Sehstrahlvektor(en) wird/werden in seinem/ihren Drehpunkt(en) (als Startpunkt(e)) mit der/den Augenposition(en) verknüpft, so dass er/sie die Transformationen des bewegten Kopfes erbt/erben.
• Ein beliebiges Helferobjekt (bevorzugt eine Kugel) für jeden Sehstrahlvektor wird in der Szene erstellt. Dieses Helferobjekt dient der Sichtbarmachung des Schnittpunktes des Sehstrahls mit der theoretischen Projektionsebene. Das bzw. die Helferobjekte wird/werden in dem Nullpunkt der Eyetracking Koordinaten platziert. Dieser Nullpunkt befindet sich vorzugsweise in der linken oberen Ecke (als Nullpunkt der Eyetracking-Koordinaten). Das bzw. die Helferobjekt werden so konfiguriert, dass sie die translatorischen und rotatorischen Bewegungen der virtuellen Kameraebene erben (abhängig von den ausgeführten Kopfbewegungen).
• Anschließend erfolgt der Animationsimport der aufbereiteten Eyetracking-Daten auf das bzw. die erstellte(n) Helferobjekt(e) (Kugel(n)), bzgl. des auf die theoretische Projektionsfläche bezogene lokale Koordinatensystem.
• Der/die Sehstrahlvektoren werden so konfiguriert, dass seine/ihre Ausrichtung permanent auf die jeweils zugehörigen importierten Helferobjekte auf der theoretischen Projektionsebene zeigt/zeigen.

Daraus ergibt sich (vorzugsweise) folgender hierarchischer Aufbau:

– bewegter Kopf – Okula L/R/M Kamera (als Augpunkt(e) und somit Startpunkt(e) des der Sehstrahlvektors / Sehstrahlvektoren) – Sehstrahlvektor(en) L/R/M – theoretische Projektionsebene (als gedachter virtueller Kameraausschnitt) • Fixationsrichtungen für linkes/rechtes/gemitteltes Auge (erstellte Kugeln) • Messwert "ungültig"-lokal (0,0) bezogen auf theoretische Projektionsebene – Blickfeldkegel, 20° bis 40°, besonders bevorzugt 25° bis 35°, weiterhin bevorzugt 28° bis 32°

C1. Darstellung der Sichtdynamik des monokularen virtuellen Betrachters innerhalb der 3D-Modellierungssoftware
Der Sehstrahlvektor dient als Visualisierung und 3D-Interaktionsobjekt der Sichtdynamik des virtuellen Betrachters, der für weitere Untersuchungen, z.B. Kollisionsuntersuchung mit sichtdurchlässigen oder undurchlässigen Objekten bzw. Häufigkeitsverteilungen, verwendet werden kann. Für seine rotatorischen Freiheitsgrade wird bevorzugt ein sogenannter "LookAt-Constraint", bzgl. der Fixationsrichtung (Kugel), definiert. Die permanente Ausrichtung des Sehstrahlvektors auf die entsprechende Kugel kann auch über die Pfadbeschränkungsfunktion erreicht werden.
Ein den monokularen Eyetracking-Systemen anhängender Nachteil ist, dass keine Fixationsziel-Unterscheidung möglich ist, falls eine nach diesem Verfahren beschriebene Überführung in virtuelle 3D-Umgebungen ergibt, dass ein Sehstrahl mehrere (vom virtuellen Betrachter aus gesehen hintereinanderliegende) Objekte durchstoßen werden. Eine Möglichkeit zur sehabstandsbasierten Differenzierung bietet erst die nachfolgend beschriebenen Vorteile einer Überführung von Eyetracking-Daten für beide Augen.
C2. Darstellung der Sichtdynamik des binokularen virtuellen Betrachters innerhalb der 3D-Modellierungssoftware
Für die Überführung binokularer Sichtdynamik gilt im Prinzip dasselbe Vorgehen wie für die monokulare Sichtdynamik, jedoch mit jeweils zwei Startpunkten (Augpunktlage rechtes und linkes Auge), zwei Fixationsrichtungen (Eyetracking-Daten für rechtes und linkes Auge) und zwei Sehstrahlvektoren, die sich theoretisch im Fixationsobjekt schneiden.
Im Falle binokularer Darstellung (also mit rechtem und linkem Auge separat) wird die geometrische Bestimmung des Fixationszieles anhand zweier Ansichten möglich. Die beiden Sehstrahlvektoren schneiden sich in ihrem jeweils "angenommenen Schnittpunkt" zweier Ansichten. Der Schnittpunkt wird als angenommen bezeichnet, weil aufgrund kleiner Abweichungen von Augenstellung und Eyetracking-System nur selten ein tatsächlicher Schnittpunkt der Sehstrahlvektoren zu ermitteln ist. Genutzt wird daher die Möglichkeit innerhalb eines 3D-Entwurfswerkzeugs, einen Bereich der geringsten Annäherung der Sehstrahlvektoren („Objekt fangen“-Funktion der Software) zu ermitteln.
Die Ableitung der x- und y-Koordinaten im Weltkoordinatensystem (WKS) der 3D-Modellierungsanwendung erfolgt, indem der Durchtritt der Sehstrahlen durch eine x-y-Ebene ermittelt wird, die den angenommenen Schnittpunkt (bzw. die die auf die beiden Sehstrahlvektoren gleichzeitig orthogonal stehende Gerade) enthält. Die z-Koordinaten des Fixationsziels im WKS sind aufgrund einfacher geometrischer Zusammenhänge aus dem Verlauf eines mittleren Sehstrahlvektors und dessen Schnittpunkt mit der erstellten Ebene zu ermitteln. Ein mittlerer Sehstrahlvektor entspricht dem Vektor des Mittenauges. Das Mittenauge sitzt zwischen dem rechten und linken Auge (Startpunkt des Mittenaugenvektors) und erhält seine Richtung über das arithmetische Mittel der Eyetracking-System-Koordinaten (für die Augen links und rechts). Seine Position entspricht vorzugsweise der der Szenekamera.
Ein alternativer Weg besteht in der Ableitung der z-Koordinate aus dem Mittelpunkt der auf beiden Sehstrahlvektoren orthogonalen Verbindungslinie.
Das Weltkoordinatensystem beschreibt das übergeordnete Koordinatensystem der 3D-Modellierungsanwendung, wobei bevorzugt die x-Achse horizontal und die y-Achse vertikal verlaufen, wobei die z-Achse in die Tiefe reicht. Mit der Bestimmung der 3-dimensionalen Koordinaten sind Aussagen zum Fixationszielabstand vom Betrachter möglich. Die Entfernung E des Sehziels vom Betrachterauge ergibt sich näherungsweise zu
oder
wobei die Koordinatensysteme den in der 1 dargestellten entsprechen (F_x, F_y, F_z Koordinaten des Sehziels (Fixationsziel), M_x, M_y, M_z Koordinaten der Position des Mittelauges).
Ein weiterer Weg ist die Berechnung eines Sehzielabstands über einfache geometrische Zusammenhänge zur Bestimmung eines "echten" Schnittpunktes. Eine dafür im Ausführungsbeispiel getroffene Annahme ist, dass die Verbindungslinie zwischen dem rechten und dem linken Auge parallel zur Verbindungslinie zwischen den Positionen beider "Fixationskugeln", die sich aus den Eyetracking-Koordinaten ergaben, ist. Demnach ist der Abstand eines Objektes zum Mittenauge E_vereinfacht: E_vereinfacht = (1 + LR / D – LR)(tan 180° – α / 2)( B / 2) (4) wobei

LR: – Abstand der beiden Fixationskugeln im virtuellen Kameraausschnitt
D: – entspricht dem Augenabstand (im Mittel etwa 65 mm)
α: – Öffnungswinkel der Stirnkamera
B: – Breite der virtuellen Kameraebene (abhängig von den Hardware-Spezifikationen des eingesetzten Eyetracking-Systems

Die angegebene Formel (4) gilt für Fixationsziele, die hinter der virtuellen gedachten Projektionsfläche liegen. Eine Formel für davorliegende Fixationsziele lässt sich analog unter Zugrundelegung bekannter geometrischer Gesetzmäßigkeiten herleiten.
Ein weiterer Weg zur Entfernungsbestimmung nach (2) oder (3) führt über eine direkte Berechnung des Vektors zum Fixationsziel F . Die analytische Bestimmung des Schnittpunktes, der sich aus dem Verschneiden der beiden Fixationsstrahlen ergibt (Schneiden zweier Geraden), kann beschrieben werden als: F → = L → + s₀·[HL → – L →] = R → + t₀·[HR → – R →] (5) wobei

L: – Vektor zum linken Augenpunkt
HL: – Vektor zum Helferobjekt für die Fixation des linken Auges auf der theoretischen Projektionsebene
R: – Vektor zum rechten Auge
HR: – Vektor zum Helferobjekt für die Fixation des rechten Auges auf der theoretischen Projektionsebene
s₀/t₀: – Skalare als Lösung des linearen Gleichungssystems durch Gleichsetzen der beiden Geraden mit Koordinatenvergleich unter Berücksichtigung mathematisch bedingter Restriktionen

1

Eine bevorzugte Weiterentwicklung des binokularen Verfahrens sieht vor, den fovealen Bereich in der 3D-Darstellung mit zu visualisieren. Auf diese Weise kann vorteilhaft untersucht werden, welche Informationen gemeinsam vom Betrachter aufgenommen werden bzw. ob notwendigerweise gemeinsam zu verarbeitende Informationen auch innerhalb dieses Bereichs angeboten werden. Die Darstellung des fovealen Bereichs kann vorzugsweise mit der Projektion eines Kegels mit einer Öffnungsweite von 2 ° (und dem Scheitelpunkt im Mittenauge) um den mittleren Sehstrahlvektor und der Hervorhebung einer Markierung (bevorzugt eine flächige Darstellung – ggf. halbtransparent) bei dessen Durchtritt durch den angenommenen Schnittpunkt der Sehstrahlvektoren erfolgen.
Vorteilhaft bietet das erfindungsgemäße Vorgehen die Möglichkeit, reales Blickverhalten exakt (in Abhängigkeit der Genauigkeit des eingesetzten Eyetracking-Systems) als virtuelle Sichtdynamik in 3D-Entwurfswerkzeugen verfügbar zu machen.
Die Darstellung der virtuellen Sichtdynamik erfolgt vorteilhaft über Datensichtgeräte, wie geeignete Monitore oder Projektoren. Die Darstellung erfolgt vorzugsweise in einer 3D-Modellierungs- oder CAD-Umgebung. Das bedeutet vorteilhaft, dass man auch auf einem 2D-Monitor die Ansicht wechseln kann, also z.B. die Ansicht um ein Objekt drehen kann. Die Darstellung auf dem Datensichtgerät erfolgt jedoch konventionell in 2D. In einer weiteren besonders bevorzugten Ausführungsform ist die Darstellung in einer 3D-Darstellung unter Einsatz entsprechender Datensichtgeräte bspw. mittels aktiver (Shutterbrillen) oder passiver Systeme (Polarisationsmonitore und -brillen, Prismenmonitore, Linsenmonitore etc.) realisiert.
Mit der Überführung realen Blickverhaltens in Entwurfswerkzeuge wird Sichtdynamik für Konstrukteure handhabbar. Mit Hilfe des / der Sehstrahlvektoren als 3-dimensionale(s) Objekt(e) lassen sich weiterhin Durchdringungen, Kollisionen oder Interaktionen anderer 3D-Objekte zeitdiskret berechnen. Aufgabenabhängige Häufigkeitsverteilungen werden aus Realdaten quantifizierbar.
Durch Einbeziehung unterschiedlicher Kriterien können spezielle Arten der Okulomotorik identifiziert werden. Somit können z.B. gezielt Sakkaden oder Fixationen herausgefiltert werden. Auch die Umsetzung framegenauer Fixationen von Blickobjekten mit Relativbewegung bzgl. der Augen ("smooth persuit") sind möglich. Das bevorzugt eingesetzte Eyetracking-System Eyelink II kann zwar durch das Filtern nach bestimmten Ausschlusskriterien Fixationen identifizieren, gibt aber für Fälle mit "smooth persuit" lediglich Mittelwerte an.
Ausführungsbeispiel
Es kommt ein interaktiver Maschinensimulator zum Einsatz. Mit diesem können Testfahrer (Probanden) mit virtuellen Maschinen Arbeitsaufgaben in virtuellen Szenarien erledigen. Dabei lassen sich auch kritische Situationen gefahrlos untersuchen. Umgebungsbedingungen und Systemparameter werden innerhalb einer gegebenen Variationsbreite festgelegt, was die Wiederholung und Reproduktion von Experimenten ermöglicht. Bei den Untersuchungen werden ausgewählte Verhaltensmerkmale der Probanden (Maschinenführer) zeitgleich direkt mit Messtechnik (Blick- und Bewegungsverhalten) und indirekt über aufgezeichnete Maschinendaten (Fahrverhalten) erfasst. Insgesamt ist so eine objektivierte Bewertung von Maschinen im Einsatz möglich.
Der Simulator besteht aus einer Kabine, welche auf einem Bewegungssystem montiert ist. Tatsächlich handelt es sich um eine Abwandlung eines Flugsimulators nach dem Stand der Technik. In die Simulatorkabine lassen sich reale Führerhäuser mit originalen oder prototypischen Bedien- und Anzeigeelementen verschiedener Maschinentypen einbauen. Beamer projizieren computergenerierte Darstellungen der Arbeitsumgebung einschließlich sichtbarer Maschinenteile auf eine gewölbte Wand. Ein Soundsystem erzeugt zugehörige Geräusche. Die beim Fahren und Arbeiten auftretenden Bewegungen, Beschleunigungen und Maschinenschwingungen werden über das Bewegungssystem nachgebildet. Somit kann ein Maschinenführer die virtuelle Arbeitsmaschine über seine Sinne für Sehen, Hören, Gleichgewicht und Fühlen erleben. Durch die Interaktion mit der Maschine und der Umwelt bestimmt er den Arbeitsprozess und das Maschinen- sowie Umweltverhalten mit.
Die Bewegungen der Probanden (Maschinenführers) werden durch ein mechanisch/elektronisches System über gemessene Körperwinkel erfasst. Das CUELA-System (Computer-Unterstützte Erfassung und Langzeit-Analyse von Belastungen des Muskel-Skelett-Systems) wird vom Institut für Arbeitsschutz der Deutschen Gesetzlichen Unfallversicherung (IFA) entwickelt und betrieben. Im Simulator wird eine zur Registrierung der Kopfneigung und -torsion entwickelte Systemvariante verwendet.
Die Blickbewegungen der Maschinenführer werden mit dem Eye-Tracking-System EyeLink II aufgezeichnet. Aus den Fixationen lassen sich Rückschlüsse auf arbeitsbedingte Sehziele ziehen.
Aus den Daten des CUELA-Systems wird ein virtuelles Mensch-Modell bewegt. Mit dem so konfigurierten Menschmodell ist es möglich, Rückschlüsse auf die Raumkoordinaten der virtuellen Augpunkte zu ziehen. Diese bilden den Startpunkt für das Blickfeld, das direkt mit den Kopfbewegungen verknüpft ist. Das Blickfeld repräsentiert denjenigen Bereich, innerhalb dessen Objekte allein durch die Ausrichtung der Augen in angenehmer Weise fixiert werden können.
Im Ergebnis dieses Bearbeitungsschritts ist die Gegenüberstellung von Bewegungen realer Probanden und denen der Menschmodelle möglich. Dabei wurde festgestellt, dass feinste Körperbewegungen, z.B. durch Querbeschleunigungen aufgrund unebener Terrains, hinreichend genau übertragen werden.
Zusätzlich werden Rohdaten des Eye-Tracking-Systems (EyeLink II) für die Augenbewegungen (Okulomotorik) verarbeitet und auf das bereits kinematisch animierte digitale Menschmodell (Betrachter) übertragen. Vorzugsweise werden die Daten von Sakkaden- und Blink-Ereignissen (Blicksprünge, Blinzeln) bereinigt. Framegenaue Koordinaten zur Bestimmung der Richtung von Sehstrahlvektoren werden ermittelt. Berücksichtigt werden dabei unterschiedliche Frameraten der eingesetzten Messsysteme sowie der Modellierungssoftware. Nach einem Import der bearbeiteten Eyetracking-Daten in die 3D-Modellierungssoftware steht eine in die virtuelle Welt übertragene menschliche Blick- und Körperbewegungsdynamik zur Verfügung.
Bei der Maschinensimulation im Simulator werden die Werte generalisierter Koordinaten des Mehrkörpersystems aufgezeichnet. Damit lassen sich die Systemzustände einer Baumaschine vollständig beschreiben. Für den Import in die Computergrafikplattform werden sie in kartesische Raumkoordinaten der Einzelkörper umgewandelt. Umgebungsdaten liegen bereits in dieser Form vor. Zu weiteren Maßnahmen der Daten-Vorverarbeitung zählen die Interpolation auf eine definierte Framerate, das Splitting in Prozessschritte und die Daten-Synchronisation. Für das Einlesen und Weiterverarbeiten aller Informationen wurden Blender-Skripte entwickelt. Ergebnis des Datentransfers ist eine Keyframe Animation von Maschine und Umgebung in Blender, die als Grundlage für den Import in 3ds Max (3D-Modellierungssoftware) dient.
Menschliche und maschinelle Arbeitsprozesse werden in einer virtuellen Umgebung zusammengeführt. Dazu werden die animierten Mensch-, Maschinen- und Umgebungsmodelle auf Basis von Synchronisationssignalen in eine gemeinsame Datei der Entwurfsplattform importiert.
In den Entwurfswerkzeugen selbst können durch Variation von Nutzerkollektiven und Veränderung der Maschinenkonstruktion weiterführende Experimente durchgeführt werden. Hintergrund ist die Bewertung von Entwürfen hinsichtlich ihrer globalen Markteignung und eine vorausschauende Betrachtung der Wirkung konstruktiver Änderungen.
Die gekoppelte Animation von Mensch- und Maschinenmodellen in 3ds Max und CharAT Ergonomics schafft die Möglichkeit, prozesskritische Sehziele zu identifizieren. Dazu wird ein skriptbasiertes Tool eingesetzt, das Kollisionen dynamischer Sehobjekte (Sehstrahl) mit 3D-Objekten von Maschine und Umgebung markiert und nach Zeit, Ort und Häufigkeit klassifiziert. Beliebige Objekte lassen sich dabei auf ihre prozesskritische Relevanz hinsichtlich direkter und/oder indirekter Sicht untersuchen. Fixationsstrahlen werden nach den Kriterien "Kollision mit sichtverdeckendem Material", "keine Sichtbehinderung (auch durch Glas)" oder "indirekte Sicht über Spiegel" unterschieden und ausgezählt. Damit ist eine Gewichtung von Sehraumabschnitten im Einsatzkontext der untersuchten Baumaschine möglich. Solche Gewichtungen können auch für Konstruktionsobjekte selbst ermittelt werden
Neben den Sehstrahlen müssen auch Körperhaltungsanalysen in die Auswertung einbezogen werden. Kompensationsbewegungen lassen auf ungünstige Sichtbedingungen schließen. Ein Hinweis dazu ergibt sich aus der Rückentorsion bei verschiedenen Arbeitsszenarien eines Radladers. Beim Y-Spiel des Radladers zeigen sich erhöhte Rückentorsionswerte. Hintergrund ist der hohe Rückfahranteil. Die Fahrer wollen sich über den visuellen Sinneskanal über direkte oder indirekte (z:B. über Seitenspiegel) Sicht von der Abwesenheit einer Kollisionsgefahr überzeugen. Es wird erwartet, dass Assistenzsysteme für das Rückwärtsfahren eine Verbesserung für Ergonomie und Arbeitssicherheit bringen.
Figuren
1 zeigt die prinzipielle Konfiguration virtueller Sichtdynamik in der 3D-Modellierungssoftware.
Abhängig von der Körper- und Kopfbewegung bewegt sich die virtuelle Projektionsebene der Szenenkamera und die von ihr abhängigen Objekte, die über den Datenimport der 2-dimensionalen Koordinatenpaare lokal auf dieser Ebene (x' und y') animiert werden.
Der angenommene Schnittpunkt der Sehstrahlvektoren beider Augen (SL und SR) ergibt in dieser Ansicht die F_x- und F_y-Koordinaten des Fixationsziels im Weltkoordinatensystem (WKS).
Der angenommene Schnittpunkt der Sehstrahlvektoren liefert die noch fehlende F_z-Koordinate.
Der Entfernung E des Sehziels vom Betrachterauge ergibt sich näherungsweise nach den Gleichungen (2) oder (3)
2 zeigt die Einordnung des erfindungsgemäßen Verfahrens in den Gesamtablauf der 3D-Simulation.
Bezugszeichenliste

α

Öffnungswinkel des Kameraobjektives der Szenekamera

B

Breite der Ebene (entsprechend der Eyetracking-Hardware in Pixel)

C

Kopf

D

Augenabstand

E

theoretische Projektionsebene mit derselben Auflösung, wie die Szenekamera

F

Sehziel, Fixationsziel mit den Koordinaten F_x, F_y, F_z

H

Höhe der Ebene (entsprechend der Eyetracking-Hardware in Pixel)

HK

Hilfsobjekt zur Darstellung des Durchtritts des Kamerasehstrahls SK durch die Ebene E

HL

Hilfsobjekt zur Darstellung des Durchtritts des Sehstrahls SL des linken Auges durch die Ebene E

HR

Hilfsobjekt zur Darstellung des Durchtritts des Sehstrahls SR des rechten Auges durch die Ebene E

K

Position der Kamera, K_x, K_y, K_z entspricht der Position des Mittelauges

L

Position des linke Auges, L_x, L_y, L_z

M

Position des Mittelauges, M_x, M_y, M_z

R

Position des rechten Auges R_x, R_y, R_z

SK

Sehstrahl der Kamera

SL

Sehstrahl des linken Auges

SR

Sehstrahl des rechten Auges

WKS

Weltkoordinatensystem der 3D-Modellierungssoftware

x, y, z

Koordinaten im WKS

x‘, y‘, z‘

Koordinaten im lokalen Koordinatensystem das an die Ebene E gebunden ist

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2012/021967 A1 [0007]
WO 2008/141460 A1 [0007]

Claims

Verfahren zur Überführung realweltlicher Sichtinformationen in virtuelle 3D-Umgebungen, gekennzeichnet durch die folgenden Schritte: a. zeitsynchronisierte Rohdatenerfassung für einen Probanden im Realweltsystem mit Erfassung: i. der Kopfbewegungen des Probanden mittels eines geeigneten Erfassungssystems, ii. der Augenbewegungen von mindestens einem Auge des Probanden mittels Eyetracking-System, iii. der dem Probanden in Blickrichtung präsentierten Realweltansicht mittels mindestens einer Szenekamera, b. Aufbereitung der Daten des Eyetracking-Systems unter Berücksichtigung der Hardware-Eigenschaften des Eyetracking-Systems, c. Import der Kopfbewegungsdaten und der aufbereiteten Daten des Eyetracking-Systems in die 3D-Modellierungssoftware mit i. Berechnung einer virtuellen Ebene analog zur Auflösung der Szenenkamera, Ausrichtung der virtuellen Ebene und Kopplung der Bewegung der virtuellen Ebene an die Kopfbewegungsdaten, ii. Erzeugung von Sehstrahlvektoren für jedes Auge, für das Augenbewegungsdaten vorliegen, und falls vorliegend, für die Szenekamera, iii. Positionierung und Kopplung der Sehstrahlvektoren an die Augenkoordinaten, iv. Erzeugung von Helferobjekten und deren Ausrichtung am Nullpunkt der virtuellen Ebene v. Importieren der aufbereiteten Daten des Eyetracking-Systems und Steuerung der Bewegung der Helferobjekte auf der virtuellen Ebene aufgrund dieser Daten, vi. Verknüpfung der Sehstrahlvektoren mit den Helferobjekten zur Bestimmung ihrer Richtung d. Darstellung der Sichtdynamik des virtuellen Betrachters mit Visualisierung der Kopfbewegung und der Sehstrahlvektoren auf einem Datensichtgerät im Zeitverlauf.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Vorliegen von Datensätzen für beide Augen ein Fixationspunkt bestimmt wird, indem: a. in Schritt 1. c. ein angenommener Schnittpunkt der Sehstrahlvektoren bestimmt wird, b. in der Darstellung der Sichtdynamik in Schritt 1.d. dieser Fixationspunkt dargestellt wird, c. zur Bestimmung des Fixationspunktes ein näherungsweises Verfahren angewendet wird, das bei der Sehentfernungsberechnung auf dem Abstand der beiden Helferobjekte auf der Projektionsfläche nach Schritt 1.c.i und daraus resultierenden geometrischen Verhältnissen beruht.
Verfahren nach Anspruch 2, Schritt c. dadurch gekennzeichnet, dass ein analytisches Rechenverfahren zur Bestimmung des Fixationspunktes angewendet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der foveale Bereich als Kegel mit einer Öffnungsweite von ca. 2° um den Sehstrahlvektor eines Mittelauges herum bestimmt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der foveale Bereich im Fixationspunkt als Grundfläche des Kegels in diesem Punkt dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das optimale Blickfeld dargestellt wird, indem ein Kegel mit einer Öffnungsweite von 25° bis 35° erzeugt wird und eine Ausrichtung und Kopplung an die Kopfbewegungsdaten erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sehstrahl der Kamera mit dem Sehstrahl des Mittenauges gleichgesetzt wird.