Verfahren zum Steuern oder Bedienen von Systemen durch Bildinformationen und Verfahren zur Erfassung von Bildinformationen
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern oder Bedienen von Systemen durch Bildinformationen und ein Verfahren zur Erfassung von Bildinformationen.
Die breite Anwendung einer Vielzahl von relativ komplexen elektronischen Geräten im Haushalt, am Arbeitsplatz und in Fahrzeugen, die ständig bedient werden, nimmt immer mehr zu. Als Beispiel seien Fernseh- und Videogeräte, Computer, Drucker, Beleuchtungseinrichtungen, Telefon, Fax und Handy, sowie Radio, CD-Spieler und GPS- Navigationsgeräte genannt. Heute werden Geräte meistens mit Hilfe von Hebeln, Tasten und Schaltern, oder durch Menüführung an einem Bildschirm und Anwählen der gewünschten Bedienfunktion durch Tastatur, Trackball, Bedienstift oder Maus, bedient.
Beim Bedienen muß ein Bedienelement optisch oder haptisch gesucht werden, und durch optische Fixierung mit den Augen und/oder Ertasten der Form muß das Bedienelement erfaßt werden.
Bei Menüführung sind mehrere Betätigungen nötig, nämlich die Auswahl des Menüpunktes über das Bedienelement einerseits und Auslösen der Funktion und über ein weiteres
Bedienelement andererseits. Eine Funktionskontrolle kann dabei durch Rückmeldung über eine Funktionsbeleuchtung erfolgen.
Die Vielzahl von Funktionen üblicher Geräte und Systeme erfordert eine entsprechend hohe Anzahl von Bedienelementen. Dies erschwert das Auffinden und Bedienen und führt außerdem zu einem hohen Platzbedarf. Die Unterbringung mehrerer Bedienelemente ist ergonomisch oft nicht gelöst. Bei der Notwendigkeit der Bedienung von mehreren Schaltern nach einem bestimmten Ablauf entstehen häufig Fehler. Weiterhin müssen Funktionen erlernt werden und es ist erforderlich, Bedienungsanleitungen zu studieren, was vor allem Kindern und älteren Personen oft schwerfällt. Zumeist fehlt auch eine
Standardisierung des Bedienortes und der Gestaltung und Anordnung der Elemente. Sie stören oft die ästhetische Gestaltung und begrenzen die Möglichkeiten des Designs.
Insbesondere beim Führen von mobilen Systemen benötigt der Fahrer seine volle Konzentration. Der größte Teil von Verkehrsunfällen ist auf eine momentane Unaufmerksamkeit des Fahrers zurückzuführen. Andererseits wird der Fahrer heute in seiner Aufmerksamkeit beim Fahren durch andere Tätigkeiten, wie z.B. Unterhaltung aus dem Radio, Aufnahme von Verkehrs- und Navigationsinformationen, sowie durch die Bedienung von Systemen abgelenkt.
Obwohl das Fahren durch verbesserte Technik am Fahrzeug zunehmend erleichtert und sicherer wird, wächst der Bedarf an Automatisierung der Steuerfunktionen der Fahrzeuge zur Entlastung des Fahrers. Die ersten Maßnahmen in dieser Richtung sind z.B. Tempomaten, die eine feste Geschwindigkeit bei längeren Fahrten, z.B. entlang von Autobahnen, einregeln. Weiterhin sind intelligente Kamerasysteme in Entwicklung, welche die Fahrsituation ständig überwachen und streckenweise autonomes Fahren ermöglichen sollen. Eine automatische Steuerung der Fahrzeugfunktionen wäre nicht alleine zur Entlastung des Fahrers bei normalen Fahrsituationen von Vorteil, sondern auch in kritischen Situationen, z.B. in Fällen, in denen das Reaktionsvermögen des Fahrers zu langsam ist, oder in denen der Fahrer in andere Weise behindert ist, z.B. durch Übermüdung oder plötzliche Krankheit.
Daher ist es wünschenswert, insbesondere Fahrzeugfunktionen zumindest weitgehend automatisch zu steuern, z.B. durch Bildinformationen.
Bildinformationen werden heutzutage durch autarke, personenunabhängige Bildaufnahmegeräte wie z.B. Kameras oder Scanner gewonnen. Diese Geräte erfordern eine Ausrichtung unter Zuhilfenahme von speziellen Einrichtungen wie Kamerasucher oder Einlegeschablone. Der Blickwinkel der Bildvorlage (Objekt) bzw. das Aufnahmeformat ist durch das verwendete Objektiv und die Bildvorlage bestimmt. Eine geometrische Veränderung des Bildes erfordert einen Wechsel der Objektive bzw. des Gerätes bei zu großen Formaten. Viele dieser Geräte sind aufgrund ihrer Stromversorgung und ihres Gewichtes ortsgebunden. Hinzu kommt, daß für jede Gerätefunktion eine getrennte Geräteausführung erforderlich ist.
In der Druckschrift DE 196 31 414 A1 wird eine teiltransparente Brille beschrieben, mit deren Hilfe über eine Rückspiegelung an ihrer Innenseite das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen wird. Diese in verschiedenen Varianten beschriebene Vorrichtung ermöglicht, daß das vom Auge direkt gesehene Bild mit einem zweiachsigen Scanner von der Netzhaut des Auges seriell abgetastet wird und von einem Computer weiterverarbeitet wird. Mit Hilfe einer Beleuchtungseinrichtung, vorzugsweise mit Lasern, kann über den gleichen Lichtweg in umgekehrter Richtung und nach nochmaliger Reflexion an der Innenseite der Brille physiologisch verzögerungsfrei das zuvor aufgenommene und verarbeitete Bild dem ursprünglichen Bild überlagert werden. Durch Modifikation des Bildes und Rückprojektion ins Auge soll der Seheindruck verbessert werden.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Steuern oder Bedienen von Systemen anzugeben, das die Bedienung der Systeme erleichtert und den jeweiligen Bediener entlastet. Insbesondere beim Führen von Fahrzeugen soll durch die Entlastung des Fahrers die Sicherheit im Verkehr erhöht werden.
Diese Aufgabe wird gelöst durch das Verfahren zum Steuern oder Bedienen von Systemen gemäß Patentanspruch 1 und das Verfahren zur Erfassung von Bildinformationen gemäß Patentanspruch 1 1. Weitere vorteilhafte Merkmale, Aspekte und Details der Erfindung ergeben sich aus den abhängigen Ansprüchen, der Beschreibung und den Zeichnungen.
Das erfindungsgemäße Verfahren zum Steuern oder Bedienen von Systemen umfaßt die Schritte:
Erfassen eines Objekts oder einer Szene mit dem menschlichen Auge durch eine optoelektronische Brille und Aufnehmen des Netzhautreflexbildes zur Gewinnung von Bildinformationen; Auswerten der Bildinformationen und Vergleich der Bildinformationen mit gespeicherten Daten; und Erzeugen von Steuersignalen zur Auslösung einer Funktion eines Systems.
Vorteilhafterweise werden die Bildmuster der Fovea centralis beider Augen erfaßt und mit einem gespeicherten Muster verglichen, wobei bei Übereinstimmung der Muster die Funktion durch Aktivierung eines Bedienelements ausgelöst wird. Dabei kann das zu bedienende System oder ein Bedienelement mit dem Auge oder den Augen fixiert werden um es zu bedienen. Das Auslösen kann z.B. durch einen akustischen Befehl oder durch fixieren des Objekts über eine vorbestimmte Zeit erfolgen.
Bevorzugt werden durch die Steuersignale Funktionen eines Fahrzeugs gesteuert, wie z.B. Bremsen, Lenkung, Lichter, oder sie werden zur Auslösung von Warnsignalen verwendet. Die Bildinformationen können mit aktuellen Fahrdaten und/oder Fahrzeugdaten korreliert werden. Bevorzugt werden relative Zuordnungen geometrischer Bildinformationen beider Augen und/oder zeitliche Veränderungen der Bildinformationen beider Augen ausgewertet.
Insbesondere kann ein Infrarot-Beleuchtungssystem zur Sichtverbesserung aktiviert werden, während das Netzhautreflexbild verändert und synchron ins Auge zurück projiziert wird. Die gewonnene Bildinformation kann z.B. zur Anpassung der Beleuchtung oder des Fahrlichts an die jeweilige Blickrichtung verwendet werden. Auch können gewonnene Bildinformationen temporär in einem Speicher bzw. Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven Szenen oder Verkehrssituationen abgelegt werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Erfassung von Bildinformationen geschaffen, mit den Schritten:
Erfassen eines Objekts oder einer Szene mit dem menschlichen Auge durch eine opto- elektronische Brille und Aufnehmen des Netzhautreflexbildes durch einen Scan-Vorgang; Zuführen des aufgenommenen Netzhautreflexbildes zu einem Bildverarbeitungs- und Speichersystem; und Auslösen einer Aufnahme- oder Kopierfunktion um das vom Auge gesehene Objekt aufzunehmen, zu kopieren und/oder zu übertragen.
Bevorzugt wird bei den erfindungsgemäßen Verfahren ein Hilfsmuster ins Auge projiziert um einen Ausschnittsrahmen bereit zu stellen oder das aufgenommene Bild zu entzerren.
Das Hilfsmuster kann auch für das Auge unsichtbar sein und mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut kann eine Entzerrung des Bildes erfolgen.
Gemäß einer Ausgestaltung der Erfindung wird durch optische Erfassung der Bedienfunktion eines Geräts mit den Augen an einer geeigneten Stelle und Aktivieren eines einzigen Bedienelements die gewünschte Funktion ausgelöst.
Dabei wird das von der Netzhaut reflektierte Muster im Bereich der Fovea Centralis beider Augen ausgewertet, insbesondere durch Vergleich der Muster mit gespeicherten Mustern unter Prüfung der Deckungsgleichheit. Bei Übereinstimmung der beiden Muster mit dem gespeicherten Muster kann der Prozeß durch Aktivierung eines einzigen Bedienelements für viele Funktionen geschaltet werden.
Dabei wird die Tatsache ausgenutzt, daß ein Gegenstand immer dann von Menschen sicher erfaßt und ggf. erkannt ist, wenn sich der Gegenstand exakt im Mittelpunkt der Fovea Centralis bzw. Netzhautgrube, dem Ort des schärfsten Sehens, beider Augen befindet, der nur den kleinen Winkelbereich von nur einigen Grad vom Auge ausgesehen beträgt. Diese Erfassung wird zur Steuerung von Systemen herangezogen.
So eine Fixierung ist auch bei bekannten Verfahren nötig, wenn ein System, z.B. über eine Maus, bedient werden soll. Die Fixierung geschieht dabei auf den Mauszeiger. Gleichzeitig muß aber beispielsweise auf einem Bildschirm das gewünschte Icon zur Bedienung gesucht und gefunden werden, was ebenfalls eine Fixierung benötigt. Erst wenn Mauszeiger und Icon gleichzeitig fixiert werden können, ist eine Bedienung über ein zusätzliches Bedienelement möglich. Dies führt bei vielen Menschen zu den o.g.
Koordinationsproblemen und damit verbunden zu einer ablehnenden Haltung zum System. Durch die Erfindung werden diese Nachteile überwunden.
Gemäß der vorliegenden Erfindung wird das Fixieren mit den Augen genutzt, um beispielsweise bekannte Gegenstände zu aktivieren. Dies kann beispielsweise erfolgen, in dem sich ein intelligentes und mit einem Bedienelement versehenes Bediensystem an einem bevorzugten Ort befindet. Betrachtet und fixiert nun der Bedienende das System,
z.B. eine Lampe, deren Muster gespeichert ist, kann er diese beispielsweise mit dem einen Bedienelement einschalten, wenn sie nicht leuchtet, oder ausschalten, wenn sie leuchtet. Mit dem selben Bedienelement kann z.B. auf die gleiche Weise auch ein Fernseher an- bzw. ausgeschaltet werden.
Bei dieser Methode können nun auch einzelne Funktionen bzw. Bedienelemente bildhaft auf einem Monitor dargestellt werden, wo sie dann auch vom Auge fixiert werden und mit dem einzigen Bedienelement ausgelöst bzw. geschaltet werden können. Dieses Bedienelement kann z.B. durch einen akustischen Zuruf (z.B. „einschalten", „ausschalten", „abschwächen", „verstärken") und eine entsprechende Spracherkennung in dem Gerät, das bedient wird, ersetzt werden. Der Monitor, der klein gestaltet werden kann, ist dann das einzige Bedienelement des Geräts oder Systems und kann gleichzeitig verschiedene Funktionen zur Auswahl anbieten.
Es wird also das von den Augen des Bedienenden betrachtete und auf der Netzhaut abgebildete Bild des Bedienungselements oder Monitors von der Netzhaut aufgenommen, elektronisch gespeichert und vom Computer mit bekannten Mustern verglichen. Dies wird mit der opto-elektronischen Brille durchgeführt, die in der oben genannten DE 196 31 414 A1 sowie DE 197 28 890 A1 beschrieben ist.
Gemäß der vorliegenden Erfindung wird die opto-elektronische Brille dazu verwendet, um die genaue Fixation der Augen entweder rein passiv über die Aufnahme des Bildes im Bereich des schärfsten Sehens zu bestimmen oder mit Unterstützung einer über die Projektionseinheit der opto-elektronischen Brille eingespiegelte Markierung die Fixation in das Zentrum der Aufmerksamkeit zu lenken.
Damit das Bedienelement identifiziert werden kann, ist ein Vergleich des Bildes mit abgespeicherten Mustern der Bedienelemente im Computer möglich. Auch besteht die Möglichkeit, daß die Muster der vorhandenen Bedienelemente vom Gerät oder System selbst an den Bedienenden über IR oder Funk übertragen werden.
Die bekannte Brille ist so ausgelegt, daß das auf der Netzhaut des Auges durch die Brille transmittierte Bild der Umgebung über die Rückspiegelung an der Innenseite der Brille seriell mit Hilfe eines Scanners mit einer festen Abtastfrequenz und eines empfindlichen Fotodetektors aufgenommen wird. Das serielle Bildsignal wird anschließend zum Bildverarbeitungsrechner geleitet.
Im Verfahren gemäß der vorliegenden Erfindung kann ein Teil des Bildaufnahmezyklus dazu verwendet werden, die Pupillenöffnung zu lokalisieren und zu verfolgen und die Symmetrieachse der Bildabtastung auf sie zu zentrieren. Damit kann die Bildaufnahme besonders gut den schnellen und langsamen Bewegungen des Auges folgen. Somit kann die Ausrichtung der beiden Augen gegeneinander Vermessen werden und die Bilder beider Augen können korreliert werden.
Durch die vorliegende Erfindung können mobile Systeme wie Personenkraftwagen, Nutzfahrzeuge und andere Landfahrzeuge sicherer gemacht werden und das Fahren wird erleichtert. Hierzu werden die mittels der opto-elektronischen Brille vom Netzhautreflexbild des Auges gewonnenen Bildinformation mit einem Rechner ausgewertet und zur Gewinnung von Steuerungssignalen verwendet.
Gemäß der Erfindung können auch ortsfeste Bildvorlagen wie etwa Bücher, Zeitungs- und Dokumentationstexte und Druckbilder mit Hilfe der opto-elektronischen Brille aufgenommen und verwertet werden. In diesem Fall ist das zu bedienende System ein Aufnahme-, Speicher-, Kopier- und/oder Übertragungssystem. Die Bildinformationen werden aus dem gleichen Blickwinkel, wie der Betrachter sie sieht, direkt von seinem Auge (Netzhaut) aufgenommen und im Computer weiterverarbeitet, abgespeichert, kopiert oder über elektronische Netzwerke (Fax, E-mail, Internet) verteilt. Zusätzlich kann ein verbessertes oder ergänztes Bild der Vorlage oder von Hilfsmustern und Schablonen mit Hilfe einer Laser-Projektionseinrichtung dem Originalbild überlagert werden.
Beim erfindungsgemäßen Verfahren zur Erfassung von Bildinformationen ist die optoelektronische Brille so ausgelegt, daß das auf der Netzhaut des Auges durch die Brille transmittierte Bild der Umgebung über die Rückspiegelung an der Innenseite der Brille
bzw. ihrer Gläser seriell mit Hilfe eines Scanners mit einer festen Abtastfrequenz und eines empfindlichen Fotodetektors aufgenommen wird. Das serielle Bildsignal wird anschließend zu dem Bildverarbeitungsrechner geleitet. Damit die Bildaufnahme auch den schnellen und langsamen Bewegungen des Auges besser folgen kann, wird ein Teil des Bildaufnahmezyklus dazu verwendet, die Pupillenöffnung zu lokalisieren und zu verfolgen und die Symmetrieachse der Bildabtastung auf sie zu zentrieren. Dieser Vorgang passiert gleichzeitig an beiden Augen. Somit kann die Ausrichtung der beiden Augen gegeneinander Vermessen und die Bilder beider Augen können korreliert werden.
Augen- und Kopfbewegungen, die jede Person bei Bildbetrachtung und beim Lesen, wegen des geringen momentanen Schärfebereichs des Auges (ca. 1 °) und der begrenzten Bildaufnahmegeschwindigkeit ausführt, sind bei Aufnahmen mit der opto-elektronischen Brille nicht notwendig. Sobald das gesamte Bild der Vorlage auf der Netzhaut durch die Augenlinse scharf abgebildet ist, kann es von der opto-elektronischen Brille erfaßt werden. Die Aufnahmebedingungen, wie der Abstand zur Vorlage und der Aufnahmewinkel, werden je nach Anwendung unterschiedlich sein. Die kürzest mögliche Aufnahmezeit entspricht der Bildrahmenfrequenz des Scanners.
Das aufgenommene Bild kann mit einer typischen Videonorm im Rechner verarbeitet werden. Da die Bilder aufgrund der Krümmung der Netzhaut und durch die unterschiedlichen Blickwinkel geometrisch verzerrt sind, wird nach der Aufnahme eine Umrechnung des Bildes auf ein bestimmtes Format notwendig sein. Da die Entzerrung der Bilder ohne optische Hilfsmittel einen relativ hohen Rechenaufwand bedeutet, sieht die Erfindung vorteilhafterweise vor, daß ein geometrisches Hilfsmuster (z.B. ein regelmäßiges, dichtes Netz) bevorzugt im unsichtbaren infraroten Strahlungsbereich mit dem Laserprojektor während oder zwischen zwei Bildaufnahmen auf die Netzhaut projiziert wird. Aus dem rechnerischen Vergleich dieses internen Hilfsbildes mit dem Außenbild wird dann eine vereinfachte Entzerrung in dem Bildrechner ermöglicht.
Im Folgenden werden verschiedene Ausgestaltungen des erfindungsgemäßen Verfahrens anhand der Zeichnungen beschrieben. Dabei zeigen:
Figur 1 schematisch die bekannte opto-elektronische Brille und ihre Wechselwirkung mit dem menschlichen Sehapparat,
Figur 2 die Verarbeitung der Signale in einem Blockschaltbild entsprechend der oben genannten Veröffentlichung, Figur 3 schematisch den Blick aus einem Fahrzeug auf eine enge Kurve,
Figur 4 schematisch den Blick aus einem Fahrzeug auf eine weite Kurve,
Figur 5 schematisch den Blick auf einen geraden Straßenverlauf bei normal fahrendem
Fahrzeug,
Figur 6 schematisch den Blick auf einen geraden Straßenverlauf bei weit rechts fahrendem Fahrzeug,
Figur 7 schematisch den Blick auf zwei vorausfahrende Fahrzeuge mit dem linken Auge und
Figur 8 schematisch den Blick auf zwei vorausfahrende Fahrzeuge mit dem rechten Auge.
Figur 1 zeigt ein schematisches Bild der bekannten Brille, wenn sie aufgesetzt ist. Der
Strahlengang für die Aufnahme des Netzhautreflexes über Spiegelung der Strahlachsen an der Innenseite der Brille, sowie das Gesichtsfeld des Auges in Transmission durch die Brille ist angedeutet.
Die einzelnen optischen, elektronischen und mechanischen Komponenten wie Spiegel, Fotoempfänger, Vorverstärker und Scanner können heute ähnlich wie z.B. moderne Hörgeräte sehr stark miniaturisiert werden, damit das Aufsetzen der Brille, ähnlich wie bei einer Sonnenbrille, keine Behinderung für den Bediener bzw. Fahrer bedeutet. Die Datenübertragung von der Brille zum Rechner oder zu einem anwenderspezifischen Mikroprozessor oder sonstigen elektronischen Einrichtungen, z.B. des Fahrzeugs, kann über Glasfaserkabel oder IR-Datenübertragung durchgeführt werden. Einzelheiten dazu sind der eingangs genannten Druckschrift zu entnehmen.
Figur 2 zeigt den Strahlengang der opto-elektronischen Brille, beispielhaft für die Farben Rot, Grün und Blau mit den einzelnen Bauteilen und Gruppen im Empfangs- und Projektionskanal.
10
Die Brille wird entsprechend Figur 1 einem Betrachter aufgesetzt. Die Brillengläser BG dienen als Strahlteiler. In Transmission, für das Licht aus der Außenwelt, und in Reflexion, als eine Abbildungsfläche des von der Netzhaut NH durch das Auge AA rückgestreuten Lichts, das mit Hilfe weiterer Abbildungselemente und eines zweiachsigen Scanners für die Horizontal-(HSS) und Vertikalablenkung (VSS) einem Fotoempfänger in einer Empfangseinheit zugeführt wird. Der Strahlengang wird gleichzeitig derart gestaltet, daß die Verlängerung der Sichtlinie vom Detektor durch die Brille immer in der absorbierenden Schicht in einer Strahlungssenke SS mündet. Die Verlängerung der Sichtlinie des Auges durch die Brille läuft dagegen zur Außenwelt AW.
Die einfachste Methode der Strahlteilung an den Brillengläsern BG ist die Verwendung von 50% transmittierenden und 50% reflektierenden Spiegelgläsern. Es können auch aktive elektronisch steuerbare Spiegel, die von vollständiger Transmission bis vollständiger Reflexion in den beiden Abtastzyklen umschalten, eingesetzt werden. Die Brille kann auch als durchsichtige Scheibe ausgestaltet sein, die am Kopf des Bedieners befestigt und vor dem Auge plaziert ist.
Das Auge AA bildet von der Außenwelt AW parallele oder nahezu parallele Strahlenbündel auf der Netzhaut NH ab. Der Drehpunkt der Strahlenbündel bei unterschiedlichem Betrachtungswinkel zur Außenwelt liegt in der Pupille des Auges AP.
Die Erfindung geht von einem weitgehend identischen Strahlengang für das linke und rechte Auge aus. Bei Fehlsichtigen, auch mit unterschiedlicher Brechkraft des linken und rechten Auges, sieht die Erfindung vor, daß entweder die Brillengläser in ihrer Brechung durch entsprechende unterschiedliche Auslegung der Wölbung der Außenseite und der Innenseite individuell angepaßt sind, bzw. daß Kontaktlinsen getragen werden. Für Normalsichtige ist die Wölbung der Innen- und Außenseite der Brillengläser BG identisch.
Das von jedem einzelnen Bildpunkt der Netzhaut aus dem Auge zurückgestreute Licht ist in gleicher Weise ein nahezu paralleles Strahlenbündel, das den identischen Weg wie das einfallende Licht in entgegengesetzter Richtung zur Innenseite des teilweise reflektierenden Brillenglases BG läuft. Die Krümmung dieser Fläche wird so gestaltet, daß
1 1
gemeinsam mit der Augenlinse ein zweites Bild des Bildpunktes auf der Netzhaut in einer Zwischenebene entsteht. Ein Hilfsspiegel HS kollimiert die Strahlen erneut und bildet sie so ab, daß sie über den gemeinsamen Drehpunkt auf der Achse eines horizontalen Scannerspiegels HSS verläuft. Eine vertikale Ablenkung wird durch einen zweiten Scannerspiegel VSS durchgeführt.
Der Strahlengang zwischen dem Projektions- und dem Empfangskanal wird mit Hilfe eines Schaltspiegels SUS getrennt. Im Strahlengang der Projektionseinheit hinter dem Strahlschalter SUS ist eine Fokusiereinrichtung FE angeordnet, die die Größe des Laserbildflecks und des abgetasteten Flecks beim Empfang über eine Gesichtsfeldblende GFB auf der Netzhaut NH einstellt.
Es ist vorgesehen, daß der Netzhautreflex mit der Verwendung von dichroitischen Filtern (DFR, DFG und DFB) und drei getrennten Detektoren (PMR, PMG und PMB) in z.B. drei Farbkanäle aufgeteilt wird, damit ein weitgehend unverfälschtes Farbbild aufgenommen werden kann. Auf der Laserseite werden ebenso mit dichroitischen Strahlteilern die Strahlen von bis zu drei Lasern im roten, grünen und blauen Spektralbereich (LR, LG, LB) nach der getrennten Bildmodulation jeder Farbe (MR, MG, MB) auf einer gemeinsamen Achse vereinigt. Zur farbtreuen Bildaufnahme wird das optische Signal mit dichroitischen Filtern (DFR, DFG und DKB) im Empfangskanal in die drei Farbkomponenten von den drei Fotoempfängern, vorzugsweise Fotomultipliem (PMR, PMG und PMB), in die drei Grundfarben zerlegt und getrennt vermessen. Wegen der schwachen Lichtsignale werden vor allem Photon-Counting Verfahren zum Einsatz kommen.
In vielen Anwendungen wird nur eine schwarz-weiß Bilddarstellung notwendig sein. Dann können die drei Farbkanäle zu einem einzigen zusammengelegt werden. Für den Fall jedoch, daß infrarote Bildmuster zur Bildentzerrung verwendet werden, würde einer der Kanäle in der Sende- und Empfangseinheit für das entsprechende Wellenlängenintervall ausgelegt sein.
12
Für die Projektion einer Markierung, z.B. eines Fadenkreuzes bzw. eines Kreises, wird in den meisten Fällen eine einzige Farbe notwendig sein, mit einer entsprechenden Reduktion der drei Farbkanäle der Laser auf nur einen Farbkanal.
Es versteht sich, daß die verschiedenen in den oben genannten Veröffentlichungen beschriebenen Abtastmuster der opto-elektronischen Brille, wie z.B. Zeilen-, Spiral- und Kreisabtastung hier auch eingesetzt werden können.
Als Auslöse- bzw. Bedienelement kann ein einfacher Taster in verschiedensten Ausführungsformen verwendet werden. Ein Sprachkomando kann auch verwendet werden, vorausgesetzt, daß eine Spracherkennung bei dem zu bedienenden Gerät vorhanden ist. Auch kann die Auslösung des Systems durch Fixieren über einen bestimmten Zeitraum erfolgen.
Die Übertragung der sonstigen Daten des Bildverarbeitungscomputers der optoelektronischen Brille zum Gerät oder System kann akustisch, über Funk oder über IR- Verbindungen durchgeführt werden.
Bei der erfindungsgemäßen Erfassung von Bildinformationen mittels der opto- elektronischen Brille ist das Auge auf die Vorlage während der Aufnahme fixiert. Da die Bildvorlagen ortsfest sind, kann unter Umständen eine geringere Bildrahmenfrequenz als bei den üblichen Video- und Fernsehnormen verwendet werden. Es können auch mehrere Bilder aufintegriert werden. Beide Wege können bei schwacher Beleuchtung zur Signalverstärkung verwendet werden.
Bei den meisten Anwendungen wird eine gute Auflösung über einen relativ großen Winkelausschnitt des Gesichtsfeldes des Auges verlangt. Dies läßt sich am besten durch Einstellung einer konstanten Auflösung während der gesamten Dauer der Abtastung erreichen. Dies ist anders als bei der Anwendung der opto-elektronischen Brille bei der freien Betrachtung der Umgebung mit dem Auge, wo eine hohe Auflösung im Bereich des schärfsten Sehens in der Fovea Centralis eingestellt wird, die aber zu den Rändern des Gesichtsfeldes auf der Netzhaut stark abnehmend eingestellt wird.
13
Bei einer weiteren Ausgestaltung ist vorgesehen, daß in der Brille, ähnlich wie in modernen Videokameras, von Zeit zu Zeit eine grobe Überprüfung des aufgenommenen Bildes möglich ist. Dies läßt sich hier am einfachsten dadurch erreichen, daß der Brille außen ein dunkler Verschluß vorgesetzt wird, der während dieser Zeit die Sicht nach außen versperrt. Mit Hilfe des Laserprojektors kann dann das gespeicherte Bild über die Spiegelung an der Innenseite der Brille gegen den schwarzen Hintergrund des Verschlusses betrachtet werden.
Zweckmäßiger Weise wird bereits bei der Aufnahme im Bedarfsfall eine geometrische
Entzerrung mit Hilfe gespeicherter Daten über die Krümmung der Netzhaut vorgenommen. Es können auch durch gleichzeitige Einspiegelung eines bevorzugt für die Netzhaut unsichtbaren Hilfsmusters in das Auge Daten für die Entzerrung erhalten werden.
Das aufgenommene Bild kann ggf. stereoskopisch in zwei Kanälen weiterverarbeitet werden. Des weiteren können zumindest teilweise im Infrarotbereich liegende Informationen weiterverarbeitet werden.
Das aufgezeichnete Bild kann gemäß der Erfindung zur Herstellung von fotografischen Stehbildaufnahmen, von Laufbildaufzeichnungen, von Freiformat-Scanneraufzeichnungen, zur teleskopischen Wiedergabe und/oder Aufzeichnung, oder zur Herstellung von Kopien verwendet werden.
Zur Positionierung der Bildaufzeichnung wird ggf. ein variabler Ausschnittsrahmen in das Auge projiziert.
Die Bedienung von möglichen Fahrzeugfunktionen gemäß der vorliegenden Erfindung wird nun anhand der weiteren Figuren beschrieben.
Die Figuren 3 und 4 zeigen anhand einer Skizze eines Straßenverlaufs, wie unterschiedlich enge und breite Kurven perspektivisch dem Auge des Fahrers erscheinen. Sie zeigen
14
gleichzeitig, daß aus der Vermessung des geometrischen Verlaufs eine Anpassung der Geschwindigkeit abgeleitet werden kann.
Die Figuren 5 und 6 zeigen anhand einer Skizze eines geraden Straßenverlaufs im ersten Fall, daß das Fahrzeug normal in der Mitte der rechten Spur fährt und im zweiten Fall, daß es zu weit rechts auf der rechten Spur fährt. Beides ist durch Winkeländerung und Positionsänderung der Markierungslinien der Straße relativ zum Windschutzscheibenrahmen erkennbar. In diesem Falle wird durch eine Auswertung des Bildes des Straßenverlaufs in Relation zum Bild des Windschutzscheibenrahmens die Position des Fahrzeugs auf der Fahrspur abgeleitet.
Die Figuren 7 und 8 zeigen die perspektivische Änderung der Position der Bilder von zwei vorausfahrenden Autos im rechte und linken Auge des Fahrers. Dabei fixieren beide Augen den Bus im Hintergrund (Kreis). Der PKW im Vordergrund befindet sich rechts beziehungsweise links von der Mitte. Aus diesem Bildsprung kann der Rechner die Relativposition und Entfernung zu den beiden Fahrzeugen ableiten.
Die gewonnenen Informationen können zu vielfältigen Steuerungssignalen verwendet werden. Die ermittelten Bildinformationen der Augen können z.B. mit aktuellen Fahrdaten, Geometriedaten des Fahrzeugs, oder auch mit gespeicherten Bilddaten, wie z.B. Verkehrsschildern, korreliert werden.
Je nach Beurteilung der Situation durch den Rechner werden optische, akustische bzw. haptische Warnsignale ausgelöst, Fahrsysteme wie Bremsen aktiviert, die Lenkung verhärtet, das Fahrlicht oder die Nebelleuchten ein- und ausgeschaltet oder an die Blickrichtung angepaßt. Ein ggf. vorhandenes IR-Beleuchtungssystem kann zur Verbesserung der Nebellichtwerte aktiviert werden.
Femer kann gleichzeitig mit der Aktivierung von Fahrzeugfunktionen die oben angesprochene Bildbearbeitung stattfinden und eine synchrone Rückprojektion eines verbesserten Bildes in das Auge durchgeführt werden.
15
Des weiteren kann die Sehschärfe bei mangelhafter Akkomodation zum Ablesen von Fahrzeuginstrumenten örtlich verbessert werden.
Ferner kann die gewonnene Bildinformation beider Augen in Verbindung mit einem Aktivierungs-Bedienelement zur Bedienung von Fahrzeugfunktionen verwendet werden.
Die gewonnene Bildinformation kann temporär zusätzlich in einem Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven und objektiven Verkehrssituationen abgelegt werden.
Ferner kann beispielsweise bei Erkennung einer unerlaubten Augenposition, die auf eine ungeeignete Sitzstellung des Fahrers schließen läßt, der Airbag deaktiviert werden.
Des weiteren wird zweckmäßig das Lidschlag-Tastverhältnis zur Ermittlung von Unregelmäßigkeiten, wie Schlaf oder Streß verwendet.
Schließlich kann ermittelt werden, ob sich in beiden Augen die gleiche geometrische Bildinformation in der Fovea centralis befindet, um Unregelmäßigkeiten, die auf eine Beeinträchtigung der Reaktionsfähigkeit des Fahrers schließen lassen, zu erkennen.
Die beschriebenen Ausgestaltungen der Erfindung lassen sich daher allgemein in folgende drei Gruppen zusammenfassen:
Gruppe 1 :
Ein Verfahren zum Bedienen von Systemen durch optische Erfassung des dazugehörigen Bedienelements oder Gegenstands, wobei durch die Analyse des Bildmusters der Fovea Centralis beider Augen mittels einer opto-elektronischen Brille und einem dazugehörigen Bildverarbeitungs- und Speichersystem die Auslösung der zugeordneten Funktion durch ein einziges geeignetes Bedienelement erfolgt.
Dabei kann das einzige Bedienelement zur Auslösung mehrerer unterschiedlicher
Funktionen auch unterschiedlicher Systeme verwendet werden. Das Bediensystem kann von den zu bedienenden Systemen räumlich getrennt sein. Das Fixieren des zu
16
bedienenden Systems kann mit den Augen erkannt und dazu verwendet werden, dieses zu bedienen. Auch kann das Fixieren eines diskreten Bedienelements, Symbols oder einer diskreten Form mit den Augen erkannt und dazu verwendet werden, dieses zu bedienen.
Durch die opto-elektronische Brille kann zusätzlich ein Muster auf die Netzhaut projiziert und bei Übereinstimmung des Musters mit dem Bild des Bedienelements die Bedienung ausgelöst werden. Das Bediensystem, bestehend aus der opto-elektronischen Brille und dem einzigen Bedienelement, kann beweglich sein. Bevorzugt erfolgt eine Datenübertragung durch Funk, IR, oder Ultraschall zum eigentlichen Bediensystem, z.B. einem PC. Zum Bedienen eines PCs kann ein gewünschtes Icon fixiert und über das einzige Bedienelement ausgelöst werden. Dabei kann das erkannte Bedienelement, Icon, usw., auch über eine vorbestimmte Zeit fixiert und nach Verstreichen der Zeit ausgelöst werden. Auch kann das Auslösen durch einen beliebigen akustischen Befehl erfolgen.
Das Bedienen der Systeme kann über eine dezentrale Anordnung der Bedienfunktion im System erfolgen, wobei die Bedienungsauslösung durch ein kodiertes Signal angesprochen wird.
Gruppe 2: Hier werden Funktionen mobiler Systeme gesteuert. Dabei werden mittels der optoelektronischen Brille vom Netzhautreflexbild des Auges gewonnene Bildinformationen mit einem Rechner ausgewertet und zur Gewinnung von Steuerungssignalen verwendet. Dabei können geometrische Bildinformationen und/oder Helligkeitsinformationen ausgewertet werden, und es können relative Zuordnungen geometrischer Bildinformationen beider Augen ausgewertet werden. Auch können zeitliche Veränderungen der Bildinformationen beider Augen ausgewertet werden. Insbesondere können die ermittelten Bildinformationen der Augen mit aktuellen Fahrdaten korreliert werden, oder sie können mit Geometriedaten eines Fahrzeugs korreliert werden. Auch können die ermittelten Bildinformationen der Augen mit gespeicherten Bilddaten, wie z.B. Verkehrsschildern verglichen werden.
Die gewonnenen Bildinformationen können z.B. folgendermaßen verwendet werden: a) Zur Auslösung optischer, akustischer bzw. haptischer Warnsignale,
17
b) Zur Aktivierung von Fahrsystemen, wie z.B. Bremsen, Gas, etc., c) Zur Aktivierung von Kräften, wie z.B. Verhärtung der Lenkung, d) Zur Ein- oder Ausschaltung des Fahrlichts, e) Zur Anpassung des Fahrlichts oder anderer Funktionen an die Blickrichtung.
Die Auswertung des Netzhautbildes kann also zur Aktivierung von Fahrzeugfunktionen verwendet werden, und gleichzeitig kann je nach Bedarf eine Bildbearbeitung stattfinden und eine synchrone Rückprojektion des verbesserten Bildes in das Auge durchgeführt werden. Durch die Steuerung kann das Nebellicht, und wenn nötig, das Nebelrücklicht geschaltet werden. Auch kann die Sehschärfe bei mangelhafter Akkomodation zum Ablesen von Fahrzeuginstrumenten örtlich verbessert werden. Insbesondere kann ein vorhandenes IR-Beleuchtungssystem zur Verbesserung der Nebellichtwerte aktiviert werden.
Bevorzugt werden die gewonnenen Bildinformationen beider Augen in Verbindung mit einem Aktivierungs-Bedienelement zur Bedienung von Fahrzeugfunktionen verwendet. Die gewonnenen Bildinformationen können temporär in einem Fahrzeugdatenspeicher zur Rekonstruktion von subjektiven und objektiven Verkehrssituationen abgelegt werden. Auch können sie unter Erkennung einer unerlaubten Augenposition zur Deaktivierung des Airbags verwendet werden. Insbesondere kann das Lidschlag-Tastverhältnis zur Ermittlung von Unregelmäßigkeiten, wie Schlaf oder Streß, verwendet werden und es kann ermittelt werden, ob sich in beiden Augen die gleiche geometrische Bildinformation in der Fovea centralis befindet, um Unregelmäßigkeiten zu erkennen.
Gruppe 3:
Bei dieser Ausführung des erfindungsgemäßen Verfahrens werden durch Anklicken mit dem menschlichen Auge Bildinformationen, die bevorzugt ortsfest sind, erfaßt, wobei mittels der opto-elektronischen Brille das Reflexionsbild der Netzhaut der Augen in einem Scan-Vorgang aufgenommen und einem Bildverarbeitungs- und Speichersystem zugeführt wird. Dabei sind insbesondere Aufnahmewinkel, Auflösung, Scangeschwindigkeit,
Zeilendichte des Scan-Vorgangs, usw. entsprechend der jeweiligen Anforderung angepaßt. Bereits bei der Aufnahme kann eine geometrische Entzerrung mit Hilfe gespeicherter
18
Daten über die Krümmung der Netzhaut vorgenommen werden. Auch kann die Aufnahme durch gleichzeitige Einspiegelung eines für die Netzhaut unsichtbaren Hilfsmusters in das Auge und Vergleich mit diesem vorgenommen werden.
Bevorzugt wird das aufgenommene Bild nach Abdunklung der Brille durch Rückprojektion ins Auge kontrolliert.
Das aufgenommene Bild wird z.B. einer Farbanpassung unterworfen (Weißabgleich) und/oder wahlweise monochrom oder farbig weiterverarbeitet. Es kann auch stereoskopisch in zwei Kanälen weiterverarbeitet werden, und es können zumindest teilweise im Infrarotbereich liegende Informationen weiterverarbeitet werden.
Das aufgezeichnete Bild kann beispielsweise zur Herstellung von fotografischen Stehbildaufnahmen, Laufbildaufzeichnungen, Freiformat-Scanneraufzeichnungen, zur teleskopischen Wiedergabe und/oder Aufzeichnung, sowie zur Herstellung von Kopien verwendet werden.
Bevorzugt wird zur Positionierung der Bildaufzeichnung ein variabler Ausschnittsrahmen in das Auge projiziert und es kann ein verbessertes Bild synchron mit dem aufgenommenen Bild auf die Netzhaut projiziert werden.
Selbstverständlich können die verschiedenen Ausgestaltungen des erfindungsgemäßen Verfahrens gemäß den drei Gruppen auch weitgehend untereinander kombiniert werden.