DE19728890A1 - Process to improve optical perception by modifying the retinal image - Google Patents

Abstract

The invention relates to an image improvement system in accordance with application DE19631414. Said system is characterized in that the reflex image in the interior of the eye is scanned on the retina (NH) and, after modification, is projected back into the eye by the same path. The invention proposes using an elliptical scan.

Description

Die Erfindung betrifft eine Brille, mit deren Hilfe über eine Rückspiegelung an der Innenseite derselben das Netzhautreflexbild des Auges bei unterschiedlicher Helligkeit der Umgebung elektronisch aufgenommen, mit einem Computer modifiziert und über eine Beleuchtungseinrichtung und eine Rückreflexion über die gleiche Brille physiologisch verzögerungsfrei dem ursprünglichen Bild so überlagert wird, daß ein verbesserter Seheindruck entsteht.The invention relates to glasses, with the help of a rear-view mirror the retinal reflex image of the eye on the inside different brightness of the environment electronically recorded with modified a computer and a lighting device and Back reflection through the same glasses physiologically without delay original image is overlaid so that an improved visual impression arises.

Die Verwendung von optoelektronischen Brillen zur Spiegelung von computergenerierten Bildern ins Auge mit den Namen "cyberspace" oder "virtual reality" nimmt heute rasant zu. Diese Technik ist sowohl für die Anwendung in der Unterhaltungsindustrie als auch in den verschiedenen Gebieten der Industrie, Verkehr und Medizin von breitem Nutzen und wird mit der Verfügbarkeit von immer schnelleren Bildverarbeitungscomputern an Verbreitung und Bedeutung ständig zunehmen.The use of optoelectronic glasses to mirror computer-generated images with the name "cyberspace" or "virtual reality" is increasing rapidly today. This technique is for both Application in the entertainment industry as well as in the various Areas of industry, transport and medicine of broad utility and will with the availability of ever faster image processing computers Distribution and importance are constantly increasing.

Am weitesten verbreitet ist die Anwendung mit geschlossenen, nicht transparenten Brillen, bei der Bilder von miniaturisierten Kathodenstrahlröhren oder Flüssigkristall-Matrizen über Spiegel- oder Glasfasersysteme dem Auge dargeboten werden. Die besondere Attraktivität dieser Technik ist es, mit bewegter dreidimensionaler Bilddarstellung, den Bildablauf oder die Handlung mit verschiedenen Bewegungen des Brillenträgers zu koppeln. So wird eine Änderung der Blickrichtung durch Kopfbewegung oder Änderung der Perspektive bei fortschreitender Bewegung nachgebildet. Es können die Bewegungen der Arme und Finger des Brillenträgers mit Hilfe von Sensoren in das Bild eingebracht werden, um ihm die Möglichkeit des direkten Eingreifen in die Handlung zu ermöglichen.The most widespread application is with closed, not transparent glasses, when taking pictures of miniaturized Cathode ray tubes or liquid crystal matrices over mirror or Glass fiber systems are presented to the eye. The special attractiveness It is this technique with moving three - dimensional image display that Image flow or the action with different movements of the Pair glasses wearer. So is a change in the direction of view Head movement or change of perspective as it progresses Replicated movement. There can be movements of the arms and fingers of the spectacle wearer can be introduced into the image with the aid of sensors to enable him to intervene directly in the action.

In neueren Systemen mit dem Namen "augmented reality" kann der Brillenträger mit Hilfe teiltransparenter Brillen sowohl die Umgebung als auch ein über die Brille eingespiegeltes Bild von Kameras von der gleiche Szene oder von anderen Bildinhalten über einen miniaturisierten Monitor am Helm betrachten. Eine wohlbekannte Variante dieses Verfahrens ist bei der Führung von Kampfflugzeugen mit dem Namen Helmet-mounted-display (HMD) bereits eingeführt.In newer systems called "augmented reality" the Glasses wearers with the help of partially transparent glasses both the environment and also an image of cameras from the same mirrored over the glasses Scene or other image content via a miniaturized monitor on the  Look at the helmet. A well known variant of this method is in the Management of fighter planes with the name Helmet-mounted-display (HMD) already introduced.

Bei dieser Techniken sind jedoch mehrere Probleme bekannt, die auf die Wirkungsweise des Gesichtsinnes zurückzuführen sind und auf verbesserte technische Lösungen warten. Bei einer geschlossenen Brille und einem starr gekoppelten Monitor und Monitorbild bewegt sich bei einer Kopfbewegung des Brillenträgers die Szene in gleicher Richtung mit, was seinen Sehgewohnheiten in unnatürlicher Weise widerspricht. Er ist durch die Abbildung des Auges gewohnt, daß die Szene gerade in entgegengesetzter Richtung verläuft. Dieses Problem konnte durch die umständliche Messung der Kopfbewegung und des Augapfels mit externen Drehwinkelsensoren, einer entsprechenden Bildverarbeitung und Nachführung des generierten Bildes bis jetzt nur unvollkommen gelöst werden.However, there are several known problems with this technique that address the Mode of action of the face are due and improved technical solutions are waiting. With closed glasses and one rigid coupled monitor and monitor image moves with a head movement wear the scene in the same direction with what his Viewing habits contradicts in an unnatural way. He is through that Illustration of the eye that the scene is just opposite Direction runs. This problem could be solved by the cumbersome measurement the head movement and the eyeball with external rotation angle sensors, appropriate image processing and tracking of the generated Image can only be solved incompletely so far.

Durch Anpassungsbewegungen des Augenapfels, die von sogenannten vestibulären okularen Reflexen (VOR) des Ohren-Bogengang-Systems ausgehen und dem Festhalten des Fixationspunktes bei Kopfbewegungen dient, ist das Auge selbst in der Lage, das Netzhautbild grob zu stabilisieren. Die Feineinstellung geschieht mit dem Bild als Referenz. Dieses Bild- Tracking wird zusätzlich vom Auge verwendet, um die VORs einer dynamischen Augenausrichtung zu adaptieren.Through adjustment movements of the eye apple, by so-called vestibular ocular reflexes (VOR) of the ear-canal system going out and holding the fixation point during head movements serves, the eye itself is able to roughly stabilize the retinal image. The fine adjustment is done with the image as a reference. This picture- Tracking is also used by the eye to track the VORs adapt dynamic eye alignment.

Dies bedeutet, daß eine Überlagerung von Fremdbildern erst bei ihrer Ankopplung an das reale Netzhautbild einen wirklichkeitsgetreuen Bildeindruck geben kann.This means that an overlay of external images only with their Coupling to the real retinal image a realistic Can give picture impression.

Bei geschlossenen Brillen wird versucht das Bild der Blutgefäße (Augenhintergrund) als Referenz zu verwenden (Retina-Tracking). Das liefert allerdings nur eine ungenügende Auflösung und ist ausschließlich für monokulare Betrachtungen geeignet (siehe z. B. E.Peli, "Visual issues in the use of a head-mounted monocular display", Optical Engineering, vol. 29, No. 8, p. 883 (1990). Eine gleichzeitige Stabilisierung in beiden Augen von Bildern mit diesen ist wegen der unterschiedlichen Ausrichtung der Augen praktisch unmöglich. Neben der Verschlechterung der Bildqualität, führt der Konflikt zwischen den vestibulären und visuellen Informationen häufig zu Bewegungsstörungen bis hin zur Seekrankheit. Diese Probleme der bestehenden Technik werden z. B. in dem Übersichtsartikel von E. Peli, "Real Vision & Virtual Reality" in Optics & Photonics News, July 1995, S. 28-34 beschrieben.With the glasses closed, the image of the blood vessels is tried (Fundus) to be used as a reference (retina tracking). The provides only an insufficient resolution and is only for suitable for monocular considerations (see e.g. E.Peli, "Visual issues in the use of a head-mounted monocular display ", Optical Engineering, vol. 29, No. 8, p. 883 (1990). A simultaneous stabilization in both eyes of Taking pictures with these is because of the different alignment of the eyes practically impossible. In addition to the deterioration in image quality, the  Conflict between the vestibular and visual information often increases Movement disorders up to seasickness. These problems of existing technology z. B. in the review by E. Peli, "Real Vision & Virtual Reality "in Optics & Photonics News, July 1995, pp. 28-34 described.

Aufgabe der Erfindung ist es, die Probleme der Bildstabilisierung bei Überlagerung von Fremdbildern mit dem realen Bild zu lösen.The object of the invention is to solve the problems of image stabilization Solve overlay of external images with the real image.

Der Erfindung liegt die ältere deutsche Patentanmeldung 19631414 mit der Bezeichnung: "Vorrichtung zur Aufnahme des Netzhautreflexes und Überlagerung von Zusatzbildern im Auge" zugrunde. In dieser wird eine Vorrichtung beschrieben, mit der das Netzhautreflexbild mit Hilfe eines konfokal abbildenden, zweiachsigen Scansystems über die Reflexion der Innenseite einer teiltransparenten und entsprechend gewölbten Brille, seriell mit einem hochempfindlichen Photodetektor aufgenommen wird.The invention is the older German patent application 19631414 with the Name: "Device for recording the retinal reflex and Superimposition of additional images in the eye " Device described with which the retinal reflex image with the help of a confocal imaging, biaxial scanning system on the reflection of the Inside of partially transparent and appropriately curved glasses, serial is recorded with a highly sensitive photodetector.

Darin wird vorgeschlagen, mit Hilfe von Lasern und eines Strahlenteilers über denselben Lichtweg in umgekehrter Richtung wie das aufgenommene Bild das verbesserte Bild auf die Netzhaut seriell abzubilden.It suggests using lasers and a beam splitter the same light path in the opposite direction as the one taken Image the serialized image of the improved image on the retina.

Darüber hinaus wird auch die Möglichkeit eröffnet, andere Bilder zusätzlich auf die Netzhaut zu überlagern.It also opens up the possibility of adding other images overlay on the retina.

Mit dieser Technik sind die vorgenannten Probleme grundsätzlich gelöst, jedoch wurden konkrete Realisierungen und Anwendungen nicht angegeben. Der Grundgedanke der neuen Erfindung dieses Verfahren zur Verbesserung des Wahrnehmungsvermögens des Auges einzusetzen. Die physikalisch­ technischen Probleme, die dazu gelöst werden müssen, ergeben sich aus den physiologischen Eigenschaften des Auges und den ständig variierenden Beleuchtungsverhältnissen in der Umgebung. Das Auge ist wegen der variablen Lichtverhältnisse und der unterschiedlichen optischen Aufgaben in seinen Grundfunktionen ein sehr dynamisches Sinnesorgan. Es adaptiert sich an die Variation der Intensität der Hintergrundbeleuchtung über 12 Dekaden. Es schaltet vom Farbsehen beim Tageslicht auf reines schwarz/weiß Sehen in der Nacht um. Licht in dem Wellenlängenbereich 400-1500 nm wird von dem Auge transmittiert und auf die Netzhaut abgebildet. Dabei wird nur Licht im Bereich von 400 nm bis 750 nm wahrgenommen, d. h. das infrarote Licht im Bereich von 750-1500 nm, das sowohl bei Außen- als auch Innenbeleuchtung sehr hell ist, bleibt für die visuelle Wahrnehmung ungenutzt.With this technique, the aforementioned problems are basically solved, however, concrete implementations and applications have not been specified. The basic idea of the new invention to improve this method perception of the eye. The physically Technical problems that have to be solved for this result from the physiological properties of the eye and the constantly varying Lighting conditions in the area. The eye is because of that variable lighting conditions and the different optical tasks in its basic functions a very dynamic sense organ. It adapts the variation in backlight intensity over 12 decades. It switches from color vision in daylight to pure black and white vision the night around. Light in the 400-1500 nm wavelength range is from  transmitted to the eye and imaged on the retina. It will only Perceived light in the range of 400 nm to 750 nm, d. H. the infrared Light in the range of 750-1500 nm, both for outdoor and Indoor lighting is very bright, remains for visual perception unused.

Das Auge erfaßt horizontal und vertikal einen Winkelbereich von etwa 100°. Die Bildauflösung nimmt jedoch mit dem Winkelabstand von der Sehachse sehr schnell ab. Das aufmerksame momentane Sehen ist auf einen zentralen Winkelbereich von nur +/- 5° begrenzt und das "scharfe" Sehen, z. B. beim Lesen oder Autofahren, ist auf den sehr geringen zentralen Winkelbereich von +/- 0,5° begrenzt. Hinzu kommen ständig verschiedenartige Bewegungen der Augen. Dies führt zu folgenden Konsequenzen, die unter bestimmten Umständen das Wahrnehmungsvermögen des Auges beeinträchtigen und die im Rahmen der neuen Erfindung verbessert werden sollen:
The eye detects an angular range of approximately 100 ° horizontally and vertically. However, the image resolution decreases very quickly with the angular distance from the visual axis. The attentive momentary vision is limited to a central angular range of only +/- 5 ° and the "sharp" vision, e.g. B. when reading or driving, is limited to the very small central angular range of +/- 0.5 °. In addition, there are constantly different movements of the eyes. This leads to the following consequences, which under certain circumstances impair the perception of the eye and which are to be improved in the context of the new invention:

• - Adaption- adaptation
• - Akkommodation- accommodation
• - Schärfeleistung- Sharpening performance
• - Sehfehler- vision problems
• - Altersbedingte Minderleistung und- Age-related underperformance and
• - Bewegungsdynamik.- movement dynamics.

Die Aufgabe der vorliegende Erfindung ist es nun, eine Anordnung vorzuschlagen, die ähnlich wie das Auge in ihren Grundfunktionen sehr variabel gestaltet und an die Erfordernisse des Sehvorgangs angepaßt ist, aber gleichzeitig die besondere Physiologie und Dynamik des Auges und die variierenden Beleuchtungsverhältnisse der Umgebung und den unsichtbaren IR-Bereich berücksichtigt und ausnutzt. Dies läßt sich mit den in der früheren Erfindungsmeldung angegebenen Abtast- und Scanvarianten (serieller Rasterscan, serieller Spiralscan) nur unzulänglich erreichen. Dies betrifft sowohl das Abtastmuster der Bildaufnahme des Netzhautreflexes als auch die Rückprojektion des Laserbildes in das Auge.The object of the present invention is now an arrangement propose that very similar to the eye in its basic functions is variably designed and adapted to the requirements of the visual process, but at the same time the special physiology and dynamics of the eye and the varying lighting conditions of the environment and the invisible IR range taken into account and exploited. This can be done with those in the previous Invention message specified scanning and scanning variants (serial Raster scan, serial spiral scan) is insufficient. this concerns both the scanning pattern of the image recording of the retinal reflex as well as the Rear projection of the laser image into the eye.

Ein grundsätzliches Problem der seriellen gegenüber der parallelen Bildabtastung ist die kurze Verweilzeit des Scanners in jedem Bildpixel. A fundamental problem of the serial versus the parallel Image scanning is the short dwell time of the scanner in each image pixel.  

Eine gleichmäßige Abtastung z. B. von 0,5 Mio Bildpunkte in einer Abtastzeit von 40 ms bedeutet eine Integrationszeit von nur 0,08 µs d. h. 80 ns in jedem Bildpunkt. Im Vergleich hierzu beträgt die parallele Zeitintegration aller Bildpunkte des Auges selbst 10-20 ms.A uniform sampling z. B. of 0.5 million pixels in one Sampling time of 40 ms means an integration time of only 0.08 µs d. H. 80 ns in every pixel. In comparison, the parallel is Time integration of all pixels of the eye itself 10-20 ms.

Wie aus der Anwendung von Lasern zur Aufnahme der Netzhautstruktur des Auges in den sogenannten Laser Scanning Ophthalmoskopen bekannt ist, ist eine Laserleistung von etwa 40 µW notwendig, um beim Rasterscan ein Signal-Rausch-Verhältnis von 17 aus einem Bildpixel zu erzielen (siehe z. B. A.Plesch, U. Klingbeil, and J. Bille, "Digital laser scanning fundus camera", Applied Optics, Vol. 26, No 8. p. 1480-1486 (1987)). Umgerechnet auf die größere Fläche würde dies einer Bestrahlungsstärke in einem Abbild einer ausgedehnten Quelle auf der Netzhaut von 40 W/cm² entsprechen, was der Bestrahlungsstärke von hellen Scheinwerfern oder Sonne auf der Netzhaut entspricht, d. h. mit dem Rasterscan können erst relativ helle Quellen mit einem guten Signal-Rauschverhältnis auf der Netzhaut aufgezeichnet werden. Um die Abbildung von schwächeren Quellen auf der Netzhaut zu detektieren, muß die Empfindlichkeit wesentlich gesteigert werden.As is known from the use of lasers for recording the retinal structure of the eye in the so-called laser scanning ophthalmoscopes, a laser power of approximately 40 μW is necessary in order to achieve a signal-to-noise ratio of 17 from an image pixel during the raster scan (see e.g. BAPlesch, U. Klingbeil, and J. Bille, "Digital laser scanning fundus camera", Applied Optics, Vol. 26, No. 8. p. 1480-1486 (1987)). Converted to the larger area, this would correspond to an irradiance in an image of an extensive source on the retina of 40 W / cm ² , which corresponds to the illuminance of bright spotlights or sun on the retina, i.e. with the raster scan only relatively bright sources can be seen with a good signal-to-noise ratio can be recorded on the retina. In order to detect the imaging of weaker sources on the retina, the sensitivity must be increased significantly.

Die serielle Bildabtastung hat jedoch für die Aufnahme des Netzhautreflexes den entscheidenden Vorteil der besseren Unterdrückung von Streulicht, der einfacheren Aufnahmeoptik und der Möglichkeit der exakten Umkehrung des Strahlenganges bei der Bildrückprojektion mit einem Laser und soll aus diesen Gründen auch in dieser Erfindungsmeldung beibehalten werden. Eine Verlängerung der Verweilzeit kann aber durch Änderung des Scanmusters erreicht werden.The serial image scanning has however for the recording of the retinal reflex the decisive advantage of better suppression of stray light, the simpler recording optics and the possibility of exact reversal of the Beam path in the back projection with a laser and should be off these reasons are also retained in this invention. A You can extend the dwell time by changing the scan pattern can be achieved.

Wegen der ungleichmäßigen Verteilung der Photorezeptoren, mit der höchsten Dichte der Zapfen für das scharfe Sehen im Zentrum der Netzhaut und dem entgegengesetzten Verlauf der Stäbchen für das unscharfe aber lichtempfindliche Nachtsehen, ist der Rasterscan keineswegs das optimale Scanmuster. Ein an den Sehvorgang angepaßtes Scanmuster sollte für das Tagessehen in Richtung zum Zentrum zunehmend langsamer und dichter werden, für die Anpassung an das Nachtsehen gerade umgekehrt. Because of the uneven distribution of the photoreceptors with which highest density of the cones for sharp vision in the center of the retina and the opposite course of the chopsticks for the fuzzy but light-sensitive night vision, the raster scan is by no means the optimal one Scan pattern. A scan pattern adapted to the viewing process should be used for the Day vision towards the center increasingly slower and denser are reversed for adaptation to night vision.  

Außer der Verweilzeit kann das aufgenommene Signal durch Änderung der Fleckgröße der Abtastung und damit auch der Bildauflösung beeinflußt werden.In addition to the dwell time, the recorded signal can be changed by changing the Spot size of the scan and thus also affects the image resolution become.

Die Anzahl der Signalphotonen N_s die von einem abtastenden Aufnahmegerät von der Netzhaut pro Bildpixel aufgenommen werden, kann nach der folgenden Formel berechnet werden:
The number of signal photons N _s that are recorded by the retina per image pixel by a scanning recording device can be calculated using the following formula:

N_s = (B T Δλ τ)(A_oR)(S/2π)(A_p/D²)(1/ε)
N _s = (BT Δλ τ) (A _o R) (S / 2π) (A _p / D ² ) (1 / ε)

wobei
B = die spektrale Bestrahlungsstärke auf der Netzhaut
T = die optische Transmission von Netzhaut bis zum Photodetektor
τ = die Integrationszeit in einem Bildpixel auf der Netzhaut
A_o = die Fläche des Bildpixels
R = Reflexionsvermögen des Bildpixels
Δλ = Spektrale Breite des Empfangssignals
A_p = Pupillenfläche
D = Abstand der Pupille zur Netzhaut
S/2π = der Winkelverteilungsfaktor der optischen Rückstreuung der Netzhaut
ε = Energie eines Photons bei der Aufnahmewellenlänge
bezeichnen.in which
B = the spectral irradiance on the retina
T = the optical transmission from the retina to the photodetector
τ = the integration time in an image pixel on the retina
A _o = the area of the image pixel
R = reflectivity of the image pixel
Δλ = spectral width of the received signal
A _p = pupil area
D = distance of the pupil to the retina
S / 2π = the angular distribution factor of the optical backscattering of the retina
ε = energy of a photon at the recording wavelength
describe.

Wie diese Formel zeigt, können stärkere Signale, d. h. eine größere Anzahl von Signalphotonen durch folgende Maßnahmen am Aufnahmegerät gewonnen werden:
As this formula shows, stronger signals, ie a larger number of signal photons, can be obtained by the following measures on the recording device:

• - Verlängerung der Verweildauer τ des Scans in den einzelnen Bildpunkten,- Extension of the dwell time τ of the scan in the individual Pixels,
• - Vergrößerung des Abtastflecks A_o auf der Netzhaut- Magnification of the scanning spot A _o on the retina
• - Vergrößerung der spektralen Bandbreite Δλ.- Enlargement of the spectral bandwidth Δλ.

Die Erfindung schlägt das Abtasten der Netzhaut in einer Abfolge von konzentrischen Kreisen vor (Kreismittelpunkt ist gleich Fovea centralis), deren Radius sich sukzessive vergrößert bzw. verkleinert. Diese Art des Scannens wird als Kreisscan bezeichnet. Wegen der Rotationssymmetrie der Augenlinse und der Pupille um die Sehachse und der rotationssymmetrischen Verteilung der Photorezeptoren in der Netzhaut ist der Kreisscan optimal.The invention suggests retinal scanning in a sequence of concentric circles in front (circle center is equal to Fovea centralis),  whose radius gradually increases or decreases. This kind of Scanning is called a circular scan. Because of the rotational symmetry of the Eye lens and the pupil around the visual axis and the rotationally symmetrical The circular scan is optimal for distributing the photoreceptors in the retina.

Die Erfindung schlägt weiterhin vor, daß ein identischer Kreisscan für die Aufnahme des Netzhautreflexes von der Umgebung und die Bildprojektion mit dem Laser verwendet werden. Da beim Kreisscan von außen bis zum Zentrum, nach dem Erreichen des Zentrums, die Scanachse den gleichen Weg rückwärts verläuft, kann wahlweise die Aufnahme beim Scan bis zum Zentrum und Projektion von Zentrum bis außen, oder die Aufnahme über den gesamten Abtastvorgang und Projektion erst in einem zweiten verwendet werden.The invention further proposes that an identical circular scan for the Recording the retinal reflex from the environment and projecting the image can be used with the laser. Since the circular scan from the outside to Center, after reaching the center, the scan axis the same way runs backwards, the recording can optionally be scanned up to Center and projection from center to outside, or the recording above the entire scanning process and projection are only used in a second become.

Bei einer konstanten Auslenkung von Scanspiegeln in zwei Richtungen (Lissajou-Figur) erfolgt beim Kreisscan zwangsläufig eine Verlangsamung der Verweildauer in Richtung zum Zentrum. Die Erfindung sieht jedoch vor, daß für das Tagessehen die Scandauer benachbarter Kreise, je nach den Belichtungsverhältnissen, noch zusätzlich verlangsamt und für das Nachtsehen sogar beschleunigt werden kann.With a constant deflection of scanning mirrors in two directions (Lissajou figure) the circle scan inevitably slows down the dwell time towards the center. However, the invention provides that for daily viewing the scan time of neighboring circles, depending on the Exposure ratios, further slowed down and for that Night vision can even be accelerated.

Aufgrund der ungleichmäßigen Verteilung der Zapfen über die Netzhaut mit einer um mehr als zwei Dekaden höheren Dichte im Zentrum kann die Abtastrate (Verweildauer pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 erhöht werden.Due to the uneven distribution of the cones across the retina a density in the center that is more than two decades higher can Sampling rate (dwell time per pixel) in this area around it Factor, 100 can be increased.

Für das Nachtsehen mit der höheren Verteilung der Stäbchen mit zunehmenden Radius ist es sinnvoll, daß die Verweildauer entgegengesetzt nach außen in ähnlichem Maße abnimmt.For night vision with the higher distribution of the chopsticks with increasing radius it makes sense that the length of stay is opposite decreases to the outside to a similar extent.

Wie dem Fachmann bekannt, läßt sich ein Kreisscan in analoger Ansteuerung mit periodisch schwingenden orthogonalen Scanspiegeln, oder in digitaler Ansteuerung durch Näherung an die Kreisspur mit einer hohen Anzahl von geraden Strecken. Als dritte Alternative bietet sich die Verwendung von programmierbaren Algorithmen analoger Ansteuersignale, die digital aufgerufen werden können und am besten für diese variablen Verhältnisse am geeignet sind.As known to the person skilled in the art, a circular scan can be carried out in analog control with periodically oscillating orthogonal scanning mirrors, or in digital Activation by approaching the circular track with a high number of straight lines. The third alternative is to use programmable algorithms of analog control signals that are digital  can be called and best for these variable conditions on are suitable.

Damit das Empfangssignal auch durch Vergrößerung des abgetasteten Bildflecks, proportional zu seiner Fläche, zusätzlich erhöht werden kann, sieht die Erfindung ferner vor, daß die momentane Bildpixelgröße auf der Netzhaut zusätzlich zur Scangeschwindigkeit variabel eingestellt werden kann.So that the received signal also by enlarging the sampled Image spot, proportional to its area, can be additionally increased, The invention further provides that the current image pixel size on the Retina can be variably adjusted in addition to the scanning speed can.

Mit der Änderung der Bildfleckgröße wird auch die Bildauflösung entsprechend der Situation angepaßt. Außer der Veränderung der Abtastfläche kann die Auflösung durch variablen Radiensprung der Scanradien eingestellt werden.As the spot size changes, so does the image resolution adjusted according to the situation. Except changing the Scanning area can be changed by changing the radius of the radius Scan radii can be set.

Mit einer Vergrößerung des abtastenden Bildpixels von z. B. 10 µm auf 100 µm wird z. B. die Bildauflösung von etwa 2 bis 20 Bogenminuten (Auflösungsbereich des Lesens und Betrachtens) um einen Faktor 10 reduziert, gleichzeitig wird das empfangene Signal um einen Faktor 100 erhöht.With an enlargement of the scanning image pixel of e.g. B. 10 microns to 100 µm is z. B. the image resolution of about 2 to 20 arc minutes (Range of resolution of reading and viewing) by a factor of 10 reduced, at the same time the received signal is increased by a factor of 100 elevated.

Wie dem Fachmann bekannt, ist bei der konfokalen Abtasten die Bildauflösung durch den Blendendurchmesser im Zwischenfokus vor dem Photodetektor bestimmt und kann durch seine Veränderung eingestellt werden. Die Erfindung sieht vor, daß hierfür Flüssigkristallblenden oder elektro-optische Blenden verwendet werden, damit diese Einstellung möglichst schnell, d. h. innerhalb eines Abtastzyklus, durchgeführt werden kann.As is known to the person skilled in the art, in confocal scanning Image resolution through the aperture diameter in the intermediate focus before Photodetector determines and can be adjusted by changing it become. The invention provides that liquid crystal shutters or Electro-optical shutters are used to make this setting as quickly as possible, d. H. within one scan cycle can.

Da der zeitliche Ablauf des Scannens und die Größe des Bildpixels bei Aufnahme und Projektion möglichst identisch sein sollten, schlägt die Erfindung vor, daß die die Änderung des Scanverlaufs und Blendenregelung im Projektionskanal die gleiche ist wie im Aufnahmekanal. Die Variation der optischen Integrationszeit und Bildpixelfläche kann dann im Projektionskanal durch entsprechende Variation der Sendeleistung des Lasers kompensiert werden. Because the timing of the scanning and the size of the image pixel at The recording and projection should be as identical as possible, suggests Invention before that the change in the scan course and aperture control in the projection channel is the same as in the recording channel. The variation of optical integration time and image pixel area can then Projection channel by corresponding variation of the transmission power of the laser be compensated.  

Die Höhe des Empfangssignals ist weiterhin von der spektralen Bandbreite des Empfängers abhängig und kann durch ihre Verbreiterung erhöht werden. Die Erfindung sieht vor, daß im Bereich des hellen Tagessehen (photopisches Sehen) eine der Augenfarbempfindlichkeit entsprechende Aufspaltung des Strahlenganges in die Farbkanäle Rot-Grün-Blau mit je einer spektralen Breite von etwa 100 nm vorgenommen werden kann. Dies ermöglicht eine farbechte Bildaufnahme und mit entsprechenden dreifarbigen Lasern eine farbliche Zurückprojektion ins Auge.The level of the received signal is still dependent on the spectral bandwidth dependent on the recipient and can be increased by widening them. The invention provides that in the area of bright day vision (photopic See) a splitting of the eye color sensitivity Beam path into the color channels red-green-blue with one spectral each Width of about 100 nm can be made. This enables one true-color image acquisition and with appropriate tri-color lasers color projection back into the eye.

Bei einer schwacher Umgebungsbeleuchtung, bei der Farben nicht mehr vom Auge wahrgenommen werden (scotopisches Sehen) sieht die Erfindung die Zusammenlegung aller Kanäle zu einem einzigen (schwarz/weiß) Empfangskanal ohne Farbauflösung vor. Weiterhin sieht die Erfindung vor, daß dieser Empfangskanal nicht nur den sichtbaren Bereich von 400-700 nm, sondern zusätzlich den nahen infraroten Bereich von 700-1000 umfaßt.When the ambient lighting is weak, when the colors are no longer The invention sees the eye perceived (scotopic vision) Merging all channels into one (black and white) Receive channel without color resolution. The invention further provides that this receive channel not only the visible range of 400-700 nm, but also includes the near infrared range of 700-1000.

Dies bringt zur Erhöhung des Empfangssignals bei schwacher Hintergrundbeleuchtung die folgenden Vorteile:
This leads to the following advantages for increasing the reception signal with weak backlight:

• - das Auge hat zwischen 400-1000 nm volle Transparenz und bildet ein vergleichbares Bild zwischen 700-1000 nm wie zwischen 400-700 nm ab.- The eye has full transparency between 400-1000 nm and forms comparable image between 700-1000 nm as between 400-700 nm from.
• - der Reflexionsgrad der Netzhaut zwischen 700-1000 nm beträgt R = 10-20% gegenüber R = 3-5% zwischen 400-700 nm- The degree of reflection of the retina is between 700-1000 nm R = 10-20% versus R = 3-5% between 400-700 nm
• - es sind Photoempfänger mit hohem Quantenwirkungsgrad wie Photomultiplier und Silizium-Avalanchedioden über den gesamten Spektralbereich von 400-1000 nm verfügbar.- They are photodetectors with high quantum efficiency like Photomultiplier and silicon avalanche diodes over the entire Spectral range from 400-1000 nm available.
• - Glühlampen, die zur Innenbeleuchtung von Gebäuden, bzw. im Freien zur Straßenbeleuchtung und bei Fahrzeugen verwendet werden, strahlen zwischen 700-1000 nm 10 mal mehr Licht ab als zwischen 400-700 nm. - Incandescent lamps used for indoor lighting of buildings or outdoors used for street lighting and vehicles between 700-1000 nm 10 times more light than between 400-700 nm.  
• - das Reflexionsvermögen der Vegetation der Natur ist um einen Faktor 5-10 zwischen 700-1000 nm höher als zwischen 400-700 nm.- The reflectivity of the vegetation of nature is one factor 5-10 between 700-1000 nm higher than between 400-700 nm.

Wie diese Beispiele zeigen, ist bei schwacher Beleuchtung (Nachtsehen) eine nochmalige Erhöhung des Empfangssignals um einen Faktor 100 durch Erweiterung des Spektralbereiches möglich.As these examples show, in dim lighting (night vision) is one repeated increase of the received signal by a factor of 100 Expansion of the spectral range possible.

Die Erweiterung des spektralen Bereiches kann entweder in jedem Gerät fest installiert sein oder durch Wechseln von spektralen Filtern variabel gestaltet werden. Wird eine Farbdarstellung nicht gefordert, ist es sinnvoll, grünes Laserlicht für die Rückprojektion ins Auge, wegen der höchsten Empfindlichkeit und Kontrastwahrnehmung des Auges bei dieser Farbe, zu verwenden.The expansion of the spectral range can either be fixed in any device installed or variably designed by changing spectral filters become. If a color representation is not required, it makes sense to use green Laser light for rear projection into the eye, because of the highest Sensitivity and contrast perception of the eye with this color, too use.

Zusätzliche Methoden zur Signalverbesserung, die hier eingesetzt werden können, sind die Integration mehrerer aufeinanderfolgender Bilder und die Bildkorrelation, z. B. Bilder der beiden Augen.Additional signal enhancement methods used here can be the integration of several successive images and the Image correlation, e.g. B. Images of both eyes.

Insgesamt kann durch die Variation der zwei Parameter, der Verweilzeit des Scans in den Bildpixels und der Größe des Bildflecks, mit Hinzunahme des infraroten Bereiches und der Verwendung von Bildkorrelation, eine gesamte Dynamik der Empfangssignale über sieben Dekaden erfaßt werden.Overall, by varying the two parameters, the residence time of the Scans in the image pixels and the size of the image spot, with the addition of the infrared range and the use of image correlation, an entire Dynamics of the received signals can be recorded over seven decades.

Bei einer gesamten optischen Transmission des Empfangskanals von T = 0,2 (siehe Formel oben) umfaßt der Empfangbereich dieses dynamischen Aufnahmesystems Bestrahlungsstärken auf der Netzhaut zwischen 10⁻⁵ W/cm² und 100 W/cm², was dem Bereich der typischen Innen- und Außenhelligkeit umfaßt.At a total optical transmittance of the reception channel of T = 0.2 (see formula above) of the reception area of this dynamic recording system comprises irradiance on the retina between 10⁻ ⁵ W / cm ² and 100 W / cm ^2, the area of typical indoor and outside brightness.

Wegen der langsamen und schnellen Augenbewegungen ist es notwendig, das Scansystem so zu gestalten, daß es der Änderung der Sehachse durch die Brille ständig folgt, d. h. daß die Symmetrieachse der Bildabtastung, sowohl bei der Aufnahme, als auch bei der Projektion, mit der Sehachse identisch ist.Because of the slow and fast eye movements, it is necessary to design the scanning system so that it changes the visual axis by the Glasses constantly follows, d. H. that the axis of symmetry of the image scan, both in the recording, as well as in the projection, is identical to the visual axis.

Die Erfindung sieht zur Lösung dieser Aufgabe vor, daß vor und nach der Abtastung des Netzhautreflexes bzw. der Bildprojektion ins Auge, eine Zentrierung des Kreisscans auf der Augenpupille durchgeführt wird. Dabei wird der größte Abtastwinkel des Kreisscans so gewählt, daß bei einer Ablage der Scansymmetrieachse von der Sehachse die Außenfläche des Augapfels, Sclera mit Regenbogenhaut und Pupillenöffnung von dem Kreisscan erfaßt wird. Da diese Teile des Auges, die vom Außenlicht gut ausgeleuchtet sind, nicht scharf, sondern diffus in der Bildzwischenebene des Photodetektors abgebildet werden, liefert das Empfangssignal hier keine Bildinformation, sondern eine integrale Anzeige über das optische Rückstreuvermögen der Vorlage.To achieve this object, the invention provides that before and after Scanning the retinal reflex or the image projection into the eye, a  Centering the circular scan on the eye pupil is performed. Here the largest scanning angle of the circular scan is chosen so that at a Storage of the scan symmetry axis from the visual axis the outer surface of the Eyeball, sclera with iris and pupil opening of that Circular scan is detected. Because these parts of the eye are good from the outside light are illuminated, not sharp, but diffuse in the intermediate plane of the The received signal does not provide any photodetectors Image information, but an integral display via the optical Backscattering power of the original.

Wenn die Empfangssignale über zeitlich gleich lange Abschnitte, z. B. Quadranten, aus jedem Kreis miteinander verglichen werden, sind sie nur dann von gleicher Höhe, wenn die Achse des Kreisscans identisch ist mit der Augenachse (Sehachse). Signalunterschiede, wegen der unterschiedlichen Rückstreuung aus Sklera, Regenbogenhaut und Pupillenöffnung, sind dann ein Maß über die Achsenablage und ihre Richtung. Nach einer Normierung mit dem gesamten Empfangssignal über jeden Kreis können diese Ablagesignale zur Einstellung der Nullstellung eines nächsten Kreisscans (Bias) verwendet werden. Somit kann eine ursprüngliche Ablage der Achsen mit jedem Kreisscan vermindert werden bis sie beim Eintauchen des Kreisscans durch die Pupillenöffnung verschwindend gering wird (Pupillentracking). Fig. 1 zeigt schematisch den kozentrischen Scanvorgang bei justierten System, Fig. 2 stellt den Suchmode der Zentrierung des Scans durch die Augenpupille dar.If the received signals over sections of the same length, e.g. B. quadrants, are compared from each circle with each other, they are only of the same height if the axis of the circular scan is identical to the eye axis (visual axis). Signal differences, due to the different backscattering from the sclera, iris and pupil opening, are then a measure of the axis offset and their direction. After standardization with the entire received signal over each circle, these storage signals can be used to set the zero position of a next circle scan (bias). This means that the original placement of the axes can be reduced with each circle scan until it becomes negligible when the circle scan is immersed through the pupil opening (pupil tracking). Fig. 1 shows schematically the concentric scanning process with adjusted system, Fig. 2 shows the search mode for centering the scan through the eye pupil.

Die Erfindung sieht alternativ zur Verwendung des Umgebungslichtes vor, daß auch mit der aktiven Beleuchtung der Laserprojektion ins Auge ein Pupillentracking im Außenbezirken des Kreisscans, mit gleichzeitiger Signalauswertung im Aufnahmekanal wie oben beschrieben, durchgeführt wird.As an alternative to the use of ambient light, the invention provides that catches the eye even with the active lighting of the laser projection Pupil tracking in the outskirts of the circular scan, with simultaneous Signal evaluation carried out in the recording channel as described above becomes.

Die Erfindung sieht außerdem vor, daß auch während der Laserbildprojektion das sowohl von der Umgebung als auch vom Laser zurückgestreute Licht aufgenommen und ausgewertet wird. Diese gleichzeitige Aufnahme des Netzhautreflexes von der Umgebung und der nachbearbeitenden Laserbildprojektion eröffnet die Möglichkeit, den Grad der Überlappung und die zeitliche Synchronisation beider Bilder ständig zu überprüfen, eventuelle Unterschiede als Bildinterferenzen (Moiré-Muster) zu erkennen, um diese dann durch Korrektursignale nachträglich zu kompensieren.The invention also provides that even during laser image projection the light backscattered by both the environment and the laser is recorded and evaluated. This simultaneous recording of the Retinal reflex from the environment and the post-processing Laser image projection opens up the possibility of the degree of overlap and  to constantly check the synchronization of both images, if necessary To recognize differences as image interference (moiré pattern) to this then to compensate later by correction signals.

Die Aufnahme und Projektionstechnik im Sinne der Erfindung kann entweder an einem Auge eines Betrachters oder an seinen beiden Augen gleichzeitig, unabhängig voneinander durchgeführt werden. Wegen des steroskopischen Sehens beider Augen wird in dem letzteren Fall eine dreidimensionale Bildaufnahme und Bildwiedergabe realisiert.The recording and projection technology in the sense of the invention can either on one eye of a viewer or on both of his eyes can be carried out simultaneously, independently of one another. Because of the steroscopic vision of both eyes becomes one in the latter case three-dimensional image acquisition and reproduction.

Es ist nicht ohne weiteres verständlich, daß die Aufnahme eines fehler- und verzeichungsfreien Reflexbildes der Umgebung von der Netzhaut über eine Brille, die weder in ihren optischen Eigenschaften individuell an jeden Betrachter angepaßt, noch vollständig stabil sitzend auf dem Kopf des Betrachters sein kann. Die Lösung hierzu im Sinne der Erfindung besteht erstens in der relativ geringen optischen Anforderungen an den seriellen konfokalen Punktscan gegenüber z. B. einer flächenhaften Abbildung aus dem Auge, zweitens in der vollständigen dynamischen Anpassung des optischen Strahlenganges des Scanners über die Brille in das Auge, die jedesmal die Eigenbewegungen des Auges und der Brille selbst berücksichtigt, drittens in der exakten Rückkehrung des Strahlenganges zwischen Aufnahme und Projektion und der kurzen Zeitdauer zwischen diesen Vorgängen. Zur Einstellung des Scan durch das Auge, auch bei den verschiedenen Augenbewegungen dienen zwei scannende Elemente und ein Korrekturspiegel der auch justierbar sein kann. Die Fig. 3 zeigt schematisch in Übersicht das ganze System. Die Netzhaut des Auges NH wird mit dem fokussierten Strahl abgetastet. Hier stellt AA den Augapfel und AP die Augenpupille dar. Die teildurchlässige Brille ist hier mit BG bezeichnet.It is not easy to understand that the recording of an error-free and distortion-free reflection of the surroundings from the retina through glasses that are not individually adapted to each viewer in terms of their optical properties, nor can they sit completely stable on the viewer's head. The solution to this in the sense of the invention consists first of all in the relatively low optical requirements for the serial confocal point scan compared to e.g. B. an areal image from the eye, secondly in the complete dynamic adjustment of the optical beam path of the scanner via the glasses into the eye, which always takes into account the intrinsic movements of the eye and the glasses themselves, thirdly in the exact return of the beam path between recording and projection and the short amount of time between these processes. Two scanning elements and a correction mirror, which can also be adjustable, are used to adjust the scan by the eye, even with the various eye movements. Fig. 3 illustrates schematically in overview the whole system. The retina of the NH eye is scanned with the focused beam. Here AA represents the eyeball and AP the eye pupil. The partially permeable glasses are referred to here as BG.

Die von der Umgebung durchgehenden Strahlen werden auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut punktuell abgetastet, wobei der Abtaststrahl in Transmission durch die Brille immer gegen eine Strahlungssenke schaut. Mit den zweiachsigen Abtastelementen HSS und VSS wird der Kreisscan durchgeführt. Mit dem Hilfsspiegel HS, der aktiv einstellbar sein kann, wird die Einfallsrichtung und Position des Strahles auf der Innenfläche der Brille BG eingestellt. Mit dem Strahlumschalter SUS kann entweder mit einer zentralen Bohrung der beleuchtende Laserstrahl durchgelassen werden und der Empfangsstrahl, der meist wesentlich größeren Durchmesser hat in die Empfangseinheit reflektiert werden in getrennte Richtungen geleitet werden, oder es kann ein aktiv umschaltendes Spiegelelement verwendet werden das zwischen Empfang und Senden umschaltet.The rays from the surrounding area are on the retina focused, at the same time the retina is scanned selectively, the Scanning beam in transmission through the glasses always against one Radiation sink looks. With the two-axis scanning elements HSS and VSS will perform the circular scan. With the auxiliary mirror HS, the active can be adjustable, the direction of incidence and position of the beam the inner surface of the glasses BG set. With the SUS jet switch  can either use a central hole to illuminate the laser beam be transmitted and the receiving beam, which is mostly essential larger diameter has to be reflected in the receiving unit separate directions, or there can be an actively switching Mirror element are used between reception and transmission toggles.

Die Empfangseinheit kann z. B. aus drei getrennten Empfangskanälen für die Grundfarben Rot, Grün und Blau oder andere Wellenlängenbereiche z. B. im nahen Infrarotbereich bestehen. Der Strahlengang aller Spektralkanäle wird mit Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. Zur Einstellung der Fleckgröße des Abtaststrahles auf der Netzhaut und zur eventuellen Feinkorrektur der optischen Achse dient eine aktiv justierbare Gesichtsfeldblende GFB.The receiving unit can e.g. B. from three separate reception channels for the Basic colors red, green and blue or other wavelength ranges e.g. B. in near infrared exist. The beam path of all spectral channels is brought onto an axis with the aid of dichroic mirrors DS. For setting the spot size of the scanning beam on the retina and for any Fine adjustment of the optical axis is used for an actively adjustable Field of view aperture GFB.

Die Sendeeinheit kann z. B. aus drei Lasern mit den Grundfarben Rot LR, Grün LG und Blau LB geschaffen sein. Vor der Strahlvereinigung auf einer Achse mit dichroitischen Spiegeln DS werden die Einzelnen Strahlen entweder extern mit Bildmodulatoren MR, MG und MB moduliert oder einfacher direkt über den Anregungsstrom der Laseremission. Die Größe und Lage des Laserabtastflecks auf der Netzhaut wird mit einer aktiv steuerbaren Blende LAA die im Zwischenfokus zweier Linsen im Strahlengang eingestellt wird. Als Empfänger für die Abtastung der Netzhautreflexbildes sind z. B. Photomultiplier geeignet, die wechselweise bei sehr schwachen optischen Signalen in einen Photon-counting Betrieb und bei starken Signalen in einen Strommeßbetrieb automatisch Umschalten. Auch ist die Verwendung von Avalanche Photodioden als Empfänger möglich.The transmitter unit can e.g. B. from three lasers with the basic colors red LR, Green LG and blue LB can be created. Before the beam union on one Axis with dichroic mirrors DS become the individual rays either modulated externally with image modulators MR, MG and MB or easier directly via the excitation current of the laser emission. The size and Position of the laser scanning spot on the retina is controlled with an actively Aperture LAA in the intermediate focus of two lenses in the beam path is set. As a receiver for scanning the retinal reflex image are z. B. Suitable photomultiplier, which alternately at very weak optical signals in a photon counting operation and in strong Switching signals into a current measurement mode automatically. That too is Avalanche photodiodes can be used as receivers.

Als Lichtquellen zur Rückprojektion der Bilder ins Auge sind Halbleiterlaser bzw. miniaturisierte Festkörperlaser vorgesehen mit einer niedriger Dauerstrichleistung (< 300 µW), die keine Gefährdung des Auges verursachen können. Mit der Verwendung von Halbleiterlasern könnte die Bildmodulation direkt über ihre Stromversorgung durchgeführt werden. Damit aller Farben erzeugt werden empfiehlt sich die Verwendung von drei Lasern mit den Grundfarben rot, grün und blau. Wie das bekannte Farbdreieck des menschlichen Gesichtsinnes zeigt können alle anderen Farben sowie die Unfarben grau und weiß durch Farbsummation von monochromatischen Laserlinien dieser Farben gebildet werden. Die Erfindung beinhaltet auch die Möglichkeit der Verwendung von einzelnen Farben als monochromatische Lösung vor.Semiconductor lasers are the light sources for projecting the images back into the eye or miniaturized solid-state lasers provided with a lower Continuous wave power (<300 µW) that does not endanger the eye can cause. With the use of semiconductor lasers, the Image modulation can be carried out directly via their power supply. So that all colors are generated, the use of three is recommended Lasers with the basic colors red, green and blue. Like the familiar Color triangle of the human face can show everyone else  Colors as well as the non-colors gray and white by color summation of monochromatic laser lines of these colors are formed. The Invention also includes the possibility of using individual Colors as a monochromatic solution.

Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal-Prozessor SP vor, der das direkte Bild von der Netzhaut elektronisch bearbeitet und alle Funktionen der Vorrichtung sowie die von Scannern VSS/HSS, des Hilfsspiegels HS und Laserfleckeinstellung LAA und Größe der Gesichtsfeldblende GFB synchron koordiniert. Der Bildverarbeitungscomputer BVC übernimmt dann die vom Auge wahrgenommenen Bild oder Bilder anderer technischer Sensoren, die über einen externen Anschluß EA dem Computer zugeführt werden und bearbeitet sie nach einer vorgegebenen Software SW, bevor sie mit Hilfe des Signalprozessors auf die Laserstrahlen als Bildsignal aufmoduliert werden. In Fig. 4 sind der Fluß der optischen und elektrischen sowie der Softwaresignale getrennt dargestellt. Die komplette Lasereinheit wird mit DE bezeichnet, ME als Modulationseinheit und PME die komplette Empfangseinheit und SUS als der Strahlumschalter zwischen der Sende- und Empfangseinheit.As shown in FIG. 4, the invention provides a signal processor SP which electronically processes the direct image of the retina and synchronizes all functions of the device and of scanners VSS / HSS, auxiliary mirror HS and laser spot setting LAA and size of the field of view diaphragm GFB coordinates. The image processing computer BVC then takes over the image perceived by the eye or images of other technical sensors which are fed to the computer via an external connection EA and processes them according to a predetermined software SW before they are modulated onto the laser beams as an image signal with the aid of the signal processor. In Fig. 4 the flow of the optical and electrical as well as the software signals are shown separately. The complete laser unit is denoted by DE, ME as the modulation unit and PME the complete receiver unit and SUS as the beam switch between the transmitter and receiver unit.

Die Laser-Projektion ermöglicht außer der Verarbeitung des aktuellen vom Computer verarbeitetes Bild in das Auge zu projizieren und mit dem Originalbild zu verschmelzen, auch Fremdbilder, die dem Computer von extern zugeleitet werden, dem Außenbild im Auge synchron zu überlagern. Wenn die Zeitspanne zwischen Bildaufnahme- und Projektion im Vergleich zu den schnellen Augebewegungen entsprechend kurz ist, wird das Auge, wie bei der Betrachtung eines Fernsehschirmes, keine Bildunterbrechung mehr wahrnehmen.Laser projection enables processing of the current from Computer processed image to project into the eye and with that Original image to merge, also foreign images that the computer from externally supplied, synchronously superimposed on the external image in the eye. When comparing the time between image acquisition and projection corresponding to the quick eye movements is short, the eye will like when viewing a television screen, no more picture interruptions perceive.

Die getrennte aber gleichzeitige Bildabtastung an beiden Augen erfaßt auch die perspektivischen Unterschiede beider Bilder. Da diese bei der Laserzurückprojektion in beiden Augen erhalten bleiben, ist eine Wiederherstellung des räumlichen Sehens gewährleistet.The separate but simultaneous image scanning on both eyes also detects the perspective differences between the two pictures. Since this at Maintaining laser rear projection in both eyes is one Restoration of spatial vision guaranteed.

Die in der Erfindung verwendeten Bauelemente sind heute weitgehend miniaturisiert und kostengünstig erhältlich. Zum Scannen der Kreisfiguren können miniaturisierte Kippspiegel verwendet werden. Als zweite Möglichkeit zur Herstellung der Kreisfiguren bietet sich an die Verwendung von Keilplatten-Scannern, die für einen Strahlengang in Transmission ausgelegt sind. Der durchgehende Strahl wird durch jede der Platten um einen festen Winkel gebrochen, der gesamte Ablenkwinkel kann dann durch eine feste Drehung der Keilplatten gegeneinander kontinuierlich bis Null eingestellt werden. Bei einer gemeinsamen Drehung der Keilplatten mit einer festen Drehfrequenz beschreibt der abgelenkte Strahl dann eine Kreisspur. Als dritte Möglichkeit bietet sich die Verwendung von akusto-optischen Ablenkeinheit, die den Vorteil der geringen Trägheit und der schnellen Ablenkung bieten. Der variabel einstellbare Hilfsspiegel HS wird vorzugsweise als einer mit Mikroaktorik in zwei Achsen einstellbarer Spiegel sein.The components used in the invention are largely today miniaturized and available inexpensively. For scanning the circular figures  miniaturized tilting mirrors can be used. Second Possibility of making the circular figures offers itself for use of wedge plate scanners, which are used for a beam path in transmission are designed. The continuous beam is passed through each of the plates broken a fixed angle, the entire deflection angle can then by a fixed rotation of the wedge plates against each other continuously to zero can be set. When the wedge plates rotate together with a the deflected beam then describes a circular track at a fixed rotational frequency. The third option is the use of acousto-optical Deflection unit, which has the advantage of low inertia and fast Offer distraction. The variably adjustable auxiliary mirror HS preferably as a mirror adjustable with microactuators in two axes his.

Für die Einstellung des Laserfleckgröße und des Empfangsgesichtsfeldes bieten sich vorzugsweise mikromechanische Aktoren wie z. B. in den weitverbreiteten Laser-Printer und CD-Plattenspielern auch verwendet werden.For setting the laser spot size and the reception field of view offer micromechanical actuators such as. Tie widely used laser printers and CD record players also used become.

Die Strahlumlenkeinheit und Scanner können ein einem einfachen Brillengestell untergebracht werden. Mit Hilfe von Glasfaserleitung können Laserprojektionseinheit in einem kleinen Gehäuse z. B. in der Größe eines Taschenbuches mit Betterieversorgung untergebracht werden. Der Datenaustausch mit einem externen fest installierten Bildverarbeitungsrechner kann entweder über Radiowellen oder Infrarotstrahle erfolgen. Alle Elemente der Vorrichtung der Erfindung könnten nach dem heutigen Stand der Technik somit von einem Menschen mühelos getragen werden und der drahtlose Bilddatenaustausch mit dem externen Rechner würde seine unbeschränkte Bewegungsfreiheit ermöglichen.The beam deflection unit and scanner can be a simple Glasses frame can be accommodated. With the help of fiber optic cable Laser projection unit in a small housing e.g. B. the size of a Paperback with food supply can be accommodated. The Data exchange with an external, permanently installed image processing computer can be done either via radio waves or infrared rays. All Elements of the device of the invention could, according to the current state of the art technology can be carried effortlessly by a human being and wireless image data exchange with the external computer would be his allow unlimited freedom of movement.

Wie in der früheren Anmeldung der Erfinderin Nr. 19631414.3 kann dieser Art einer opto-elektronischen Brille in den verschiedensten Anwendung eine Verwendung finden:
Aufnahme von Bildern der Außenwelt, ihre Verarbeitung, Zurückprojektion und Verschmelzung mit dem Originalbild im Auge wie z. B. zur Sichtverbesserung beim Fahren eines Fahrzeug oder als Sehhilfe von Sehbehinderte.As in the earlier application of the inventor No. 19631414.3, this type of opto-electronic glasses can be used in a wide variety of applications:
Taking pictures of the outside world, their processing, back projection and merging with the original picture in the eye such as. B. to improve vision when driving a vehicle or as a visual aid for the visually impaired.

Überlagerung von Bildern anderer Aufnahmesysteme, z. B. in von der gleichen Szene in anderen Spektralbereichen auf das direkte Bild in gleichen Anwendungen wie heute oder zukünftig das Helmet-mounted-display verwendet wird.Superimposition of images from other recording systems, e.g. B. in from same scene in other spectral ranges on the direct image in same Applications like today or in the future the helmet-mounted display is used.

Überlagerung von virtuellen Bildern, die alleine vom Computer hergestellt werden, in gleichen oder zukünftigen Anwendungen der "virtual-reality" oder "cyberspace" Bildprojektion.Superimposition of virtual images made by the computer alone be in the same or future applications of "virtual reality" or "cyberspace" image projection.

Claims (25)

1. Bildverbesserungssystem, bei dem das Reflexbild in Inneren des Auges abgetastet wird und nach Modifikation auf dem gleichen Weg in das Auge zurückprojiziert wird nach Anmeldung Nr. 19631414.3, gekennzeichnet durch Verwendung eines Ellipsenscans.1. Image enhancement system in which the reflex image is scanned inside the eye and, after modification, is projected back into the eye in the same way according to application no. 19631414.3, characterized by using an ellipse scan. 2. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Ermittlung der Außenränder der Pupille zur Justierung und Zentrierung des Scannersystems ohne weitere externe Sensoren verwendet wird.2. Image enhancement system according to claim 1, characterized in that the ellipse scan by determining the outer edges of the pupil Adjustment and centering of the scanner system without further external Sensors is used. 3. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild mit dem zurückprojizierten Bild zeitlich und örtlich synchronisiert wird.3. Image enhancement system according to claim 1, characterized in that the captured image with the back-projected image temporally and locally is synchronized. 4. Bildverbesserungssystem nach Anspruch 2, dadurch gekennzeichnet, daß die Scandauer dynamisch an die Anforderung von Auflösung, Erfaßzeitbedarf und Belichtungszeit angepaßt wird.4. Image enhancement system according to claim 2, characterized in that the scan duration dynamically to the resolution request, Acquisition time requirement and exposure time is adjusted. 5. Bildverbesserungssystem nach Anspruch 4, dadurch gekennzeichnet, daß die Größe des Abtastfleckens dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.5. Image enhancement system according to claim 4, characterized in that the size of the scanning spot dynamically according to the requirement of Environmental conditions is adjusted. 6. Bildverbesserungssystem nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, daß der Spurabstand der Scanspuren dynamisch entsprechend der Anforderung der Umgebungsbedingungen angepaßt wird.6. Image enhancement system according to one of claims 4 or 5, characterized characterized in that the track spacing of the scan tracks is dynamic is adapted according to the requirement of the environmental conditions. 7. Bildverbesserungssystem nach Ansprüchen 1 bis 6, dadurch gekennzeichnet, daß die Größe des abgetasteten Bereichs entsprechend der Anforderungen des Anwendungsfalles angepaßt wird. 7. Image enhancement system according to claims 1 to 6, characterized characterized in that the size of the scanned area corresponds to the Requirements of the application are adapted.   8. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystem aufgehellt wird und dann zurückprojiziert wird.8. Image enhancement system according to claim 1, characterized in that the captured image through a downstream image processing system is brightened and then projected back. 9. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch eine Projektion des Bildes bei einer anderen Wellenlänge als es aufgenommen wurde und dadurch in einen anderen Lichtwellenlängenbereich transformiert wird.9. image enhancement system according to claim 1 and 8, characterized in that the captured image by projecting the image at a different wavelength than it was recorded and therefore in one other light wavelength range is transformed. 10. Bildverbesserungssystem nach Anspruch 1 und 9, dadurch gekennzeichnet, daß der Wellenbereich des aufgenommenen Bildes außerhalb des Wahrnehmungsbereiches des Auges ausgewertet wird und in den sichtbaren Bereich transformiert wird.10. Image enhancement system according to claim 1 and 9, characterized characterized that the waveband of the captured image is evaluated outside the area of perception of the eye and in the visible area is transformed. 11. Bildverbesserungssystem nach Anspruch 1 und 8, dadurch gekennzeichnet, daß das aufgenommene Bild so stark aufgehellt wird, daß die ursprünglich vom Auge erkennbare Schwarz-Weiß (Stäbchensehen)- Information in eine Farbinformation transformiert wird (Zäpfchensehen).11. Image enhancement system according to claim 1 and 8, characterized characterized in that the recorded image is so brightened that the black and white (chopstick vision) originally recognizable by the eye - Information is transformed into color information (suppository vision). 12. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das aufgenommene Bild durch Berechnen und Modulieren der Projektion über einen geeigneten Algorithmus (Fouriertransformation) so geschärft wird, daß Sehfehler des Auges ausgeglichen werden.12. Image enhancement system according to claim 1, characterized in that the captured image by computing and modulating the projection sharpened using a suitable algorithm (Fourier transform) will compensate for visual defects in the eye. 13. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß für die Justierung des Scannersystems ein externer Sensor zur Ermittlung der Pupillenposition verwendet wird.13. Image enhancement system according to claim 1, characterized in that for the adjustment of the scanner system an external sensor to determine the Pupil position is used. 14. Bildverbesserungssystem nach Anspruch 1 bis 13, dadurch gekennzeichnet, daß das aufgenommene Bild hinsichtlich des Bildinhaltes ausgewertet wird um externe Reaktionen und Steuerfunktionen zu aktivieren.14. Image enhancement system according to claim 1 to 13, characterized characterized in that the recorded image with respect to the image content is evaluated to activate external reactions and control functions. 15. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Bildinhalte beider Augen verglichen werden. 15. Image enhancement system according to claim 14, characterized in that that the image contents of both eyes are compared.   16. Bildverbesserungssystem nach Anspruch 14, dadurch gekennzeichnet, daß die Position der Pupillen beider Augen verglichen wird.16. Image enhancement system according to claim 14, characterized in that that the position of the pupils of both eyes is compared. 17. Bildverbesserungssystem nach Anspruch 15, dadurch gekennzeichnet, daß der Bildinhalt der Forea Centralis beider Augen verglichen wird.17. An image enhancement system according to claim 15, characterized in that that the image content of the forea centralis of both eyes is compared. 18. Bildverbesserungssystem nach Anspruch 16 und 17, dadurch gekennzeichnet, daß die Position der Pupillen und Bildinhalte der Forea Centralis beider Augen zur Ermittlung der Sehachse verwendet werden für Triangolation (Entfernungsbestimmung).18. Image enhancement system according to claim 16 and 17, characterized characterized that the position of the pupils and image content of the forea Centralis of both eyes can be used for determining the visual axis Triangolation (distance determination). 19. Bildverbesserungssystem nach Anspruch 1 bis 18, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Helligkeit der Umgebung zu ermitteln.19. Image enhancement system according to claim 1 to 18, characterized characterized in that the image information of the eye is used to the to determine the absolute brightness of the surroundings. 20. Bildverbesserungssystem nach Anspruch 19, dadurch gekennzeichnet, daß die Bildinformation des Auges verwendet wird um die absolute Farbtemperatur des Lichtes zu ermitteln.20. Image enhancement system according to claim 19, characterized in that that the image information of the eye is used to the absolute To determine the color temperature of the light. 21. Bildverbesserungssystem nach Anspruch 1 und 2, dadurch gekennzeichnet, daß das System zur Ermittlung der Pupillengröße verwendet wird.21. Image enhancement system according to claim 1 and 2, characterized characterized that the system used to determine the pupil size becomes. 22. Bildverbesserungssystem nach Anspruch 8, dadurch gekennzeichnet, daß das aufgenommene Bild durch ein nachgeschaltetes Bildverarbeitungssystems so aufgehellt wird, daß die physiologische Scheinempfindlichkeit in einen anderen weniger empfindlichen Bereich verschoben wird.22. Image enhancement system according to claim 8, characterized in that the captured image by a downstream one Image processing system is brightened so that the physiological Apparent sensitivity to another less sensitive area is moved. 23. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von außen nach innen läuft.23. Image enhancement system according to claim 1, characterized in that the ellipse scan runs from the outside in. 24. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan von innen nach außen läuft. 24. Image enhancement system according to claim 1, characterized in that the ellipse scan runs from the inside out.   25. Bildverbesserungssystem nach Anspruch 1, dadurch gekennzeichnet, daß der Ellipsenscan durch Zusammenfallen der beiden Brennpunkte zu einem Kreisscan verändert wird.25. Image enhancement system according to claim 1, characterized in that the ellipse scan by collapsing the two focal points into one Circle scan is changed.