WO2002031577A1 - Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut - Google Patents

Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut Download PDF

Info

Publication number
WO2002031577A1
WO2002031577A1 PCT/EP2000/009840 EP0009840W WO0231577A1 WO 2002031577 A1 WO2002031577 A1 WO 2002031577A1 EP 0009840 W EP0009840 W EP 0009840W WO 0231577 A1 WO0231577 A1 WO 0231577A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
eye
image
retina
information system
Prior art date
Application number
PCT/EP2000/009840
Other languages
English (en)
French (fr)
Inventor
Roland H. C. Eberl
Heinrich A. Eberl
Original Assignee
Physoptics Opto-Electronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Physoptics Opto-Electronic Gmbh filed Critical Physoptics Opto-Electronic Gmbh
Priority to AU2001211340A priority Critical patent/AU2001211340A1/en
Priority to EP00972696A priority patent/EP1405121A1/de
Priority to PCT/EP2000/009840 priority patent/WO2002031577A1/de
Priority to AT01987895T priority patent/ATE357680T1/de
Priority to ES07013946T priority patent/ES2401132T3/es
Priority to AU2002215929A priority patent/AU2002215929A1/en
Priority to AU2002221662A priority patent/AU2002221662A1/en
Priority to EP01986772A priority patent/EP1405122B1/de
Priority to DE50112749T priority patent/DE50112749D1/de
Priority to DE50112248T priority patent/DE50112248D1/de
Priority to EP01987895A priority patent/EP1405123B1/de
Priority to PCT/EP2001/011633 priority patent/WO2002033472A2/de
Priority to AT01986772T priority patent/ATE367596T1/de
Priority to PCT/EP2001/011634 priority patent/WO2002031581A1/de
Priority to US10/551,443 priority patent/US8113657B2/en
Priority to US10/551,445 priority patent/US7641342B2/en
Priority to EP07013946A priority patent/EP1840627B1/de
Publication of WO2002031577A1 publication Critical patent/WO2002031577A1/de
Priority to US12/646,670 priority patent/US8016421B2/en
Priority to US13/223,825 priority patent/US8944602B2/en
Priority to US13/300,691 priority patent/US8382285B2/en
Priority to US13/749,945 priority patent/US20130135181A1/en
Priority to US14/572,264 priority patent/US9427154B2/en
Priority to US15/235,845 priority patent/US10188288B2/en
Priority to US16/259,496 priority patent/US20190150731A1/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Definitions

  • the invention relates to an information system based on a visual field detection device which detects visible light from the naturally perceived visual field of an eye, and a corresponding method for making information available.
  • Optical devices are known from German laid-open publications DE 196 31 414 AI and DE 197 28 890 which enable the retinal reflex image to be recorded and additional images to be superimposed in the eye.
  • it describes the adjustment of the above-mentioned optical device and a system which is also able in a new way to project images onto an eye.
  • the latter system is based on a projection of an image onto the retina of the eye, which takes place at the same time, but lagging behind a scan-like detection of the retinal reflex image.
  • System features developed by the research team that recur in many of the described embodiments include that the system: at least partially captures a corneal reflex image of the eye; - directs part of the light incident on the eye into a sensor device by means of a spherical or spherically acting reflection layer; the retinal image is determined via the degree of oxidation of the retinal caps and / or the retinal rods; - only partially records a retinal reflex image; and / or a visual field detection device which detects visible light from the naturally perceived visual field without acquiring a retinal reflex image.
  • each of these three patent applications relates to a respective, summarizing basic concept.
  • the aim of the invention is to provide an information system whose information processing meets the natural needs of a sighted person in an unprecedented manner. It is a further object of the invention to provide such an information system which has been improved over the prior art in terms of implementability and economy. The aim of the invention is also to provide corresponding methods for making information available.
  • the information system according to the invention comprises a signal detection device which detects signals reflected back from an eye having a retina, an information device and an output device which, in cooperation with the information device, provides information in correlation with the detected signals.
  • the information is preferably made available as a function of the detected signals and / or as a function of visible light detected from the naturally perceived visual field.
  • One of the glasses systems discussed above is preferably used as the signal detection device, in which a scanning scanning device at least partially detects a retinal reflex image of the retina.
  • a modification of this scanning device which detects light reflected on the cornea of the eye instead of the retinal reflex image, is particularly advantageous in infrared applications, since the cornea strongly reflects light with a wavelength of approximately 1.1 ⁇ m.
  • the visual field detection device and / or the information device of the information system according to the invention preferably comprises an essentially confocal, sparingly or spherically acting reflection layer which deflects part of the light directed onto the eye into a sensor device for detection. Due to the fact that the reflection layer is many times more reflective than the retinal or corneal reflex, it becomes an essential factor for photosensors of the same sensitivity Light gain achieved. Correspondingly inexpensive photosensors could also be used in the sensor device. It can therefore be advantageous if the light falling on the eye is not detected only partially or not at all via the retinal reflex.
  • the orientation of the eye can also be determined at night and / or valuable information can be obtained from the visual field.
  • any restrictions regarding the detection of the light falling on an eye can be expedient.
  • restrictions of the recorded spectral range, the recorded field of view and the recorded time segments are possibly applied.
  • the device of the information system according to the invention intended for this purpose can be designed to acquire the light falling on several eyes.
  • the eyes do not have to necessarily belong to a single person.
  • Visual field is the part of a room that can be captured with the eye still.
  • a field of view is the area that can be seen with the eyes. Thus, as in the rest, the visual field is to be understood as the cause of the light that naturally falls on an eye.
  • the information system is able to convert visible light from the visual field assigned to the eye into a quality, i.e. with a sensitivity, a resolution, a sharpness, etc., which far exceeds the natural perception of the eye.
  • the correlation according to the invention of the provision of information with the signals detected by the signal detection device makes it possible to treat corresponding parts of the detected light during processing that occurs in the course of the provision of information as if they were reflex images acquired from the eye, i.e. as if they were what you actually saw.
  • Such an embodiment of the information system according to the invention thus combines the advantages of an information system that obtains high-quality visual field information directly from the visual field with the advantages of an information system that extracts actual visual field information from the eye.
  • the correlation of the provision of information with the detected signals reflected back from the eye can, for example, be This is done by capturing several image points of an eye reflex image, for example a cornea or retinal reflex image, which are connected to corresponding image points from the detected field of view via an evaluation device.
  • a gaze direction of the eye determined by the detected signals can also serve to create a correlation between visual field information obtained from the detected visual field and what is actually seen.
  • the correlation can also consist of projecting visual field information obtained onto the retina in a manner correlated with the seen.
  • the field of view detection device need not be limited to a detection of the field of view, but can also include a partial or complete detection of the field of view, which includes an at least partial detection of the field of view.
  • the high quality of the image captured from the field of view or visual field can also serve as the basis for an oversensory information presentation.
  • visual field information could be obtained from the detected field of view light and projected onto the retina in such a way that the image perceived by the eye appears at least partially sharper, closer, more wide-angle or otherwise visible.
  • the invention provides an information source, which can include a database, a sensor system, an information network connection and / or an evaluation device.
  • a particularly interesting embodiment of the invention comprises a sensor system as a source of information. Because this enables a supersensible perception to be brought into connection with what is seen.
  • the information source according to the invention could Magnetic field sensors that are able to locate metallic lines with respect to a known coordinate system, for example the detected field of view. It would thus be possible, for example by means of suitable image processing software, to superimpose the course of existing electrical lines by means of a projection of an additional image as described in the above-mentioned patent applications onto the image seen by the eye.
  • All types of known sensors are suitable for use as a source of information, in particular when the sensor is activated or queried on the basis of the captured light image.
  • the position of this line it would be possible for the position of this line to be calculated on a finished chip after a targeted view of a line on a circuit diagram of the circuit and a keystroke, so that the current and voltage values of the line by means of a contactless one Measuring device detected and presented to the user via the glasses system.
  • An example of an information system comprising a database and an information network connection would be an in-house mail distribution system in which files are provided with barcode stickers which uniquely identify the respective file. If a file is to be sent in-house, the sender enters, for example, the extension number of the recipient and a code that designates the file using software that stores this data in a database in one of the many known ways. During a later sorting of the file, the identifying barcode is detected via the glasses system worn by a mail distribution employee, for example with a targeted look and a button click, and recognized by a recognition device or software.
  • the post-distribution-relevant data assigned to the file is fetched from the database via radio link with an internal data network and, after preparation, sent to the mail distribution system via a suitable output device. announced, for example as an announcement via headphones "Mr. Schmidt, finance, Building G, 3rd floor, room 310".
  • An evaluation device is to be understood to mean all types of evaluation devices, in particular image processing devices. Such evaluation devices have also been discussed in the examples above.
  • the information can be made available in a tactile, visual, audible, smellable and / or flavored manner. It is an object of the invention to enable information to be provided that meets the needs of a sighted person in a way never before achieved. This can include that the information can be made available to humans in a suitable manner, that is to say using one or more of the five senses. However, the information can be made available in any way and does not require a specific addressee. For example, the information can be made available to a further system or can be emitted into the surroundings by an optical or acoustic output device. Already by the dependency according to the invention between the provision of information and the light image falling on the eye, it is achieved that the connection expected by the seeing person exists between what is seen and the information made available.
  • This dependency is taken into account by the device according to the invention when determining the information, when making the information available or during both of these inherent processes. Examples of taking this dependency into account when determining the information are given above.
  • this dependency can be taken into account, for example, in that the information is superimposed on the viewed image by means of a back projection into the eye in such a way that a temporal, color rather, spatial, contrast-related, or other meaningful connection between the information and the image viewed.
  • the dependency can be that the captured light image is used to determine the position and orientation of the eyeball, so that an image projected onto the eye for the purpose of providing the information appears to be fixed when the eye moves seems to move along with a movement of the eye or seems to move during a movement of the eye according to a predetermined course.
  • the effect of the saccade movements of the eye on these processes can be taken into account or compensated for.
  • the information system according to the invention determines the position and orientation of at least one eye quickly, precisely and with little effort, for example with a determination rate of 100 Hz, a positional accuracy of a few micrometers and a device with a portable design.
  • the processing can take place so quickly that the accuracy is not falsified by the saccade movements of the eye.
  • the information system has a signal detection device that does not touch the eye and detects signals that are reflected back by the eye. Reflectable signals, for example sound or electromagnetic signals, allow high-frequency detection, so that the processing speed is mainly determined by an evaluation device included in the information system.
  • Reflectable signals for example sound or electromagnetic signals
  • part of the information system itself serves as a reference coordinate system.
  • the information system merely represents a reference coordinate system in another reference coordinate system, and that the relationship between the reference coordinate system and the reference coordinate system is determined, for example, by the evaluation device or another mechanism.
  • the signal detection device preferably detects light reflected back by the eye.
  • Light forms an excellent medium for the transmission of the signals reflected back by the eye, since the operational capability of the eye requires the presence of light.
  • This different information can, however, be distinguished using known signal processing methods and used sensibly to determine the orientation of the eye. This is particularly the case when the signal transmission medium comes from a signal source belonging to the information system, which applies a predetermined signal to the medium before it is reflected on the eye.
  • the detection of signals from signal transmission media other than light can also be advantageous.
  • components for generating and recording sound waves are available on the market in various inexpensive and compact versions. Such components can also be implemented as integrated elements of an integrated circuit. Similar 1577
  • Retinal reflex detection has proven to be useful, in which the retinal reflex of natural or artificial light is intermittently or partially detected as a signal reflected back from the eye.
  • a complete detection of the retinal reflex is both time-consuming and labor-intensive.
  • processing the detected retinal reflex reveals both retinal features, such as the fovea centralis or the blind spot, and the reflection image of the light falling on the eye.
  • the blood vessel network in the choroid is also visible when the retinal reflex image is appropriately prepared, which provides a very good basis for determining the orientation of the eyeball.
  • retinal features can be tracked without retinal reflex detection.
  • the blood vessels of the choroid can be recognized by their heat radiation visible in the infrared range.
  • Figure 1 shows an information system according to a first embodiment of the invention
  • Figure 2 is a detailed cross-sectional view of an eye
  • FIG. 3 shows a known embodiment of an interactive glasses system in which a signal detection device in the form of a scanning eye scanner is provided;
  • FIG. 4 shows a known embodiment of an interactive goggle in which an output device is provided in the form of a scanning projection device;
  • FIG. 5A shows interactive glasses according to a first exemplary embodiment;
  • FIG. 5B shows a detailed drawing of a combined signal detection and projection device shown in FIG. 5;
  • FIG. 6A shows interactive glasses according to a second exemplary embodiment
  • FIG. 6B shows a detailed drawing of a combined signal detection and projection device shown in FIG. 6A;
  • FIG. 7A shows interactive glasses according to a third exemplary embodiment
  • FIG. 7B shows a detailed drawing of a combined signal detection and projection device shown in FIG. 7A;
  • FIG. 8 shows interactive glasses according to a fourth exemplary embodiment
  • FIG. 9 shows interactive glasses according to a fifth exemplary embodiment
  • FIG. 10A shows a top view of a pair of glasses according to a sixth exemplary embodiment
  • FIG. 10B shows a front view of glasses according to a sixth exemplary embodiment
  • FIG. HA shows the naturally perceived visual field of a user of an information system designed according to a seventh exemplary embodiment
  • FIG. 11B shows the naturally perceived visual field of a user • of an information system designed according to a seventh exemplary embodiment
  • Figure 11C is a schematic representation of a scan pattern
  • Figure HD is a schematic representation of a modified scanning pattern
  • FIG. 12A shows the naturally perceived visual field of a user of an information system designed according to an eighth exemplary embodiment
  • FIG. 12B shows the naturally perceived visual field of a user of an information system designed according to an eighth exemplary embodiment
  • FIG. 12C shows the naturally perceived visual field of a user of an information system designed according to an eighth exemplary embodiment
  • FIG. 12D shows the naturally perceived visual field of a user of an information system designed according to an eighth exemplary embodiment
  • FIG. 12E shows the naturally perceived visual field of a user of an information system designed according to an eighth exemplary embodiment
  • FIG. 13A shows the naturally perceived visual field of a user of an information system designed according to a ninth exemplary embodiment
  • FIG. 13B shows the naturally perceived visual field of a user of an information system designed according to a ninth exemplary embodiment
  • FIG. 14A shows an information system according to the invention in accordance with a tenth exemplary embodiment
  • FIG. 14B shows an information system according to the invention in accordance with a tenth exemplary embodiment
  • FIG. 15 shows an information system according to the invention in accordance with an eleventh exemplary embodiment
  • FIG. 16 shows a schematic illustration of an information system according to the invention in accordance with a twelfth exemplary embodiment
  • Figure 17 is an optical system according to a thirteenth embodiment.
  • Figure 1 shows an information system 100 in accordance with a first embodiment of the invention.
  • the information system 100 is implemented in the form of an interactive glasses system 120 or an interactive glasses 120, respectively comprises two optical devices 150.
  • the optical devices 150 are preferably located on the inside of a left 121L or right 121R temple part of the glasses 120.
  • there are also other arrangements of the optical devices that do not obstruct the view for example in the area of a nose bridge 122 running over the nose root of a user the glasses 120, useful.
  • the optical device 150 of the glasses 120 is connected to a processor unit 140 via connecting lines 101. If photodetectors and / or light sources are included in the optical devices, the connecting lines serve for the transmission of electrical detector or control signals. However, the photodetectors or light sources can be arranged in the processor unit 140 and connected to the optical devices 150 of the glasses 120 via light-conducting connecting lines 101. This contributes to the weight reduction of the glasses 120.
  • FIG. 2 shows a detailed view of an eye 280 in cross section for the purpose of understanding the invention.
  • the eye 280 which is housed in an eye socket 20 (lat. Orbita) in the head of a human being and is to be understood here in the sense of an eyeball 280, consists of a translucent cornea 283 (lat. Cornea) and a visible one white leather skin 28 (lat. Sclera) surrounding chamber.
  • the sclera 28 is covered on its side facing the inside of the eye 280 by a choroid 287 (lat. Choroid) which bears a light-sensitive retina 281 (lat. Retina) on its inner side and supplies it with blood.
  • the tissue of the retina 281 comprises two types of photoreceptor cells, rods and cones (both not shown), which enable humans to see. These photoreceptor cells absorb the light bundled through an eye lens 282 in a wavelength range of approx. 380-760 nm and convert it into electrical nerve signals through a series of chemical reactions. The signals from the various nerve cells of the retina 281 are then passed on to the brain via an optic nerve 25 and processed there to form a perceptible image.
  • the numerous, approx. 120 million and highly light-sensitive rods are specialized in signal recording in dim light (so-called scotopic vision) and provide a grayscale image.
  • photopic vision When light is absorbed, pigments are oxidized in the photoreceptor cells. It takes about 6 minutes to regenerate the pigments and about 30 minutes for the rods. A viewing period of approx. 200 msec is necessary until the visual stimulus via the photoreceptors begins and information is recorded via the retina 281.
  • the retina 281 has a depression 286, which appears to be somewhat more pigmented due to its higher density of cones than the rest of the retina.
  • the fovea centralis 286 is only included Occupied cones, has a very high cone density and only takes up approx. 0.01% of the surface of the retina.
  • the optic nerve 25 enters the interior of the eye through a sieve-like opening in the dermis 28.
  • This location 288 has no photoreceptor cells, which is why it is referred to as a "blind spot".
  • the chamber formed by the cornea 283 and the dermis 28 is divided by a deformable lens 282 and a muscular radiation body 23 (also called ciliary body) which supports the lens 282.
  • the part of the chamber which is referred to as anterior chamber 22 and lies between cornea 283 and lens 282, contains a liquid which nourishes cornea 283.
  • the lens 282 In its original form, the lens 282 typically refracts the light falling on the eye in such a way that the far field of view is sharply imaged on the retina 281.
  • the shape and thus also the refraction characteristics of the lens 282 can be changed over a wide range, for example to enable sharp imaging of nearby objects of the visual field on the retina 281. In most cases, this process takes place unconsciously for the person concerned.
  • a diaphragm 285 of variable diameter consisting of colored tissue, which regulates the incidence of light on the light-sensitive parts of the eye 280 and gives the eye 280 its characteristic color.
  • This aperture 285 is therefore called the iris 285 (lat. Iris).
  • the iris 285 Due to the low light reflection of the lens 282, the vitreous body 21 and the retina 281, the central area of the iris 285 appears black and is called the pupil 284. The regulation of the pupil size is also unconscious for humans.
  • the eye 280 is connected to the skull via six muscles 24, some of which are parallel, some of which are oblique to one another, which allow the eye 280 to pivot and consequently change the direction of view.
  • the binocular, without eye movement 280 The visual field is approximately 170 ° horizontally and approximately 110 ° vertically. If the eyes 280 are moved, a binocular field of view of approximately 290 ° horizontally and approximately 190 ° vertically can be captured.
  • the area of sharp vision covered by the fovea centralis 286 covers only about 1 °.
  • a fictitious axis through the middle of this area is called the visual axis and corresponds to the viewing direction.
  • a rotation of the eye around the visual axis is also made possible by the muscles 24.
  • the six muscles 24 are responsible for all eye movements.
  • microtreors of the eye 280 take place, in which the eye 280 trembles slightly in order to avoid a temporary exhaustion of the chemical reactivity of the affected photoreceptor cells while the stimulus remains the same.
  • saccade movements take place, with the help of which the fovea centralis 286 is aimed at its new fixation target or is held at its previous fixation target.
  • the eye 280 is moved involuntarily with a small amplitude of up to several tens of degrees and an extremely fast angular velocity of up to several hundred degrees per second.
  • the eye reaches 280 angular speeds of just one to two hundred degrees per second.
  • a conjunctiva 26 lines the space between the eyelids 27a and 27b, the eye cavity 20 and the eyeball 280. The conjunctiva 26 merges into the inside of the lid on the one hand, and into the cornea 283 on the other hand, and represents a second protective wall against the penetration of germs and foreign bodies.
  • FIG. 3 shows a known embodiment of the interactive spectacle system or spectacles 320 as described above, in which a signal detection device in the form of a scanning eye scanner 350D is provided.
  • the left half of the image represents a top view of the head of a user 302 together with glasses 320 with the right temple part 321R, while the right half of the image shows a cross section of the glasses 320 running through the left temple part 321L.
  • the devices belonging to the interactive glasses 320 no further components of the information system 100 according to the invention are shown in FIG.
  • light rays 333a and 333b falling on the eye 380 which originate, for example, from the visual field, are sharply imaged by the lens 382 on the retina 381 as a coherent image and reflected back by it as a retinal reflex image.
  • a light beam 331 thus reflected back passes through the lens 382 again in the opposite direction, is focused via two concave mirrors 322 and 323 belonging to the mirror system of the glasses 320 and is directed onto a scanning eye scanner 350D as shown.
  • the eye scanning device 350D comprises a signal detection device 351 in the form of a photodetector 351, which detects the light beam 331 reflected back by the retina 381, and two movable flat mirrors 352H and 353V, which cause a horizontal or vertical deflection of the light beam 331 onto the photodetector 351 ,
  • the glasses 320 additionally comprise a light trap 324, which prevents light from coming in from undesired directions of incidence.
  • the mirror 323 can be realized by a mirrored inner surface of the glasses. However, the surface must have a certain shape in order to enable the entire retinal reflex image to be recorded even if the eye 380 is possibly rotated. This in turn limits the design options for the glasses 320.
  • the combination of a point-shaped detector 351 with corresponding control of the flat mirrors 352H and 352V results in serial point-by-point scanning of the retinal reflex image as a sequence of pixels.
  • the retina 381, as described in DE 196 31 414 AI and DE 197 28 890, is preferably scanned with a circular, spiral or elliptical scan pattern. This has the advantage that the flat mirrors 352 can be driven without backward movements and that a higher pixel density (number of pixels per unit area of the retina) in the area of the fovea centralis 286 can be detected.
  • a suitable synchronization process for determining the instantaneous visual axis is preferably preceded by the recording process, if this has not yet been done in a previous projection process, so that the scanning process can be carried out eye-centered.
  • FIG. 4 shows a known embodiment of the interactive glasses 420 described above, in which an output device in the form of a scanning projection device 450P is provided.
  • the left half of the image represents a top view of the head of a user 402 together with glasses 420 with the right temple part 421R, while the right half of the image shows a cross section of the glasses 420 running through the left temple part 421L. Except for the Devices belonging to interactive glasses 420 are shown in FIG. 2 no further components of the information system 100 according to the invention.
  • the scanning projection device 450P comprises a light source 453 emitting a projection light beam 432, for example a laser diode or an LED focused via a lens system, and two movable flat mirrors 454H and 454V.
  • the projection light beam 432 is directed via the movable flat mirrors 454H and 454V onto a mirror system of the glasses 420, which comprises two concave mirrors 422 and 423, which throw the projection light beam 432 onto the lens 482 of an eye 480 and finally onto the retina 481.
  • the mirror 423 can be realized by a mirrored inner surface of the glasses lens.
  • the surface must have a certain shape in order to enable a projection onto all areas of the retina 481 even if the eye 480 is possibly rotated. This in turn limits the design options for the glasses 420.
  • the glasses 420 can be equipped with a light trap 424, which prevents incidence of light from undesired directions of incidence.
  • the projection as described in DE 196 31 414 AI and DE 197 28 890, is preferably carried out using a circular, spiral or elliptical scan pattern. This has the advantage that the flat mirrors 452 can be driven without backward movements and that a higher pixel density in the area of the fovea centralis 286 can be projected onto the retina 481.
  • the degree of perception of an image projected into the eye 480 can be controlled in relation to the naturally perceived image by the brightness of the projected pixels.
  • retinal perception is a deeply complex process in which psychological effects also play a very strong role.
  • the retina 481 adjusts itself to the brightness of the light falling on it as a whole.
  • the faint glow of a clock radio clock that is not perceived in daylight can appear to illuminate an entire room in the dark.
  • the strong headlights of oncoming vehicles are hardly noticeable in daylight.
  • the brightness of an individual pixel in relation to the otherwise perceived pixels is therefore felt.
  • the Retina 481 works similarly. If the brightness of a pixel projected on an area of the retina 481 exceeds the brightness of the light otherwise falling on this area by approx. 10%, only the projected pixel is effectively perceived by this area of the retina 481 instead of the other light. Due to psychological effects, the exact value can be between 5% -10%, 10% -15% or even 15% -20% instead of 10%.
  • a suitable synchronization process for determining the current visual axis is preferably connected upstream of the projection process, if this has not yet been done in a previous scan process, so that the projection process can be carried out eye-centered.
  • Figure 5A shows an interactive goggle 520 according to a first preferred exemplary embodiment, in which a combined signal is generated.
  • Detection and projection device 550 is attached to the glasses 520 in the region of the nose bridge 522.
  • the combined signal detection and projection device 550 comprises both a projection device 553 and a signal detection device, which are accommodated together in a protective housing 558.
  • Light rays 530 enter the interior of the housing 558 and vice versa through a translucent window 559 in an outer wall of the housing 558.
  • closing the housing 558 through the window 559 prevents dust, sweat and other foreign matter from interfering with the operation of the combined signal acquisition and projection device 550.
  • the construction of the interactive glasses 520 can be simplified in that the mirrors 352 and 452, which are separate in the prior art, for vertical and horizontal deflection of the respective light beam 331 and 432 are replaced by a swash mirror 552 and 554.
  • a partially transparent mirror 556 can serve to enable separate beam paths within the housing 558 for the light 530 falling or projected through the window 559.
  • the inside of the spectacle lens is preferably provided with a surface 523 which is highly reflective for rays incident from this direction and which is used as a mirror for the beam path between the eye 580 and the combined signal detection and projection device 550.
  • the interactive glasses 520 is shown in a minimalist embodiment, in which a combined signal detection and projection device 550 is provided only for the left eye 580, it goes without saying that a mirror-inverted second combined signal detection and projection device 550 is in the area the right half of the nose bridge 522 can be provided for the right eye, not shown, if necessary.
  • FIG. 6A shows, in the form of a modification of the glasses 520 shown in FIGS. 5A and 5B, interactive glasses 620 according to a second preferred exemplary embodiment, in which the left combined signal detection and projection devices 650L in the between the left lens 624L and the left temple Part 621L area and the right combined signal detection and projection devices 650R are arranged in the area lying between the right spectacle lens 624R and the left temple part 621R.
  • Such an arrangement of the combined signal acquisition and projection devices 650L, 650R in relation to the respective spectacle lenses 624L, 624R and the respective eyes 680 is normal associated with the need either to provide a plurality of mirrors along the beam path 630 (cf. mirrors 322 and 323 in FIG. 3) or to give the respective spectacle lens 624L, 624R a special shape in order to ensure detection of all areas of the retina 681.
  • the interactive glasses 620 according to FIG. 6 provide glasses 624L, 624R, the inside of which are provided with a respective holographic coating 623L, 623R.
  • Such holographic coatings 623 are able to emulate any reflection topology.
  • a holographically coated, flat surface can act like a spherically curved surface.
  • a holographically coated, spherically curved surface can also act like a flat surface.
  • the change in the effective reflection topology depends only on the holographic content of the coating.
  • the holographic coatings 623L and 623R mirrors are formed and arranged symmetrically to one another.
  • Figure 6B contains a detailed drawing of the combined signal acquisition and projection devices 650L. Analogously to the combined signal detection and projection device 550 shown in FIG. 5B, it comprises a housing 658, a projection device 653 and a signal detection device 651, respective wobble mirrors 652 and 654, a partially transparent mirror 656 and a housing window 659.
  • FIG. 7A shows, in the form of a modification of the glasses 520 shown in FIGS. 5A and 5B, interactive glasses 720 according to a third preferred exemplary embodiment, in which the left combined signal detection and projection devices 750L in the between the left glasses glass 724L and the left bracket 721L lying area and the right combined signal detection and projection devices 750R are arranged in the area lying between the right spectacle lens 724R and the left temple part 721R.
  • Figure 7B contains a detailed drawing of the combined signal acquisition and projection devices 750L. Analogous to the combined signal detection and projection device 550 shown in FIG. 5B, it comprises a housing 758, a projection device 753 and a signal detection device 751, respective wobble mirrors 752 and 754, a partially transparent mirror 756 and a housing window 759.
  • the above-mentioned problem of the beam path 730 is solved in a space-saving manner by specially designed pads 725L and 725R.
  • glasses 720 are supported either on the nose bridge by the nose bridge 722 or by so-called pads 725.
  • pads are relatively flat, slightly curved and oval.
  • they are either pivoted or tumbling on a projection extending from the nose bridge 722 in order to ensure that the pads fit snugly against the side surfaces of the nose root.
  • the pads 725 are designed as dimensionally stable, elongated units which protrude from the glasses 720 in the direction of the eye 780 in the region of the nose bridge 722.
  • the pads 725 form the support surface which rests on the root of the nose.
  • the pads 725 In their end region opposite the glasses 720, the pads 725 have a wing on the side facing the eye, which is provided with a mirror or a reflective coating, for example a metal coating or a holographic coating.
  • the frame of the glasses 720 has a basically solid shape, both quasi-static, eg due to material fatigue and / or temperature changes, as well as dynamic deformations of the frame.
  • the relative arrangement of the glasses 720 with respect to the eye 780 is also not a constant.
  • both the optical system of the glasses 720 that is to say those system components which contribute to the optical signal detection or optical projection, and any processing system which may be connected to it, must be designed and designed in such a way that such changes in arrangement are taken into account and / or compensated for may or may not cause extraordinary malfunctions. This applies to all types of interactive glasses systems.
  • the problem mentioned above can be overcome in particular by suitable signal processing of the detected and of the signals to be generated.
  • Optical markings fixed to the spectacle frame in the vicinity of the usual beam path 730 can also be detected regularly or as required by the signal detection device 751 for the purpose of calibrating its optical system.
  • FIG. 8 shows, in the form of a modification of the glasses 520 shown in FIGS. 5A and 5B, interactive glasses according to a fourth preferred exemplary embodiment, in which the signal detection device 851 of the combined signal detection and projection devices 850 is able to record the corneal reflex image at least partially.
  • the cornea is usually rotationally symmetrical to the visual axis. Rays that fall perpendicularly onto a central area of the cornea are thus confocal to the optical system of the eye 880 and form the basis of what is actually lent perceived image.
  • the cornea 883 consists largely of water and therefore has a very high degree of reflection at a wavelength of approximately 1.1 ⁇ m. Since this wavelength is in the infrared spectral range, the corneal reflex image is primarily suitable for infrared applications, for example in night vision devices. However, reflections do not only take place on the outer, concave corneal surface, but also inside the cornea. In addition, due to its structure, the cornea 883 does not cause a mirror-like reflection but a diffuse one, which becomes more diffuse with increasing depth of the reflection event inside the cornea.
  • the spectacle lens 824 which is placed in front of the eye and whose side facing the eye 880 is provided with a surface 823 which is highly reflective for rays incident from this direction, has a specially designed shape which bundles the light reflected perpendicularly from the cornea in such a way that it as almost parallel light rays 834 fall on the signal detection device 851, while light not reflected perpendicularly from the cornea is directed in another direction.
  • the spectacle lens 824 can be designed differently, but have a partially transparent holographically reflecting layer 823, which likewise effects such a concentration of the light reflected perpendicularly from the cornea that it strikes the signal detection device 851 as almost parallel light beams 834, while not perpendicularly from light reflected from the cornea is directed in a different direction.
  • an aperture 857 is provided shortly in front of the signal detection device 851, which prevents detection of those light beams whose angle of incidence lies outside a narrow angle of incidence range such as Light rays 834 described above, running almost parallel.
  • FIG. 9 shows, in the form of a modification of the glasses 520 shown in FIGS. 5A and 5B, interactive glasses according to a fifth preferred exemplary embodiment, in which a spherical or spherically acting, partially transparent, reflective additional element 929 is arranged between the spectacle lens 924 and the eye 980.
  • the additional element 929 is preferably arranged confocal to the optical system of the eye 980.
  • the degree of reflection of such an additional element 929 can be adapted to the needs of the information system. You can choose between a high degree of reflection, which enables very good detection of light rays 933a-933c directed towards the eye 980, and a low degree of reflection, which avoids impairing the perception by the eye 980.
  • the additional element 929 preferably has a low (for example less than 10%), homogeneous degree of reflection over its entire reflection surface.
  • reflective organs of the eye 980 for example the cornea 983 or the retina 981, sometimes have very strong local reflection dependencies. Similar statements concern the spectral reflection dependencies of the additional element or the reflecting organs of the eye 980.
  • the additional element 929 can preferably be designed such that it has a homogeneous degree of reflection over all relevant spectral ranges, the different organs of the eye 980 have very different features Degrees of absorption, which in many cases are also subject to strong local fluctuations.
  • the additional element 929 should have as little effect as possible on the light falling on it.
  • the additional element 929 is preferably made of a homogeneous translucent and undyed material and with a constant thickness in the direction of the light rays directed towards the center of the eye.
  • the reflective contour of such an additional element 929 is well defined and can accordingly be made available to the information system as known information, while the contour of the relevant reflective organs of the eye 980 must first be determined. The latter can involve considerable effort in some cases.
  • the detection of light rays 933a-933c directed towards the eye 980 via such an additional element 929 can thus provide high-quality images of the field of view.
  • the side of the spectacle lens 924 facing the eye 9 is strong for rays incident from this direction reflecting surface 923, and has a specially designed shape or a specially designed coating that bundles the light rays reflected perpendicularly from the additional element in such a way that they are almost parallel light rays 934 fall on the signal detection device 951, while light rays not reflected perpendicularly by the additional element are directed in another direction. Furthermore, an aperture 957 is provided shortly in front of the signal detection device 951, which prevents detection of those light rays whose angle of incidence lies outside a narrow angle of incidence of the light rays 934 which run almost parallel, as described above.
  • the correlation between the detected light and the perceived visual field must be determined.
  • this correlation is achieved by a preferred confocal arrangement of the additional element 929 for the optical system of the eye 980. It is therefore preferred that the additional element 929 is attached to the glasses via an adjustable suspension in such a way that the position of the additional element 929 can be readjusted both in vertical and in two horizontal directions.
  • confocality is given when the additional element 929, seen optically, is arranged rotationally symmetrically to the visual axis and at a distance from the lens 982, that the optical center of the optical system of the eye with the center of the additional element acting through the spherical or spherical defined ball matches.
  • the visual axis can be adequately determined via the orientation of the pupil 984, which can be easily recognized by its sharp contours, and the orientation of which can be determined easily due to its round shape.
  • no pivoting of the additional element 929 about the possible pivot axes of the eye 980 is necessary to ensure confocality.
  • the additional element 929 Because even when the eye is twisted by a corresponding vertical and / or horizontal Displacement of the additional element 929 at least a substantial part of the additional element 929, optically seen, rotationally symmetrical to the visual axis.
  • the distance to the lens 982 there are various ways of determining the necessary distance. For example, an optical or acoustic measurement of the cornea 983 can be carried out, the curvature of which gives a very good guide value for the correct arrangement of the additional element 929.
  • Retinal or corneal reflex images can also be acquired at least partially, and the correct distance can be determined on the basis of a comparison of the reflex images with the light acquired via the additional element 929.
  • FIG. 10 shows a top view (FIG. 10A) and a front view (FIG. 10B) of a pair of glasses 1020 according to a sixth exemplary embodiment, in which two sensor devices 1061R and 1061L, for example two solid-state cameras, for example CCD or TTL cameras, for the purpose further signal detection, in particular from the visible field of view, are provided.
  • FIG. 10B also shows the left and right eyes 1080L and 1080R of a possible wearer 1002 of the glasses 1020. However, for the sake of clarity, no other features of the user 1002 are shown in FIG. 10B.
  • the cameras 1061 should be arranged as axially as possible with respect to their "visual axes".
  • the cameras 1061 it has proven expedient in the current state of the art to arrange the cameras 1061 in the front area of the respective bracket parts 1021L, 1021R as shown. Installation in the area of the nose bridge 1022, for example in the pads 1025, also makes sense.
  • the solid-state cameras 1061 can be arranged in the spectacle frame above the respective spectacle lenses 1024L, 1024R in order to achieve a further axis alignment.
  • solid-state or other types of light detection systems can be installed in the eyeglass lens 1024 in the future, which can of course also be a plastic or other translucent material.
  • Such an arrangement of the cameras 1061 would enable an almost confocal signal acquisition with the respective eye 1080L, 1080R.
  • the information obtained from the sensor devices 1061 should possibly be correlated with the eyes 1080.
  • Such a correlation is particularly important if the sensor devices 1061 are real ized by cameras 1061 and an overlay image is to be projected into the respective eye 1080L, 1080R on the basis of image information obtained from the cameras 1061.
  • parallax occurs, in which the “field of view” of the respective camera 1061L, 1061R does not match the naturally perceived field of view.
  • the parallax would lead to an abnormal perception, especially if the eyes were rotated 1080 from the rest position or if there were objects in the near field of view. Because in such cases ge the visual axis of the eye 1080 obliquely to the "visual axis" of the respective camera 1061L, 1061R.
  • the signal detection device 1051 detects an at least partial reflection image of the field of view from the respective eye 1080L, 1080R. Characteristic pixels that can be found both in the captured reflex image and in the images captured by the cameras 1061 then serve as reference points for a perspective-correct projection of the image information captured by the cameras 1061 onto the eye 1080. Similarly, those captured from the eye 1080 can be used Signals serve to determine the viewing direction of the respective eye 1080L, 1080R with respect to the coordinate system of the glasses 1020 in order to carry out a mathematically based correlation from this angle.
  • a correlation also makes sense in system applications in which the eyes 1080 are prevented from perceiving the visual field.
  • This is the case, for example, when using closed, so-called “virtual reality” glasses 1020 (as shown, but with opaque glasses 1024) in which only an artificially generated image is presented to the eyes 1080.
  • the correlation discussed could consist, for example, in that the viewing direction of the eye 1080 is detected as described above and that a virtually generated image corresponding to the orientation of the respective eye 1080L, 1080R is projected into it.
  • the glasses 1020 serve as the coordinate system here.
  • a correlation can be established between the respective eye 1080L, 1080R and the surroundings.
  • a system could be for example in a virtual adventure house, similar to a haunted house.
  • anyone who is currently on a running track could be projected with a virtual image that gives them the feeling that they are walking on floating tree trunks in the middle of a wild river.
  • the information system according to the invention comprises means which make it possible to provide a binocular function.
  • FIGS. HA and 11B illustrate the perceptible effect of the binocular function on a user.
  • FIG. HA shows the naturally perceived field of view 1190 of a user of an information system designed according to the seventh exemplary embodiment.
  • the field of view 1190 includes approximately 170 ° horizontally and approximately 110 ° vertically of the surroundings, only a small area 1191 of a few degrees around the visual axis forms the area of the sharpest vision 1191.
  • the information system can be designed in such a way that this area 1191 is optically enlarged, for example at the push of a button after appropriate processing of the detected image points by means of an evaluation device included in the information device the area of sharpest vision is projected 1191.
  • the level of perception of a person projected image in relation to the naturally perceived image can be controlled by the brightness of the projected pixels. If the field of view light is detected, for example, as a reflex image from the eye, a spatial or temporal separation of the detection and the projection ensures that the projection does not influence the detection.
  • the information system can determine the visual axis or the position of the fovea centralis relative to the optical system of the glasses by detecting signals from the eye, the information system is able to avoid this disadvantage of standard binoculars.
  • the projection can be carried out in a manner as shown in FIG. 11B, in which only a small area 1191, which lies in the natural field of view immediately around the visual axis, is projected enlarged onto the fovea centralis, while no projected image information is superimposed on the rest of the field of view , Thus, the scene perceived peripherally by the user remains the same despite the telescopic presentation of the most relevant area of the visual field.
  • the brightness of the image information projected into the eye must of course be selected so that the desired perceptual relationship between the natural and the projected image is created.
  • This system also has the advantage that the effort required for enlarging the image processing is kept within limits, because only a selected image area 1191 of the field of view 1190 is processed.
  • a magnified image is projected into the eye in such a way that the projected image is enlarged more in an annular border area between the area of the sharpest vision 1191 and the remaining area of the retina with increasing proximity to the visual axis.
  • the outer edge is not enlarged at all and the inner edge is enlarged with the same "zoom factor" as the enlarged image projected into the inside of the ring, ie onto the fovea centralis. With a correspondingly selected brightness of the projected image information, there is a smooth transition between the peripheral scene and the telescopically seen.
  • FIGS. 11C and HD show schematically how an enlargement of the image naturally falling on the fovea centralis can be achieved by changing a scanning pattern 1138, 1139 when scanning a reflex image.
  • projection patterns 1137 and scanning patterns 1138, 1139 are shown in a common plane in FIGS. 11C and HD for the sake of explanation, it may be the case in the information system according to the invention that the retina is projected while the scanning, for example, from the cornea he follows.
  • Figure 11C schematically illustrates a typical scan pattern 1138 that scans the corneal or retinal area 1189 reflecting the field of view.
  • the scanning pattern 1138 thus coincides with the projection pattern 1137 despite possible spatial or temporal separation of the scanning and projection beams.
  • the scanning can be carried out according to a modified scanning pattern 1139 which is shown in in a central area with an increase in the density of the scanned image points. If these image points recorded with increased densities are correspondingly projected in the projection, but are projected back with lower densities, this results in an enlarged image.
  • the information system represents a guidance system.
  • the information device of the information system comprises position sensors, for example acceleration measuring devices or GPS receivers, and a database or database connection which provides orientation data.
  • a database can be implemented, for example, via a CD-ROM carrying the data, a DVD or another exchangeable storage medium in connection with a corresponding reading device.
  • Methods and devices for obtaining location information for example determining the location or making it possible to determine it, by combining such orientation data with data obtained from the position sensors are known.
  • the orientation data comprise map information which is used in connection with signals provided by the position sensors for determining the location. Establishing a correlation or a dependency, for example, in the acquisition or display of such location information between signals detected from the eye or light detected from the visual field and the provision of the information, however, far exceeds the technical nature.
  • FIGS. 12A to 12E show the perceived visual field 1290 of a user of an information system designed according to the eighth exemplary embodiment.
  • the detected field of view light is, in view of the location information obtained, by means of a pattern recognition, taking into account those for the determined location Available data evaluated.
  • Orientation indications to be expected for the determined location such as striking buildings, side streets, or the like, are recognized so that, for example, visual or acoustic guidance or identification can take place, if necessary.
  • the guidance system is used for navigation.
  • the next street on the right is to be turned.
  • This street is recognized on the basis of the detected field of view light by means of a pattern recognition, whereupon an arrow pointing towards the street is projected into the field of view in accordance with the location, taking into account the viewing direction determined by the system.
  • the guidance system could provide the road user with acoustic messages, for example "turn right after 50m" or "now right".
  • the guidance system is used for information.
  • information about his immediate environment can optionally be made available to a user.
  • a tourist using the information system looks at a striking building and actuates an activation button that is physically present or virtually displayed in the visual field.
  • the building is then determined on the basis of the determined location and a pattern recognition based on the detected field of view light or an electronic compass determining the head direction, whereupon information about the building is made available.
  • These can come from a database or other information source and can be selected, for example, interactively using a context-sensitive menu that visually or acoustically lists the information available for the respective building.
  • the selection could be via voice control or via a fi xation done with the eyes. More on eye-controlled menu navigation is explained in a later section of this description.
  • FIG. 12B historical data are faded into the visual field by projection.
  • the system uses the visual field light to determine a suitable fade-in point, for example in front of a monotonous roof or against the sky.
  • the data is displayed in accordance with the insertion point.
  • the fovea centralis will initially not be directed at the fade-in point, which is why the faded-in data is initially perceived as a fuzzy peripheral phenomenon.
  • Only by correspondingly swiveling the viewing direction according to FIG. 12C is the stationary data displayed on the fovea centralis. If the view is directed to another building recognized by the system, the information displayed can change according to FIGS. 12D and 12E.
  • the circle 1290 represents the perceived visual field, while the circle 1291 identifies the area of the visual field covered by the fovea centralis.
  • such an orientation system could be carried by a pedestrian, a cyclist, a motorcyclist or another vehicle driver.
  • the information system according to the invention functions as a driving aid.
  • the figures show the perceived field of view 1390 of a user of such a system.
  • the information device of the information system preferably comprises a distance sensor, for example an optical or acoustic distance measuring device or a radar device, or is connected to a corresponding distance measuring system that determines the distance between a vehicle and objects in front of the vehicle in the direction of travel.
  • a distance sensor for example an optical or acoustic distance measuring device or a radar device
  • the distance could be determined by means of a paralax calculation, in which the change in the position of the object in a respective image captured on the left and right provides information about the distance.
  • a warning sign 1395 in the area of sharpest vision 1391 and a warning circle 1394 around the dangerous object can be used, for example, by means of an as described above Projection. If the object is outside or on the edge of the area of peripheral vision, another warning sign 1395a can indicate where the danger is. This is shown in Figure 13A.
  • a warning sign 1395 can be displayed in the area of the keenest vision 1391. This is shown in Figure 13B.
  • the advantage of displaying the warning sign 1395 in the area of the sharpest vision 1391 is that the sign 1395 appears where the eye is looking, and therefore does not lead the eye to look away from the present scene. For this reason, the brightness should be faded in Characters are chosen so that the characters appear translucent. The danger can also be indicated acoustically.
  • FIGS. 14A and 14B show an information system according to the invention in accordance with a tenth exemplary embodiment, which illustrates the possibilities of a complex, versatile information system.
  • the information system shown has a mobile fire control center 1410, which includes a control panel 1412, and a plurality of helmet systems 1411.
  • Each of the helmet systems 1411 includes a signal detection device as described above and a field of view detection device.
  • Each of the helmet systems 1411 can optionally be equipped with a projection device, infrared sensors and / or position sensors. They can also be equipped with additional sensors that, for example, enable air quality to be determined.
  • each of the helmets 1411 at - equipped playing with a radio communication system that communicates with the control center 1410 or the control console 1412 and the accepts through its sending and receiving information on both tasks of an information apparatus and tasks of an output device.
  • the visual field images captured by the respective helmets 1411 which can be matched to the actually perceived visual field of the respective firefighter on the basis of the signals acquired from the eyes, are transmitted to the control console 1412 and displayed there on monitors.
  • operators of the control console 1412 could also wear a projecting spectacle system, so that only the image data falling on the area of the fovea centralis of the operator must be transmitted or recorded in high resolution.
  • a correlated visual field image of a single firefighter or a mosaic of several images could also be projected into it. The operator could see exactly what the firefighter sees, or an image that changes depending on his own eye movements could be made available to the firefighter.
  • additional information could be woven into the projected image for the operator and / or the fireman.
  • orientation or temperature information obtained by the position sensors or infrared sensors could be blended into the visual field.
  • the constant display of certain cardinal points, such as north and west, as well as elevations, would be a helpful reference for both the operator, who is distant from what is happening, and the fireman, who is covered by smoke and smoke.
  • FIG. 15 shows an information system according to the invention in accordance with an eleventh exemplary embodiment, in which the information system is used to operate an external system, for example a remote-controlled robot 1570 designed to move dangerous objects.
  • the robot 1570 movable on wheels includes a chamber device 1571 and a gripper arm 1572.
  • the robot 1570 is connected, for example, via a radio link to an eyeglass system 1520 worn by a user 1502.
  • the images recorded monoscopically or stereoscopically via the camera device 1571 could be monoscopically or stereoscopically projected onto the retina of the user 1502 using a projection device comprised by the glasses system 1520. With stereoscopic projection, spatial vision would be guaranteed.
  • the field of view seen by the user 1502 can be selected by selecting an image section from the image provided by the camera device 1571, as described above , depending on the detected eye movements of the user 1502 are kept in correlation with the distant image. Otherwise, the camera device 1571 could be swiveled in correlation with the eye movements.
  • the movements of the head of the user 1502 can also be detected via position sensors in such a way that the camera device 1571 pivots in correlation with the head movements.
  • a microphone in particular a directional microphone that is oriented as a function of the head position or the viewing direction
  • a further sensory dimension can be realized.
  • a manually operated control stick 1525 is connected to the spectacle system 1520, for example via a cable 1526. In this way, for example, the gripper arm 1572 or the direction of travel of the robot 1570 could be controlled in several directions.
  • FIG. 16 schematically shows an information system according to the invention in accordance with a twelfth exemplary embodiment, in which an eyeglass system 1620 functions as a universal remote control for one or more devices, for example a computer, a video recorder 1676, a printer 1677, a slide projector and / or a telephone 1679 ,
  • an eyeglass system 1620 functions as a universal remote control for one or more devices, for example a computer, a video recorder 1676, a printer 1677, a slide projector and / or a telephone 1679 ,
  • the glasses system 1620 provides a two-way interface between a user 1602 and the device 1675-1679 to be operated.
  • the identity of the targeted device 1675-1679 can be determined either with or without the help of the device 1675-1679. In the following it is assumed that both the device 1675-1679 and the glasses 1620 are equipped with the signal reception or transmission device necessary for the described processes.
  • this device 1675-1679 either emits an identification signal at more or less regular intervals, for example an infrared or ultrasound signal, or it is emitted by one of the glasses 1620 broadcast request signal prompted to broadcast an identification signal.
  • the request signal must be broadcast locally in the direction of the gaze in order to prevent other devices from responding.
  • the one broadcast by the device 1675-1679 Identification signal is recognized by the glasses, from which the identity of the device is deduced.
  • the glasses 1620 in cooperation with a database or other information source 1640, which contains pattern recognition data for the respective addressable devices 1675-1679, perform a pattern recognition of the targeted area of the visual field.
  • a menu adapted to the possible functions of the device is faded into the field of view of the user 1602, possibly at the touch of a button or with a wink.
  • the corresponding information from a database or another information source 1640 is first brought to the knowledge, for example by standardized query of the device itself. Identification of the device embedded in the query signal can ensure that only the desired device responds to the query. Because the menu is superimposed on the field of view, the user 1602 can operate the hierarchical menu, if necessary, by slight eye movements like a computer menu.
  • a signal corresponding to the function is sent from the glasses 1620 to the device 1675-1679. Identification of the device embedded in the signal can ensure that only the desired device responds to the signal.
  • FIG. 17 shows an optical system according to a thirteenth exemplary embodiment, in which a tilting mirror 1755 enables switching between an image from the visual field and an image from the eye 1780 or a projection onto the retina 1781.
  • the advantage of this optical system is that the same swash mirrors 1754H and 1754V can be used for a picture from the visual field and for a projection onto the retina 1781, and that the beam path for a picture from the visual field and the beam path for a picture from the eye 1780 or a projection onto the retina 1781 are accordingly largely identical.
  • the optical system thus already achieves a high correlation between the light detected from the visual field and the signals detected from the eye or a high correlation between the light detected from the visual field and the image projected onto the retina. This means that no additional correlation errors are attempted by the fact that the beam paths discussed run over different wobble mirrors, which could have different rotation characteristics.
  • the same light detection device 1751 can even be used for light detection from the visual field and light detection from the eye. The correlation can only be negatively influenced by the reflection on the spectacle lens 1724 and the optical system of the eye 1780.
  • the information system according to the invention is designed in such a way that the provision of information comprises a projection of image information into the eye, various visually related media, for example electronic books or newspapers, television or video games, can be realized by the information system.
  • the information system according to the invention is implemented, for example, as described above, in the form of portable glasses, which are connected via a cable, infrared or radio link, for example to an information network, a portable storage device, for example a CD-ROM or DVD reader, or a other source of information can be connected.
  • an advantage of such an embodiment of the information system according to the invention is that its detection of signals from the eye in connection with its detection of the visual field enables a projection in which the projected text or the projected images appear to be fixed in space.
  • the information device comprises an evaluation device which determines the correlation of the visual axis to the field of view and which controls the projection accordingly, so that the information projected onto the eye appears to be immovable vis-à-vis the field of view despite movements of the eye.
  • the determination of the correlation of the visual axis to the surroundings can also be supported by position sensors mounted in the glasses.
  • the virtual location of the fixation can be determined, for example, by means of a fixation with the eyes in connection with a wink or a keystroke, or also automatically, for example by means of an image-processing evaluation of the field of vision, which determines an area of the field of vision that is as low in content as possible.
  • the disruptive effect of the natural field of view which is not necessarily covered by the projection of the information, could be reduced by a color-complementary “wiping out”, in which complementary-colored image points are determined on the basis of the light detected from the field of view, the correlated projection of which on the respectively assigned areas of the Retina makes the natural background appear white by adding color. If a black background is desired, the perceived overall brightness of the projection must exceed the perceived overall brightness of the natural visual field by approximately 10% to 20%, so that even the brightest points of the natural visual field are perceived as black.
  • image information representing virtual control buttons could be projected into the eye in such a way that they also appear fixed in the visual field in the vicinity of the text or image.
  • the virtual information medium could be remotely operated by targeting the corresponding control button with the fovea centralis plus pressing a button or winking, i.e. Turning, fast-forwarding, rewinding, etc.
  • access to dictionaries, databases, etc. be made possible by targeting words or parts of pictures.
  • the information system could also be operated, for example, by means of a menu guidance, in which operating menus “jump open” when viewing certain image areas, in order to enable eye-controlled selection from the hierarchical menu, if any.
  • Another advantage of such an embodiment of the information system according to the invention is that the amount of data required for a sufficient instantaneous display is far less than the amount of data that would be necessary for high-resolution display of the entire field of view. This is due to the fact that the information system knows the area of sharpest vision. Thus, only those parts of the project tion with high resolution that affect the area of the fovea centralis. A projection with a low pixel density is sufficient on other areas of the retina. Accordingly, the amount of data required for a current display is reduced, which brings clear system advantages. In particular, the perceived size of the projected image can be chosen as desired without the result that large amounts of data cannot be processed to present the current image.
  • the current visual axis determines the image section.
  • the projection takes place in such a way that the current image section fills the entire active area of the retina. Additional sections of the image can be brought into the field of vision by moving the eyes. If the projected image is smaller than the visual field, then only a limited part of the retina has to be projected. If the natural background of the visual field is not hidden, it changes with eye movements. Particularly in the case of television or cinema-like information displays, a projection that fills the visual field is preferred.
  • the projection can be carried out stereoscopically, with each eye being fed a picture which is so slightly different that the brain believes it is able to perceive a three-dimensional overall picture.
  • an optimal system-human interface could be realized, for example, for 3D television, 3D video games, 3D CAD applications or other, in particular interactive, 3D applications.
  • the information system preferably comprises further operating elements, for example a control stick, pedal or steering wheel, which enables navigation or a change of perspective within the displayed virtual image or any other influence on the information presentation or a system connected to the information system.
  • the eye itself can also act as a control element. With appropriate application of the measures required above for the positioning of an electronic newspaper at a virtual location, it is equally possible for the wearer of the information system according to the invention to play other orientation aids on the retina, such as an artificial horizon.
  • the information system according to the invention is eminently suitable for configuration as an ophthalmic system.
  • the information system according to the invention can be implemented as a positioning system for ophthalmic surgery, in particular for ophthalmic laser surgery.
  • the information system according to the invention is also used, for example, as an ophthalmic diagnostic system, visual aid system and / or visual defect correction system.
  • the therapeutic system can be connected to the information system according to the invention for the purpose of exchanging information in such a way that information Mations with regard to the instantaneous position of the eye are made available to the therapeutic system, so that precise, automated therapy of the eye can also take place when the eyes are moving.
  • a therapeutic laser beam is directed over the optical system of the information system according to the invention.
  • Laser treatment of the eye, in particular the retina can thus be carried out in the same way as a projection described above.
  • pathological veins of the choroid can be obliterated by injecting or ingesting a photosensitive agent and by irradiating pathological areas of the choroid with pinpoint accuracy for several tens of seconds.
  • Such therapy can be carried out precisely using the information system according to the invention.
  • the output device of the information system comprises a projection device that projects vision-improving image information onto the retina.
  • the information device will include an evaluation device which determines the vision-improving image information on the basis of the light detected from the visual field.
  • the view-improving image information is preferably projected onto the retina in correlation with the signals detected from the eye in such a way that the naturally perceived field of view and the projected image information are perceived as a uniform image. In extreme cases, the vision-improving image information is projected onto the retina in such a way that the otherwise naturally perceived visual field is not perceived by the eye at all.
  • the degree of perception of an image thus projected in relation to the naturally perceived image can be controlled by the brightness of the projected image points.
  • Such an information system can be used, for example, to correct vision defects for short-sighted or far-sighted people and those with poor color vision.
  • the information system can be set to a (quasi -) fixed correction, enable a changeable correction, or adapt dynamically to the visual defect.
  • the correction is carried out via an optionally adjustable optical focusing system within the projection device or by means of image processing measures. The latter can be achieved with less system effort.
  • a realization with a dynamic, automatic correction of the natural imaging error includes, in addition to the correlation described above, a further dependence on the signals detected by the eye.
  • a retinal reflex image is recorded, which provides information about the sharpness of the image imaged on the retina by comparison with the light detected from the visual field and / or by an image processing evaluation. Accordingly, the light captured from the visual field is processed into vision-enhancing image information and projected onto the retina. By outputting the correction value determined in this way, the information system can function as a diagnostic system.
  • the information system By detecting signals reflected back from the eye and light originating from the visual field, the information system according to the invention is able to provide information about many ophthalmologically relevant properties of the eye by means of an appropriately programmed evaluation device. For example, squint angles, primary positions (PP), visual field determinations with colors, smoldering value tests, standardized test procedures for glaucoma diagnosis, tests of retinal functions (e.g. ERG and VEP) can also be carried out at selected locations and perform or determine against the receptive fields.
  • the person skilled in the art selects the signals to be recorded for this purpose from the eye, the visual field stimuli required for this and the processing algorithms required for this, based on his specialist knowledge and in consideration of the invention described above.
  • the visual acuity can be determined by an evaluation of signals reflected back from the eye and then corrected
  • the correction of some other visual defects requires a system-independent determination of the defect, for example by an ophthalmologist.
  • a suitable setting of the correction made by the information system can be carried out recursively or simply.
  • a correction according to the previous setting is made by the information system while the eyesight of the defective person is tested.
  • a new setting of the information system is selected based on the results of the tests. This process is carried out repeatedly until the visual defect has been sufficiently compensated. In this sense, the information system nevertheless functions as a diagnostic system; because the best correcting final setting can be used to determine the visual defect.
  • the eyesight of the defective person is tested without any compensation.
  • a suitable setting of the information system is selected, which, in later use, then processes the light captured from the visual field into vision-improving image information according to this setting and projects it onto the retina.
  • processing according to the setting, ie the original visual defect, for example certain spectral components or certain areas of the Field of view highlighted or changed by other image processing measures.
  • a visual aid can be implemented by the information system according to the invention in that the light detected from the visual field, for example by means of highly light-sensitive photodetectors, is projected onto the retina in a greatly increased manner.
  • the cones can be excited in such a way that predominantly colored, photopic vision takes place instead of scotopic vision.
  • the maximum permitted brightness of the individual projected image points is also limited to a predetermined threshold value in order to avoid dazzling from brightly illuminated objects such as street lamps and oncoming cars. Such a system is therefore also suitable as an anti-blend system.
  • the information device also includes an infrared sensor that detects infrared light from the field of view, additional monochrome image information relating to the field of view at night or in fog can be obtained, which can be transformed into the visible spectral range, by means of which the detection device and the field of view can be used Evaluation device obtained to evaluate image information.
  • the information system according to the invention can also be suitable for improving vision.
  • image information whose brightness has been adjusted can be projected into the eye in order to enable improved vision.
  • Helmets The integration of the information system according to the invention in a firefighter's helmet was explained above. Similar configurations, for example as soldiers, drivers, crane drivers, athletes or pilots helmets or glasses, are also conceivable.
  • the information device of the information system preferably comprises sensors and / or radio receivers that enable a real perception of the environment and / or the reception of information from a command center.
  • the output device will provide information preferably visual, audible or tactile, for example in the form of short electrical stimulation currents on the skin. The latter could be used to immediately inform a soldier of the direction of a foreign object to be moved from behind.
  • the information system would also detect infrared light from the field of view in addition to the detection of visible light from the visual field.
  • image information can be obtained from such detected infrared light and used in the upgrading of image information to be projected into the eye.
  • the helmet could project position information or orientation aids onto the retina.
  • the projection of such information into the eye is preferably similar to the projection of an electronic newspaper. This means that a distraction of the soldier is avoided by the fact that the image of the information appears to be fixed in space or vis-à-vis a neutral position of the eye. Adaptation of the image information to the background perceived behind it for the best possible result Readability takes place through an evaluation device belonging to the information device.
  • the information device comprises one or more cameras which record images from outside the field of vision.
  • the image information obtained in this way is then projected onto the retina via a projection device.
  • the additional image projected onto the visual field image could, for example, be projected as an image in the image as a small image in the corner of the natural or projected visual field image or appear as a longitudinal stripe at the bottom.
  • the detection of signals from the eye together with the detection of the visual field serves to keep the projected images in correlation with the movements of the eye.
  • the information system according to the invention could include additional sensors, with the aid of which distance or weight information can be determined in order to be projected into the visual field.
  • Such information can be made audible or visual, for example, when the load is viewed in combination with a button click.
  • the light determined from the visual field serves as the basis for image recognition, while the signals from the eye, as described above, enable the detected visual field to be correlated with the visual axis.
  • the information system according to the invention could make a lot of different information available to a pilot.
  • relevant data such as flight altitude, speed or direction of flight or an artificial horizon could be faded into the pilot's field of vision as described.
  • landing aid information could also be displayed, which represent a virtual landing corridor, or specify altitude or direction correction values.
  • friend / enemy and target help information can be provided to the pilot.
  • the pilot's line of sight plays a role both in the spatial overlay of the information and in the selection of information. The pilot wants a missile that he is sighting to be identified. If the identification is visual, he wants the overlay not to cover any relevant areas of his field of vision.
  • the information system according to the invention can also function as a subsystem for the information system of the aircraft and provide it with information.
  • information about where the pilot is looking could be supplied by the information system according to the invention to the aircraft information system and could contribute to target acquisition there.
  • the information system could locate enemy radar positions via sensors and display their position with the associated terrain in three dimensions.
  • Various information could be made available to athletes by the information system according to the invention, as in the previous examples.
  • an information system according to the invention carried by an athlete can function as a subsystem of a sports device or a vehicle.
  • a visible perception can be achieved by embodiments of the information system according to the invention, in which the information device comprises one or more sensors, for example magnetic field detectors, pressure sensors, thermometers, spectral sensors, optical or acoustic interference measuring devices.
  • the information device comprises one or more sensors, for example magnetic field detectors, pressure sensors, thermometers, spectral sensors, optical or acoustic interference measuring devices.
  • the representation corresponds to the needs of a sighted person.
  • the information system according to the invention can appear as a component, in particular as a presentation device, of a complex measuring device.
  • An example of such a system is an eyeglass system equipped with sensitive magnetic sensors, which is able to locate current-carrying or metallic objects in relation to the eyeglasses. If such localized objects are color-coded in the natural field of view using a projection as described above, then water or power lines running under plaster, for example, could be found very easily. the. A fitter wearing such a spectacle system would see the course of the lines, so to speak, "brushed on the wall".
  • a two- or three-dimensional array or other one-dimensional or multi-dimensional distribution of the sensors is selected, very complex vector fields or gradient profiles can also be made visible to an observer via the associated object or arrangement.
  • an arrangement of pressure sensors around a test object in a wind tunnel could provide pressure information which the information system according to the invention processes as described above and projects into the eyes of a viewer who is observing the test object through a window so that he can see it through the test object the resulting pressure gradients can be seen by means of the corresponding colored marking of the pressure values where they exist.
  • a welder could be shown temperature information obtained by means of an infrared camera in his field of vision in such a way that the local surface temperature along the processed objects is recognizable.
  • spectral sensors can be used to provide a user with information about exact color values or material compositions. Here it also makes sense to present the determined information audibly, depending on where the user is looking.
  • a database and pattern recognition such a system could, for example, be used to at least approximately identify fungi or plants by the user looking at certain parts of the fungus or plant when prompted by the system or by using the sensors.
  • Information system mi t - a signal detection device that detects back-reflected signals from at least one eye having a retina; an information device of an output device which provides information in cooperation with the information device and in dependence on the detected signals, the signal detection device comprising a scanning scanning device which makes at least partial detection of a retinal reflex image of the retina, and the provision of the information does not project from Includes information on the retina.
  • the information device comprises an evaluation device which obtains image information relating to the visual field from the detected light; and the output device comprises a projection device that projects the image information onto the retina in correlation with the detected signals such that a naturally perceived one
  • Field of view and the projected image information are perceived by the retina as a uniform image.
  • the signal detection device comprises a scanning device which records an at least partial detection of the retinal reflex image in a first scanning operation and undertakes a less extensive detection of the retinal reflex image in a later scanning operation.
  • the visual field detection device has a spherical or spherical reflection layer that deflects part of the light directed onto the eye into a sensor device for detection.
  • Information system according to one of the preceding points wherein the signal detection device and the visual field detection device are designed as a portable unit.
  • the output device providing the information in a tactile, visual, audible, smellable and / or flavored manner.
  • the information device being a database, a sensor system, an information network connection and / or an evaluation device.
  • Information system according to one of the preceding points, the information system being carried out in a portable form.
  • a method of providing information comprising the steps:
  • the signal detection comprises a scanning scan, whereby an at least partial retinal reflex image of the retina is obtained, and the making available of the information does not include any projection of information onto the retina
  • Projection of the image information onto the retina in correlation with the detected signals in such a way that the naturally perceived visual field and the projected image information are perceived by the retina as a uniform image.
  • the signal detection comprises scanning processes, wherein in a first scanning process an at least partial detection of the retinal reflex image takes place and in a later scanning process a less extensive detection of the retinal reflex image is carried out.
  • the information device is a database, a sensor system, an information network connection and / or an evaluation device.
  • Device according to item 26 for transferring optical information onto the human retina using a serial scanning and projection system with a predetermined movement pattern of the scanning and projection beam thereby indicates that the movement patterns (1502a, 1502b) of the scanning and projection beams are offset from one another.
  • Retina using a sample electro-retinogram (ERG) and a correlation device with which an image played on the retina can be brought into correlation with the actually determined ERG.
  • ERG electro-retinogram
  • VEP Visual Enabling for Precision Surgery
  • SLO Scanning Laser Ophthalmoloskop

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Die Erfindung betrifft ein Informationssystem mit - einer Signalerfassungsvorrichtung (350 d), die von mindestens einem eine Netzhaut (380) aufweisende Auge zurückreflektierte Signale erfasst; - einer Informationsvorrichtung - einer Ausgabevorrichtung, die Informationen in Zusammenarbeit mit der Informationsvorrichtung und in Abhängigkeit von den erfassten Signalen zur Verfügung stellt, wobei - die Signalerfassungsvorrichtung eine scannende Abtastvorrichtung umfasst, die eine mindestens partielle Erfassung eines Netzhautreflexbildes der Netzhaut vornimmt, und - das Zurverfügungstellen der Informationen keine Projektion von Informationen auf die Netzhaut umfasst.

Description

INFORMATIONSSYSTEM
Beschreibung
Gebiet der Erfindung
Die Erfindung betrifft ein Informationssystem auf der Basis einer Gesichtsfelderfassungsvorrichtung, die sichtbares Licht aus dem natürlich wahrgenommenen Gesichtsfeld eines Auges erfaßt, und ein entsprechendes Verfahren zum Zurverfügungstellen von Informationen.
Verwandte Anmeldungen
Aus den deutschen Offenlegungsschriften DE 196 31 414 AI und DE 197 28 890 sind optische Vorrichtungen bekannt, die eine Aufnahme des Netzhautreflexbildes und eine Überlagerung von Zusatzbildern im Auge ermöglichen. In zwei deutschen Patentanmeldungen, deren Einreichungstag und Anmelder mit dem dieser Anmeldung übereinstim- men, werden sowohl Weitergestaltungen dieser optischen Vorrichtungen als auch Systeme beschreiben, die diese Vorrichtungen ergänzen oder gar ersetzen. Insbesondere werden darin die Justierung der obengenannten optischen Vorrichtung sowie ein System beschrieben, das auf neue Art und Weise auch in der Lage ist, Bilder auf ein Auge zu Proji zieren. Letzteres System basiert auf einer Projektion eines Bildes auf die Netzhaut des Auges, die gleichzeitig, jedoch nacheilend zu einer scanartigen Erfassung des Netzhautreflexbildes erfolgt.
Da die in den obengenannten Anmeldungen beschriebenen Vorrichtungen und Systeme bevorzugt in Form einer Brille ausgestaltet sind, werden sie nachfolgend der Einfachheit halber auch als Brillensy- stem bezeichnet. Diese Bezeichnung impliziert keine E nschränkung. Selbstverständlich sind auch andere Ausführungsformen solcher Vor- richtungen und Systeme in den unten beschriebenen Zusammenhängen anstelle des "Brillensyste s" gleichfalls anwendbar. In der DE 196 31 414 AI werden zahlreichen Anwendungsmöglichkeiten des darin offenbarten Brillensystems angesprochen, ohne daß diese genauer beschrieben werden konnten. Ein Miterfinder des ursprüng- liehen Brillensystems hat jetzt in Zusammenarbeit mit einem Forschungsteam die Anwendungsmöglichkeiten der oben erwähnten Brillensysteme genauer untersucht . Aus Überlegungen der wirtschaftlichen Implementierbarkeit sind Weiterbildungen und Abänderungen der bisher offenbarten Brillensysteme entstanden, die im Rahmen dieser und zwei weiterer Patentanmeldungen desselben Einreichungstags und desselben Anmelders angemeldet werden. Zu den vom Forscherteam entwickelten Systemmerkmale, die in vielen der beschriebenen Ausführungsformen wiederkehren, gehören, daß das System: ein Hornhautreflexbild des Auge mindest teilweise erfaßt; - ein Teil des auf das Auge einfallenden Lichtes mittels einer sphärischen oder sphärisch wirkenden Reflektionsschicht in eine Sensorvorrichtung lenkt; das Netzhautbild über den Oxidierungsgrad der Netzhautzäpfen und/oder der Netzhautstäbchen ermittelt; - lediglich eine partielle Erfassung eines Netzhautreflexbildes vornimmt; und/oder eine Gesichtsfelderfassungsvorrichtung umfaßt, die sichtbares Licht aus dem natürlich wahrgenommenen Gesichtsfeld erfaßt, ohne ein Netzhautreflexbild zu erfassen.
Zwecks Verfahrensökonomie wurde der Inhalt dieser drei Patentanmeldungen nicht nach diesen Systemmerkmalen aufgeteilt. Stattdessen betrifft jede dieser drei Anmeldungen ein jeweiliges, zusammenfassendes Grundkonzept. Diese sind: - die Ausführung des Brillensystems als Informationssystem, das Informationen in Abhängigkeit von einem natürlich wahrgenommenen Gesichtsfeld eines Menschen zur Verfügung stellt; die Ausführung des Brillensystems als Informationssystem, das Informationen in Abhängigkeit von aus einem Auge erfaßten Si- gnale zur Verfügung stellt, diese jedoch nicht in das Auge proji- ziert, aus dem die Signale erfaßt worden sind; und die Ausführung des Brillensystems als Informationssystem, das Informationen in Abhängigkeit von aus einem Auge erfaßten Si- gnale zur Verfügung stellt, wobei die Informationen zumindest teilweise in das Auge proji ziert, die Signale jedoch nicht in der aus der DE 19631414 AI bekannten Weise erfaßt werden.
Es sei zu erwähnen, daß viele Anwendungen der konzipierten Bril- lensysteme auf einer Kombination mehrerer der obengenannten Grundkonzepte basieren, wodurch eine natürliche Verflechtung der zugehörigen drei Anmeldungen entsteht. Dementsprechend besteht eine gewisse Redundanz zwischen diesen drei Anmeldungen. Jedoch wird bei Detail fragen, die sich primär mit nur einem der Systemkonzepte beschäftigen, hiermit explizit quer auf die dieses Grundkonzept betreffende Anmeldung verwiesen.
Stand der Technik / Technischer Hintergrund
Es sind viele Fälle aus dem Alltag bekannt, bei dem es nützlich und/oder wünschenswert wäre, sofort über Informationen zu verfügen, die über unser persönliches Wissen und Sinnesempfindungen hinausgehen. Beispiele hierfür sind das Suchen einer Unterputz- Elektroleitung in einer Wand, die Navigation in einer fremden Stadt, das Sammeln von Wildpilzen und das Untersuchen eines möglicherweise gefährlichen Objekts mittels eines ferngesteuerten Roboters.
Die starke Abhängigkeit von sehenden Menschen an ihre Sehempfin- düngen trägt deutlich dazu bei, daß zusätzliche Informationen nur schwer zur Verfügung gestellt werden können. Denn die Tatsache, daß sehende Menschen vorwiegend mit den Augen wahrnehmen, macht es in vielen Fällen erforderlich, daß die Zusatzinformationen entweder über die Augen zugespeist oder anhand der gesehenen Infor a- tionen ermittelt werden. Bei einer Zuspei sung über die Augen muß jedoch die Ausrichtung der Augen genaustens berücksichtigt werden, um ein richtiges "Plazieren" und ein "Verwackeln" oder "Verwischen" der zugespeisten Informationen zu vermeiden. Zudem sollen die Informationen in vielen Fällen ohne gezielte Bewegung der Augenäpfel zugänglich gemacht werden; ein Autofahrer mag zwar eine Landkarte auf seinem Schoß haben, möchte aber ungern von der Straße wegschauen müssen.
Durch ihre Bindung an feste Medien, z.B. Papier, CRT- und LCD- Bildschirme, u.s.w., sind bisherige visuelle Informationssysteme nicht in der Lage gewesen, die Komfortbedürfnisse eines sehenden Menschen ausreichend nachzukommen. Nicht visuellen Informationssystemen fehlte bisher die für sehende Menschen selbstverständl che Kopplung an das Gesehene.
Näheres zum Stand der Technik enthält die DE 196 31 414 AI, deren Einleitung mehrere moderne Informationssysteme, insbesondere aus dem Militärbereich, beschreibt.
Zusammenfassung der Erfindung
Das Ziel der Erfindung liegt darin, ein Informationssystem zur Verfügung zu stellen, dessen Informationsdarbeitung den natürlichen Bedürfnissen eines sehenden Menschen auf bisher unerreichte Art und Weise nachkommt. Es ist ein weiteres Ziel der Erfindung, ein derartiges Informationssystem zu schaffen, das gengenüber dem Stand der Technik hinsichtlich Implementierbarkeit und Wirtschaftlichkeit verbessert worden ist. Ziel der Erfindung ist auch, entsprechende Verfahren zum Zurverfügungstellen von Informationen zu schaffen.
Erfindungsgemäß wird dieses Ziel durch das Informationssystem gemäß Anspruch 1 und das Verfahren zum Zurverfügungstellen von Informationen gemäß Anspruch 13 erreicht. Bevorzugte Ausführungen der Erfindung sind in den Unteransprüchen beschrieben. In seiner allgemeinsten Form umfaßt das erfindungsgemäße Informationssystem eine Signalerfassungsvorrichtung, die von einem eine Netzhaut aufweisenden Auge zurückreflektierte Signale erfaßt, eine Informationsvorrichtung und eine Ausgabevorrichtung, die in Zusammenarbeit mit der Informationsvorrichtung Informationen in Korrelation mit den erfaßten Signalen zur Verfügung stellt. Bevorzugt werden die Informationen in Abhängigkeit von den erfaßten Signalen Und/oder in Abhängigkeit von aus dem natürlich wahrgenommenen Ge- sichtsfeld erfaßtem, sichtbarem Licht zur Verfügung gestellt.
Als Signal erfassungsvorrichtung dient vorzugsweise eines der oben besprochenen Brillensysteme, bei dem eine scannende Abtastvorrichtung ein Netzhautreflexbild der Netzhaut mindestens teilweise erfaßt. Eine Abwandlung dieser Abtastvorrichtung, die an der Hornhaut des Auges reflektiertes Licht anstelle des Netzhautreflexbildes erfaßt, ist insbesondere bei Infrarotanwendungen vorteilhaft, da die Hornhaut Licht mit einer Wellenlänge von ca. 1,1 μm stark reflektiert. Auch über die Erfassung der chemischen Veränderung der Stäbchen und/oder Zäpfchen ist es grundsätzlich möglich, entsprechend verwertbare Aussagen über das auf die Netzhaut einfallende Bild zu machen.
Die Erfinder dieser Erfindung haben auch festgestellt, daß eine der Erfassung aus dem Auge zurückreflektierter Signale komplementäre Erfassung des Gesichtsfelds besondere Vorteile mit sich bringt. Zwecks einer solchen komplementären Erfassung umfaßt die Gesichtsfelderfassungsvorrichtung und/oder die Informationsvorrichtung des erfindungsgemäßen Informationssystems bevorzugt eine im wesentlichen konfokal zum Auge angeordnete, sparisch oder spä- risch wirkende Reflektionsschicht, die ein Teil des auf das Auge gerichteten Lichtes in eine Sensorvorrichtung zur Erfassung ablenkt. Aufgrund des im Vergleich zum Netzhaut- oder Hornhautreflex um ein Vielfaches höheren Reflektionsgrads der Reflektionsschicht wird bei gleich empfindlichen Photosensoren ein wesentlicher Lichtgewinn erzielt. Auch ließen sich entsprechend kostengünstige Photosensoren in der Sensorvorrichtung verwenden. Es kann also Vorteile mit sich bringen, wenn das auf das Auge fallende Licht nicht nur, nur teilweise oder gar nicht über das Netzhautreflex erfaßt wird.
Je nach Zielanwendung müssen nicht sämtliche räumliche Bereiche des Gesichtsfelds erfaßt werden. Beispielsweise bei einer Anwendung, bei der Zusatzinformationen bezüglich eines mit dem Auge an- gepeilten Objektes durch das erfindungsgemäße Informationssystem zur Verfügung gestellt werden, könnte es ausreichen, das auf die Netzhautgrube (Fovea) fallende Licht zu erfassen und einer Mustererkennung oder sonstiger Analyse zu unterziehen. Denn ein mit dem Auge angepeiltes Objekt wird typischerweise auf die Netzhautgrube, die den Bereich des schärfsten Sehens darstellt, abgebildet. Somit wäre die Erfassung des auf diesen Teil der Netzhaut fallenden Lichtes möglicherweise ausreichend, um genügend viele charakterisierende Objektmerkmale ermitteln zu können.
Sinnvoll ist auch, wenn nur ein beschränkter Spektral bereich des auf das Auge fallenden Lichtes erfaßt wird. Wird, zum Beispiel das auf ein Auge fallende Infrarotlicht erfaßt, so kann auch bei .Nacht die Orientierung des Auge bestimmt und/oder wertvolle Informationen aus dem Gesichtsfeld gewonnen werden.
Dementsprechend können jegliche Einschränkungen bezüglich der Erfassung des auf ein Auge fallenden Lichtes sinnvoll sein. Insbesondere werden Einschränkungen des erfaßten Spektral bereiches, des erfaßten Gesichtsfeldbereiches und der erfaßten Sehzeitabschnitte ggf. angewandt.
Zwecks der redundanten oder stereoskopischen Bilderfassung kann die dafür bestimmte Vorrichtung des erfindungsgemäßen Informationssystems derart ausgelegt sein, das auf mehrere Augen fallende Licht zu erfassen. Je nach Anwendungsgebiet müssen die Augen nicht zwangläufig einem einzelnen Person gehören. Zum Beispiel wäre es möglich, die von den Augen mehrerer Feuerwehrmänner wahrgenommenen Bilder zuzüglich Positions- und aus einer Infrarotspektralanalyse der Bilder ermittelten Brandstärkeninformationen auf Monitore in einer Einsatzzentrale einzuspielen.
In der Ophthamologie wird zwischen den Begriffen "Gesichtsfeld" und "Blickfeld" unterschieden. Ein Gesichtsfeld ist der Teil eines Raumes, der mit unbewegtem Auge erfaßt werden kann. Ein Blickfeld ist das Gebiet, das mit den Augen erfaßt werden kann. Somit ist hier, wie im übrigen, das Gesichtsfeld als Verursacher des auf ein Auge natürlich fallenden Lichtes zu verstehen.
Die Gesichtsfelderfassung
Aufgrund der Einbindung einer Gesichtsfelderfassungsvorrichtung ist das Informationssystem in der Lage, sichtbares Licht aus dem dem Auge zugeordneten Gesichtsfeld in eine Qualität, d.h. mit einer Empfindlichkeit, einer Auflösung, einer Schärfe, u.s.w., zu erfassen, die die natürliche Wahrnehmung des Auges bei weitem übersteigt. Zudem ist es durch die erfindungsgemäße Korrelation des Informationzurverfügungstellens mit den von der Signalerfassungsvorrichtung erfaßten Signalen möglich, entsprechende Teile des erfaßten Lichts bei einer im Laufe des Informa- tionzurverfügungstellens auftretende Bearbeitung so zu behandeln, als wären sie aus dem Auge erfaßte Reflexbilder, d.h. als wären sie das tatsächlich Gesehene. Eine derartige Ausführung des erfindungsgemäßen Informationssystems kombiniert somit die Vorteile eines Informationssystem, das hochwertige Gesichtsfeldinformationen direkt aus dem Gesichtsfeld gewinnt, mit den Vorteilen eines Informationssystems, das tatsächlich gesehene Gesichtsfeldinformationen aus dem Auge gewinnt.
Die Korrelation des Informationzurverfügungstellens mit den aus dem Auge zurückreflektierten, erfaßten Signalen kann bei spiel swei - se dadurch erfolgen, daß mehrere Bildpunkte eines Augenreflexbil- des, z.B. eines Hornhaut- oder Netzhautreflexbildes, erfaßt werden, die über eine Auswertevorrichtung mit entsprechenden Bildpunkten aus dem erfaßten Gesichtsfeld in Verbindung gebracht wer- den. Auch eine über die erfaßten Signale festgestellte Blickrichtung des Auges kann dazu dienen, eine Korrelation zwischen aus dem erfaßten Gesichtsfeld gewonnenen Gesichtsfeldinformationen und dem tatsächlich Gesehenen zu schaffen. Wie unten beschrieben wird, kann die Korrelation jedoch auch darin bestehen, gewonnene Ge- Sichtsfeldinformationen in eine mit dem Gesehenen korrelierte Art und Weise auf die Retina zu proji zieren.
Selbstverständlich muß die Gesichtfelderfassungsvorrichtung nicht auf eine Erfassung des Gesichtsfeldes beschränkt sein, sondern kann auch eine teilweise oder komplette Erfassung des Blickfeldes umfassen, die eine mindestens partielle Erfassung des Gesichtsfeldes beinhaltet.
Die hohe Qualität des aus dem Blick- bzw. Gesichtsfeld erfaßten Bildes kann auch als Grundlage für eine übersensorische Informationsdarbietung dienen. Zum Beispiel könnten Gesichtsfeldinformationen aus dem erfaßten Blickfeldlicht derart gewonnenen und auf die Netzhaut proji ziert werden, daß das vom Auge wahrgenommene Bild mindestens teilweise schärfer, näher, weitwinkliger oder auf son- stige Art und Weise übersinnlich wirken.
Die Erfindung sieht eine Informationsquelle vor, die eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung umfassen kann.
Eine besonders interessante Ausführungsform der Erfindung umfaßt eine Sensorik als Informationsquelle. Denn hiermit kann eine übersinnliche Wahrnehmung in Verbindung mit dem Gesehenen gebracht werden. Bei dem erwähnten Beispiel des Suchens einer Elektrolei- tung könnte die erfindungsgemäße Informationsquelle Magnetfeldsensoren, die in der Lage sind, metallische Leitung bezüglich eines bekannten Koordinatensystems, beispielsweise das erfaßte Blickfeld, zu lokalisieren. Somit wäre es zum Beispiel mittels geeigneter Bildverarbeitungsssoftware möglich, den Verlauf vorhanderer Elektroleitungen mittels einer wie in den oben erwähnten Patentanmeldungen beschriebenen Projektion eines Zusatzbildes auf das vom Auge gesehene Bild zu überlagern.
Sämtliche Arten von bekannten Sensoren eignen sich zur Anwendung als Informationsquelle, insbesondere dann, wenn der Sensor anhand des erfaßten Lichtbildes aktiviert bzw. abgefragt wird. Zum Beispiel wäre es bei der Prüfung einer integrierten elektronischen Schaltung möglich, daß nach gezielten Anblick einer Leitung auf einem Schaltplan der Schaltung und einem Tastensdruck die Position dieser Leitung auf einem fertigen Chip berechnet wird, so daß die Strom- und Spannungswerte der Leitung mittels einer berührungslosen Meßgerät erfaßt und dem Anwender über das Brillensystem dargestellt werden.
Ein Beispiel für ein eine Datenbank und eine Informationsnetzan- bindung umfassendes Informationssystem wäre ein betriebsinternes Postverteilungssystem, bei dem Akten mit Barcodeaufklebern versehen sind, die die jeweilige Akte eindeutig kennzeichnen. Soll eine Akte betriebsintern verschickt werden, gibt der Absender bei - spielsweise die Durchwahl des Empfängers und einen die Akte be- zeichnenen Code mittels einer Software ein, die diese Daten in einer Datenbank auf einer der vielen bekannten Weisen entsprechend abspeichert. Bei einer späteren Sortierung der Akte wird der kennzeichnende Barcode über das einem Postverteilungsangestellten ge- tragene Brillensystem beispielsweise bei gezieltem Blick und Tastenklick erfaßt und durch eine Erkennungsvorrichtung oder -Software erkannt. Per Funkverbindung mit einem betriebsinternen Datennetz werden die der Akte zugeordneten, postvertei l ngsrelevanten Daten aus der Datenbank geholt und über eine geeignete Ausgabevor- richtungen nach evtl. Aufbereitung an den Postverteilungsange- stellten, beispielsweise als Ansage über Kopfhörer "Hr. Schmidt, Finanzwesen, Gebäude G, 3. Stock, Zimmer 310", mitgeteilt.
Unter Auswertevorrichtung sind sämtliche Arten von Auswertevorrichtungen zu verstehen, insbesondere Bildverarbeitungsvorrichtungen. Solche Auswertevorrichtungen sind auch in den obigen Beispielen zur Sprache gekommen.
Erfindungsgemäß können die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung gestellt werden. Es gehört zur Aufgabe der Erfindung, eine Informationsdarbietung zu ermöglichen, die den Bedürfnissen eines sehenden Menschens auf bisher unerreichte Art und Weise nachzukommen. Hierzu kann gehören, daß die Informationen dem Menschen in geeigneter Weise, das heißt unter Ausnutzung eines oder mehrerer der fünf Sinne, zur Verfügung gestellt werden können. Die Informationen können jedoch auf beliebige Art und Weise zur Verfügung gestellt werden und bedürfen keinen bestimmten Adressant. Beispielsweise können die Informationen einem weiteren System zur Vefügung gestellt werden oder durch eine optische oder akustische Ausgabevorrichtung in die Umgebung ausgestrahlt werden. Schon durch die erfindungsgemäße Abhängigkeit zwischen dem Zurverfügungstellen von Informationen und dem auf das Auge fallenden Lichtbild wird erreicht, daß der vom sehenden Menschen erwartete Zusammenhang zwischen Gesehenem und zur Verfügung gestellten Informationen besteht.
Diese Abhängigkeit wird von der erfindungsgemäßen Vorrichtung bei der Ermittlung der Informationen, bei dem Zurverfügungstellen der Information oder während beider dieser inhärenten Vorgängen be- rücksichtigt. Beispiele für eine Berücksichtigung dieser Abhängigkeit bei der Ermittlung der Informationen sind oben angegeben. Beim Zurverfügungstellen der Informationen kann diese Abhängigkeit zum Beispiel dadurch berücksichtigt werden, daß die Informationen mittels einer Rückprojektion in das Auge auf eine Art und Weise in das gesehene Bild eingeblendet werden, daß ein zeitlicher, farbli- eher, räumlicher, kontrastbezogener, oder sonstiger sinnvoller Zusammenhang zwischen den Informationen und dem gesehenen Bild hergestellt wird. Insbesondere kann die Abhängigkeit darin bestehen, daß das erfaßte Lichtbild dazu verwendet wird, die Lage und Orien- tierung des Augapfels festzustellen, so daß ein zwecks eines Zur- verfügungstellens der Informationen auf das Auge projiziertes Bild bei einer Bewegung des Auges festzustehen scheint, sich bei einer Bewegung des Auges mitzubewegen scheint oder sich auch bei einer Bewegung des Auges entsprechend einem vorgegebenen Verlauf zu be- wegen scheint. Insbesondere läßt sich die Auswirkung der Sakkaden- bewegungen des Auges auf diese Vorgänge berücksichtigen bzw. kompensieren.
Selbstverständlich müssen die Informationen nicht unbedingt einem Menschen sondern können auch einem anderen System zur Verfügung gestellt werden.
Tracking
Es ist also mit erfindungsgemäße Informationssystem möglich, die Lage und Ausrichtung mindestens eines Auges schnell, genau und mit geringem Aufwand zu ermitteln, z.B. mit einer Bestimmungsrate von 100 Hz, einer Positionsgenauigkeit von wenigen Mikrometern und einer Vorrichtung in tragbarer Bauweise. Unter Anwendung des erfin- dungsgemäßen Informationssystems bei der dynamischen Bestimmung der Orientierung des Auges kann die Verarbeitung derart rasch erfolgen, daß die Genauigkeit durch die Sakkadenbewegungen des Auges nicht verfälscht wird. Dies wird dadurch erreicht, daß das Informationsystem eine das Auge nicht berührende Signalerfassungsvor- richtung aufweist, die vom Auge zurückreflektierte Signale erfaßt. Reflektierbare Signale, zum Beispiel Schall- oder elektromagnetische Signale, erlauben eine hochfrequente Erfassung, so daß die Verarbeitungsgeschwindigkeit hauptsächlich von einer vom Informationssystem umfaßten Auswertevorrichtung bestimmt wird. Auf dem Gebiet der signal verarbeitenden Hardware sind jedoch erhebliche Fortschritte in den letzten Jahren bezüglich der Arbeitsgeschwindigkeit, des Stromverbrauchs und der Systemgröße erzielt worden. Die Erforschungen der Erfinder haben ergeben, daß ein Informationssystem durch eine derartige Gestaltung die erstrebte Verarbei- tungsgeschwindigkeit erreichen kann.
Typischerweise dient ein Teil des Informationssystems selbst als Referenzkoordinatensystem. Allerdings ist auch möglich, daß das Informationssystem lediglich ein Bezugskoordinatensystem in einem anderen Referenzkoordinatensystem darstellt, und daß das Verhältnis zwischen dem Bezugskoordinatensystem und dem Referenzkoordinatensystem beispielsweise durch die Auswertevorrichtung oder einen anderen Mechanismus ermittelt wird.
Bevorzugt erfaßt die Signalerfassungsvorrichtung vom Auge zurückreflektiertes Licht. Licht bildet ein vorzügliches Medium zur Übertragung der vom Auge zurückreflektierte Signale, da die Einsatzfähigkeit des Auge ein Vorhandensein von Licht voraussetzt. Allerdings ergibt sich eine Überlagerung der vom Licht aus dem Ge- sichtsfeld übertragenen Gesichtsfeldsignalinformationen mit der Augenreflexsignal information, die durch die Reflektion am Auge entsteht. Diese unterschiedlichen Informationen lassen sich jedoch unter Anwendung bekannter Signal Verarbeitungsmethoden unterscheiden und sinnvoll zur Bestimmung der Orientierung des Auge verwen- den. Dies ist insbesondere dann der Fall, wenn das Signal Übertragungsmedium aus einer zum Informationssystem gehörenden Signal quelle stammt, das das Medium vor seiner Reflektion am Auge mit einem vorgegebenen Signal beaufschlagt.
Ähnlich kann die Erfassung von Signalen aus anderen Signal Übertragungsmedien als Licht auch vorteilhaft sein. Zum Beispiel sind Bauteile zur Erzeugung und Erfassung von Schallwellen in verschiedenen kostengünstigen und kompakten Auführungen am Markt erhältlich. Solche Bauteile lassen sich auch als integrierte Elemente einer integrierten Schaltung verwirklichen. Ähnliche 1577
13
Überlegungen gelten den nicht sichtbaren Frequenzbereichen von elektromagnetischen Wellen.
Obwohl nicht vollständig erforscht, ist es denkbar, daß ein Infor- mationssystem mit einer Mehrzahl an Signalerfassungsvorrichtungen, die Signale aus unterschiedlichen Medien oder Spektralbereichen erfassen, verbesserte Systemeigenschaften aufweisen könnte. Diese Erkenntnis liegt den Überlegungen zugrunde, daß die Auswertevorrichtung im Falle einer Unterbelastung auch andere Sy- stemaufgaben übernehmen könnte, nd daß die von der Auswertevorrichtung vorgenommene Signalbearbeitung stark vom Informationsgehalt des zu bearbeitenden Signals abhängt. So brächte es Vorteile, das Informationssystem auf einer Signal erfassung zu basieren, die zur Bewertung nur wenig Arbeitsleitung von der Aus- Wertevorrichtung beansprucht, jedoch allein evtl. nicht die Basis für eine ausreichende Genauigkeit liefert, und diese bearbeitungsarme Signalerfassung derart durch die Ergebnisse einer genauen und bearbeitungsintensiven, jedoch nur intermittierend durchzuführenden Signalerfassung zu ergänzen bzw. kalibrieren, daß die notwendige Genauigkeit zu jeder Zeit erreicht wird.
Sinnvoll hat sich eine Netzhautreflexerfassung erwiesen, bei dem das Netzhautreflex natürlichen oder künstlichen Lichts als aus dem Auge zurückreflektiertes Signal intermittierend oder partiell er- faßt wird. Eine vollständige Erfassung des Netzhautreflexes ist sowohl zeit- als auch arbeitsintensiv. Andererseits ist eine Erfassung des Netzhautreflexes insofern sinnvoll, als sie eine direkte Ermittlung des wahrgenommen Gesichtsfelds in Relation zur Netzhaut erlaubt. Denn, wie oben erwähnt, eine Aufbereitung des erfaßten Netzhautreflexes läßt sowohl Netzhautmerkmale, wie z.B. die Fovea centralis oder der blinde Fleck, als auch das Reflexbild des auf das Auge fallenden Lichts erkennen. Auch das in der Aderhaut vorhandene Blutgefäßnetz wird bei entsprechender Aufbereitung des Netzhautreflexbildes sichtbar, was eine sehr gute Grundlage zur Bestimmung der Orientierung des Augapfels liefert. Wird das Netzhautreflex deshalb intermittierend oder partiell erfaßt, so läßt sich der Bearbeitungsaufwand reduzieren, während auf eine genaue Ermittlung der Relation des wahrgenommenen Gesichtsfelds zur Netzhaut nicht verzichtet wird. Selbstverständlich lassen sich Netzhautmerkmale ohne eine Netzhautreflexerfassung verfolgen. Beispielsweise lassen sich die Blutgefäße der Aderhaut über ihren im Infrarotbereich sichtbaren Wärmeausstrahlung erkennen.
Die vorliegende Erfindung wird nachstehend anhand der Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die Zeichnung näher beschrieben. Es werden viele Merkmale der Erfindung im engen Zusammenhang des jeweiligen, konkret dargestellten Ausführungsbeispiels erläutert. Selbstverständlich läßt sich jedes einzelnen Merkmal der Erfindung mit jedem anderen Merkmal kombinieren, so- weit die resultierende Kombination nicht zu einem für den Fachmann als sofort unsinnig erkennbaren Ergebnis führt. Diese Aussage betrifft nicht die Bestimmung des gewerblichen Schutzbereichs dieser Patentanmeldung/Patent sofern einen Schutzbereich nach anwendbarem Recht durch die Ansprüche verliehen wird.
Es zeigen:
Figur 1 ein Informationssystem gemäß einem ersten Ausführungsbeispiel der Erfindung;
Figur 2 eine detaillierte Ansicht eines Auges im Querschnitt;
Figur 3 eine bekannte Ausführungsform eines interaktiven Brillensystems, bei der eine Signal erfassungsvorrichtung in Form einer scannenden Augenabtastvorrichtung vorgesehen ist;
Fi gur 4 ei ne bekannte Ausführungsform ei ner i nterakti ven Bri l l e, bei der ei ne Ausgabevorri chtung i n Form ei ner scannenden Proj ekti onsvorri chtung vorgesehen i st ; Figur 5A eine interaktive Brille gemäß einem ersten Ausführungsbeispiel ;
Figur 5B eine Detailzeichung einer in der Figur 5 dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung;
Figur 6A eine interaktive Brille gemäß einem zweiten Ausführungsbeispiel ;
Figur 6B eine Detailzeichung einer in der Figur 6A dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung;
Figur 7A eine interaktive Brille gemäß einem dritten Ausführungsbeispiel ;
Figur 7B eine Detailzeichung einer in der Figur 7A dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung;
Figur 8 eine interaktive Brille gemäß einem vierten Ausführungsbeispiel;
Figur 9 eine interaktive Brille gemäß einem fünften Ausführungsbeispiel ;
Figur 10A eine Draufsicht einer Brille gemäß einem sechsten Ausführungsbeispiel ;
Figur 10B eine Frontansicht einer Brille gemäß einem sechsten Ausführungsbeispiel ;
Figur HA das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem siebten Ausführungsbeispiel gestalteten Informationssystems; Figur 11B das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem siebten Ausführungsbeispiel gestalteten Informationssystems;
Figur 11C eine schemenhafte Darstellung eines Abtastmusters;
Figur HD eine schemenhafte Darstellung eines abgeänderten Abtastmuster;
Figur 12A das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem achten Ausführungsbeispiel gestalteten Informationssystems;
Figur 12B das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem achten Ausführungsbeispiel gestalteten Informationssystems;
Figur 12C das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem achten Ausführungsbeispiel gestalteten Informa- tionssystems;
Figur 12D das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem achten Ausführungsbeispiel gestalteten Informationssystems;
Figur 12E das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem achten Ausführungsbeispiel gestalteten Informationssystems;
Figur 13A das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem neunten Ausführungsbeispiel gestalteten Informationssystems; Figur 13B das natürlich wahrgenommene Gesichtsfeld eines Benutzers eines gemäß einem neunten Ausführungsbeispiel gestalteten Informationssystems;
Figur 14A ein erfindungsgemäßes Informationssystem gemäß einem zehnten Ausführungsbeispiel;
Figur 14B ein erfindungsgemäßes Informationssystem gemäß einem zehnten Ausführungsbeispiel;
Die Figur 15 ein erfindungsgemäßes Informationssystem gemäß einem elften Ausführungsbeispiel;
Die Figur 16 eine schematische Darstellung eines erfindungsgemäßen Informationssystems gemäß einem zwölften Ausführungsbeispiel; und
Figure 17 ein optisches System gemäß einem dreizehnten Ausführungsbeispiel .
In der Beschreibung der Figuren werden ähnliche oder identische Gegenstände mit ähnlich oder gleich endenden Bezugsziffern bezeichnet. Viele der abgebildeten Gegenstände weisen symmetrische oder komplementäre Komponenten auf, die durch einen Zusatzbuchstaben, beispielsweise "L" für links und "R" für rechts, nach dem Bezugsziffer unterschieden werden. Betrifft die Aussage jede einzelne Komponente einer solchen symmetrischen oder komplementären Gruppierung, wird auf den Zusatzbuchstaben in manchen Fällen der Übersichtlichkeit halber verzichtet.
Figur 1
Fi gur 1 zei gt ei n Informati onssystem 100 gemäß ei nem ersten Aus- führungsbei spi el der Erfi ndung . Das Informati onsystem 100 i st i n Form ei nes i nterakti ven Bri l l ensystems 120 bzw. ei ner i nterakti ven Bri l l e 120 ausgeführt , di e zwei optische Vorrichtungen 150 umfaßt. Bevorzugt befinden sich die optischen Vorrichtungen 150 jeweilig auf einer Innenseite eines linken 121L oder rechten 121R Bügelteils der Brille 120. Je nach Anwendungsbereich sind auch andere, die Sicht nicht störende Anordnungen der optischen Vorrichtungen, z.B. im Bereich eines über die Nasenwurzel eines Beneutzers verlaufenden Nasenstegs 122 der Brille 120, sinnvoll.
Die optische Vorrichtung 150 der Brille 120 ist über Verbindungs- leitungen 101 an eine Prozessoreinheit 140 angeschlossen. Sind Photodetektoren und/oder Lichtquellen von den optischen Vorrichtungen umfaßt, dienen die Verbindungsleitungen zur Übertragung von elektrischen Detektor- bzw. Steuersignale. Die Photodetektoren bzw. Lichtquellen können jedoch in der Prozessoreinheit 140 ange- ordnet und über lichtleitende Verbindungsleitungen 101 an die optischen Vorrichtungen 150 der Brille 120 angeschlossen werden. Dies trägt zur Gewichtsreduktion der Brille 120 bei.
Figur 2
Figur 2 zeigt zwecks Verständnis der Erfindung eine detaillierte Ansicht eines Auges 280 im Querschnitt. Das Auge 280, das in einer aus Schädel nochen gebildeten Augenhöhle 20 (lat. Orbita) im Kopf eines Menschen untergebracht und hier im Sinne eines Augapfels 280 zu verstehen ist, besteht aus einer von einer lichtdurchlässigen Hornhaut 283 (lat. Kornea) und einer sichtlich weißen Lederhaut 28 (lat. Sklera) umgebenen Kammer. Die Lederhaut 28 ist auf seiner dem Inneren des Auges 280 zugewandten Seite von einer Aderhaut 287 (lat. Choroidea) überzogen, die auf seiner ebenfalls inneren Seite eine lichtempfindliche Netzhaut 281 (lat. Retina) trägt und diese mit Blut versorgt. Durch ihre Pigmentierung verhindert die Aderhaut 287 eine Steuung des darauffallenden Lichts, die das Sehvermögen stören könnte. Das Gewebe der Netzhaut 281 umfaßt zwei Arten von Photorezeptorzellen, nämlich Stäbchen und Zapfen (beide nicht dargestellt), die dem Menschen den Sehsinn ermöglichen. Diese Photorezeptorzellen absorbieren das durch eine Augenlinse 282 gebündelte Licht in ei- nem Wellenlängenbereich von ca. 380-760 nm und verwandeln es durch eine Reihe von chemischen Reaktionen in elektrische Nervensignale. Die Signale der verschiedenen Nervenzellen der Netzhaut 281 werden dann über einen Sehnerv 25 an das Gehirn weitergeleitet und dort zu einem wahrnehmbaren Bild verarbeitet. Die zahlreichen, ca. 120 Millionen zählenden und stark lichtempfindlichen Stäbchen sind auf die Signal aufnähme im Dämmerlicht (sogenanntes skotopisches Sehen) spezialisiert und liefern ein Graustufenbild. Die ca. 6,5 Millionen, vergleichsweise weniger lichtempfindlichen Zapfen dagegen sind für das Farbsehen bei Tageslicht (sogenanntes photopisches Sehen) zuständig. Bei der Lichtabsorbtion findet eine Oxidierung von Pigmenten in den Photorezeptorenzellen statt. Zur Regenerierung der Pigmente bedarf es bei den Zapfen ca. 6 Minuten und bei den Stäbchen ca. 30 Minuten. Eine Betrachtungsdauer von ca. 200 msec ist notwendig, bis der Sehreiz über die Photorezeptoren ein- setzt und eine Informationsaufnahme über die Netzhaut 281 erfolgt.
Die Netzhaut 281 weist eine Vertiefung 286 auf, die durch ihre im Vergleich zur übrigen Netzhaut höher Dichte an Zapfen als etwas stärker pigmentiert erscheint. Diese Vertiefung 286, die üblicher- weise Sehgrube 286 (Fovea centralis) genannt wird, liegt in einem als "gelber Fleck" (lat. Makula) bekannten Bereich der Netzhaut und stellt den Bereich des schärfsten Sehens dar. Die Fovea centralis 286 ist nur mit Zapfen besetzt, weist eine sehr hohe Zapfendichte auf und beansprucht lediglich ca. 0,01% der Netzhauto- berfläche. An der mit dem Bezugszeichen 288 gekennzeichneten Stelle vis-ä-vis der Linse 282 tritt das Sehnerv 25 durch eine siebartige Öffnung in der Lederhaut 28 in das Innere des Auges ein. Diese Stelle 288 weist keine Photorezeptorzellen auf, weshalb sie als "blinder Fleck" bezeichnet wird. Die von der Hornhaut 283 und der Lederhaut 28 gebildeten Kammer ist durch eine verformbare Linse 282 und einen muskelösen Strahlenkörper 23 (auch Ziliarkörper genannt), der die Linse 282 trägt, unterteilt. Der zwischen der Linse 282 und der Netzhaut 281 lie- gende Teil der Kammer, der ca. 2/3 des Augapfels ausmacht, bildet einen sogenannten Glaskörper 21, ein gallertiges Gebilde, das zu über 98% aus Wasser besteht und die Netzhaut 281 stützt und schützt. Der als Vorderkammer 22 bezeichnete, zwischen der Hornhaut 283 Und der Linse 282 liegende Teil der Kammer enthält eine Flüssigkeit, die die Hornhaut 283 ernährt. In ihrer Urform bricht die Linse 282 das auf das Auge fallende Licht typischerweise derart, daß das ferne Gesichtsfeld auf die Netzhaut 281 scharf abgebildet wird. Durch Anspannung/Entspannung der Muskeln des Ziliarkörper 23 kann die Form und somit auch die Brechungscharakteristik der Linse 282 über einen breiten Bereich verändert werden, um beispielsweise eine scharfe Abbildung nahliegender Gegenstände des Gesichtsfelds auf die Netzhaut 281 zu ermöglichen. Dieser Vorgang läuft in den meisten Fällen für den betroffenen Menschen unbewußt ab.
Unmittelbar vor der Linse 282 befindet sich in der Vorderkammer 22 eine aus gefärbtem Gewebe bestehende Blende 285 veränderbaren Durchmessers, die den Lichteinfall auf die lichtempfindlichen Teile des Auges 280 reguliert und dem Auge 280 seine charakteri- stische Färbung verleiht. Diese Blende 285 wird deshalb als Regenbogenhaut 285 (lat. Iris) bezeichnet. Aufgrund der geringen Lichtrückstrahlung der Linse 282, des Glaskörpers 21 und der Netzhaut 281 erscheint der zentrale Bereich der Iris 285 schwarz und wird Pupille 284 bezeichnet. Auch die Regulierung der Pupillengröße läuft für den Menschen unbewußt ab.
Das Auge 280 ist über sechs teils parallel, teils schräg zueinander verlaufende Muskeln 24 an die Schädel verbunden, die ein Schwenken des Auges 280 und folglich eine Änderung der Blickrich- tung ermöglichen. Das binokular, ohne Bewegung der Augen 280 er- faßte Gesichtsfeld umfaßt horizontal ca. 170° und vertikal ca. 110°. Werden die Augen 280 bewegt, kann ein binokulares Blickfeld von horizontal ca. 290° und vertikal ca. 190° erfaßt werden. Der von der Fovea centralis 286 erfaßten Bereich des schärften Sehens umfaßt lediglich ca. 1°. Eine fiktive Achse durch die Mitte dieses Bereichs wird als Sehachse bezeichnet und entspricht der Blickrichtung. Auch eine Rotation des Auges um die Sehachse wird durch die Muskeln 24 ermöglicht.
Die sechs Muskeln 24 sind für sämtliche Augenbewegungen zuständig. Bei einer Betrachtung eines Fixpunkts finden sogenannte Mikrotre- ors des Auges 280 statt, bei denen das Augen 280 leicht zittert, um eine vorübergehende Erschöpfung der chemischen Reaktionfähigkeit der betroffenen Photorezeptorzellen beim gleichbleibenden Reiz zu vermeiden. Während eines Blickrichtungswechsels oder einer Kopfbewegung finden sogenannte Sakkadenbewegungen statt, mit deren Hilfe die Fovea centralis 286 auf ihr neues Fixati onsziel gerichtet bzw. auf ihr bisheriges Fixationsziel gehalten wird. Bei dieser sehr komplex ablaufenden Bewegung wird das Auge 280 unwillent- lieh mit einer kleinen Amplitude von bis zu mehreren zehn Grad und einer extrem schnellen Winkelgeschwindigkeit von bis zu mehreren hundert Grad pro Sekunde hin und her bewegt. Bei der Verfolgung eines sich bewegenden Objekts erreicht das Auge 280 Winkelgeschwindigkeiten von lediglich eins bis zwei hundert Grad pro Sekunden.
Zum Schutz des Augapfels 280 hat der Mensch bewegliche Hautfalten, nämlich ein Oberlid 27a und ein Unterlid 27b, die ein Schließen der Augenhöhle 20 gegen äußere Einflüsse ermöglicht. Die Lider 27a und 27b schließen sich reflektorisch bei einfallenden Fremdkörpern und starker Blendung. Darüber hinaus sorgen die Lider 27a und 27b durch regelmäßigen, meist unwillkürlichen Lidschlag für einen gleichmäßig auf der Hornhaut 283 verteilten Tränenfilm, der die äußere Oberfläche der Hornhaut 283 vor einem Austrocknen wahrt und wäscht. Die Lider 27a Und 27b weisen auch Wimpern 27c auf, die das Auge 280 ebenfalls vor Staub schützen. Eine Bindehaut 26 kleidet den Raum zwischen den Lidern 27a bzw. 27b, der Aughöhle 20 und dem Augapfel 280 aus. Die Bindehaut 26 geht einerseits in die Lidinnenseite über, andererseits in die Hornhaut 283, und stellt einen zweiten Schutzwall gegen das Eindringen von Keimen und Fremdkörpern dar.
Figur 3
Figur 3 zeigt eine bekannte Ausführungsform des wie oben beschriebenen, interaktiven Brillensystems bzw. Brille 320, bei der eine Signal erfassungsvorrichtung in Form einer scannenden Augenabtast- vorrichtung 350D vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 302 samt Brille 320 mit rechtem Bügelteil 321R dar, während die rechte Bildhälfte ein durch den linken Bügel teil 321L verlaufenden Querschnitt der Brille 320 wiedergibt. Außer der zur interaktiven Brille 320 gehörenden Vorrichtungen sind in der Figur 3 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.
Gemäß der abgebildeten Ausführungsform werden auf das Auge 380 fallende Lichtstrahlen 333a und 333b, die beispielsweise aus dem Gesichtsfeld stammen, von der Linse 382 auf der Netzhaut 381 als zusammenhängendes Bild scharf abgebildet und von ihr als Netzhau- treflexbild zurückreflektiert. Ein so zurückreflektierter Lichtstrahl 331 passiert in ungekehrte Richtung erneut die Linse 382, wird über zwei, zum Spiegel System der Brille 320 gehörende konkave Spiegel 322 und 323 fokussiert und wie abgebildet auf eine scannende Augenabtastvorrichtung 350D gelenkt. Die Augenabtastvorrich- tung 350D umfaßt eine Signal erfassungsvorrichtung 351 in Form eines Fotodetektors 351, der den von der Netzhaut 381 zurückreflektierten Lichtstrahl 331 erfaßt, sowie zwei bewegliche Flachspiegel 352H und 353V, die eine horizontale bzw. vertikale Ablenkung des Lichtstrahls 331 auf den Fotodetektor 351 bewirken. Gemäß der Ausführung der Figur 3 umfaßt die Brille 320 zusätzlich eine Lichtfalle 324, die einen Lichteinfall aus unerwünschten Ein- fallsrichtungen verhindert. Zur Vereinfachung des Spiegelsystem der Brille 320 kann der Spiegel 323 durch eine verspiegelte Innen- oberflache des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Erfassung des gesamten Netzhautreflexbildes auch bei einer eventuellen verdrehten Stellung des Auges 380 zu ermöglichen. Dies schränkt wiederum die Gestaltungsmöglichkeiten der Brille 320 ein.
Durch die Kombination eines punktförmigen Detektors 351 mit entsprechender Steuerung der Flachspiegel 352H und 352V erfolgt eine serielle punktuelle Abtastung des Netzhautreflexbildes als Bildpunktfolge. Bevorzugt wird die Netzhaut 381, wie in der DE 196 31 414 AI und der DE 197 28 890 beschrieben, mit einem kreis-, spi- ral- oder ellipsenförmigen Scanmuster abgetastet. Dies hat den Vorteil, daß die Flachspiegel 352 ohne rückartigen Bewegungen angetrieben werden können, und daß eine höhere Bildpunktdichte (Anzahl der Bildpunkte pro Flächeneinheit der Netzhaut) im Bereich der Fovea centralis 286 sich erfassen läßt.
Dem Aufnahmevorgang vorgeschaltet wird - soweit noch nicht in einem vorhergenden Projektionsvorgang geschehen - vorzugsweise ein geeigneter Synchronisationsvorgang zur Bestimmung der momentanen Sehachse, damit der Scanvorgang augenzentriert durchgeführt werden kann.
Figur 4
Figur 4 zeigt eine bekannte Ausführungsform der wie oben beschrie- benen, interaktiven Brille 420, bei der eine Ausgabevorrichtung in Form einer scannenden Projektionsvorrichtung 450P vorgesehen ist. Dabei stellt die linke Bildhälfte eine Draufsicht auf den Kopf eines Benutzers 402 samt Brille 420 mit rechtem Bügel teil 421R dar, während die rechte Bildhälfte ein durch den linken Bügelteil 421L verlaufenden Querschnitt der Brille 420 wiedergibt. Außer der zur interaktiven Brille 420 gehörenden Vorrichtungen sind in der Figur 2 keine weiteren Komponenten der erfindungsgemäßen Informationssystem 100 abgebildet.
Gemäß der abgebildeten Ausführungsform umfaßt die scannende Projektionsvorrichtung 450P eine einen Projektionslichtstrahl 432 emittierende Lichtquelle 453, beispielsweise eine Laserdiode oder eine über ein Linsensystem fokusierte LED, sowie zwei bewegliche Flachspiegel 454H und 454V. Der Projektionslichtstrahl 432 wird über die beweglichen Flachspiegel 454H und 454V auf ein Spiegel System der Brille 420 gelenkt, das zwei konkave Spiegel 422 und 423 umfaßt, die den Projektionslichtstrahl 432 auf die Linse 482 eines Auges 480 und schließlich auf die Netzhaut 481 wirft. Zur Vereinfachung des Spiegel System der Brille 420 kann der Spiegel 423 durch eine verspiegelte Innenoberflache des Brillenglases verwirklicht werden. Allerdings muß die Oberfläche eine bestimmte Form aufweisen, um eine Projektion auf alle Bereiche der Netzhaut 481 auch bei einer eventuellen verdrehten Stellung des Auges 480 zu ermöglichen. Dies schränkt wiederum die Gestaltungsmöglichkeiten der Brille 420 ein. Zur Vermeidung störender Lichteinfälle läßt sich die Brille 420 mit einer Lichtfalle 424 ausstatten, die Lichteinfälle aus Unerwünschten Einfallsrichtungen verhindert.
Durch die Kombination einer punktförmigen Lichtquelle 453 mit ent- sprechender Steuerung der Flachspiegel 452H und 452V, die jeweils eine horizontale bzw. vertikale Ablenkung des Projektionslichtstrahls 432 bewirken, erfolgt eine serielle punktuelle Projektion eines Bildes. Bevorzugt erfolgt die Projektion, wie in der DE 196 31 414 AI und der DE 197 28 890 beschrieben, mit einem kreis-, spiral- oder ellipsenförmigen Scanmuster. Dies hat den Vorteil, daß die Flachspiegel 452 ohne rückartigen Bewegungen angetrieben werden können, und daß sich eine höhere Bildpunktdichte im Bereich der Fovea centralis 286 auf die Netzhaut 481 projizieren läßt.
Projektion Der Grad der Wahrnehmung eines in das Auge 480 proji zierten Bildes kann im Verhältnis zürn natürlich wahrgenommenen Bild durch die Helligkeit der projizierten Bildpunkte gesteuert werden. AI ler- dings ist die retinal e Wahrnehmung ein zutiefst komplexer Vorgang, bei der auch psychologische Effekte eine sehr starke Rolle spielen. Hier wird auf die einschlägige Fachliteratur verwiesen.
Vereinfacht läßt sich jedoch sagen, daß die Retina 481 sich auf die Helligkeit des insgesamt auf sie fallenden Lichtes einstellt. Es ist zum Beispiel bekannt, daß das geringe Leuchten der Uhr eines Radioweckers, das bei Tageslicht gar nicht wahrgenommen wird, bei dunkler Nacht ein ganzes Zimmer zu erleuchten scheinen kann. Andersherum ist das starke Scheinwerferlicht entgegenkommender Fahrzeuge bei Tageslicht kaum wahrnehmbar. Es wird also die Helligkeit eines einzelnen Bildpunktes in Relation zu den ansonsten wahrgenommenen Bildpunkte empfunden. Auch lokal betrachtet, funktioniert die Retina 481 ähnlich. Übersteigt die Helligkeit eines auf einen Gebiet der Retina 481 proji zierten Bildpunkt die Hellig- keit des ansonsten auf dieses Gebiet fallenden Lichtes um ca. 10%, so wird effektiv lediglich der projizierte Bildpunkt anstelle des sonstigen Lichts von diesem Gebiet der Retina 481 wahrgenommen. Aufgrund psychologischer Effekte kann der genaue Wert statt bei 10% auch zwischen 5%-10%, 10%-15% oder gar 15%-20% liegen.
Dem Projektionsvorgang vorgeschaltet wird - soweit noch nicht in einem vorhergenden Scanvorgang geschehen - bei Bedarf vorzugsweise ein geeigneter Synchronisationsvorgang zur Bestimmung der momentanen Sehachse, damit der Projektionsvorgang augenzentriert durchge- führt werden kann.
Figur 5
Fi gur 5A zei gt ei ne i nterakti ve Bri l l e 520 gemäß ei nem ersten be- vorzugten Ausführungsbei spi el , bei der ei ne kombi ni erte Si gnal er- fassungs- und Projektionsvorrichtung 550 im Bereich des Nasenstegs 522 an die Brille 520 angebracht ist. Gemäß der Detailzeichung 5B umfaßt die kombinierte Signalerfassungs- und Projektionsvorrichtung 550 sowohl eine Projektionsvorrichtung 553 als auch eine Si- gnalerfassungsvorrichtung, die zusammen in einem schützenden Gehäuse 558 untergebracht sind. Durch ein lichtdurchlässiges Fenster 559 in einer Außenwand des Gehäuses 558 gelingen Lichtstrahlen 530 in das Innere des Gehäuses 558 und umgekehrt. Das Abschließen des Gehäuses 558 durch das Fenster 559 verhindert jedoch, daß Staub, Schweiß und andere Fremdstöffe den Betrieb der kombinierte Signalerfassungs- und Projektionsvorrichtung 550 stört.
Analog den beschriebenen Systemen gemäß Fig. 3 und 4 werden Lichtstrahlen 530, 530a, 530b erfaßt bzw. projiziert. Die interaktive Brille 520 läßt sich jedoch in ihrem Aufbau dadurch vereinfachen, daß die im Stand der Technik getrennten Spiegel 352 bzw. 452 zur vertikalen bzw. horizontalen Ablenkung des jeweiligen Lichtstrahls 331 bzw. 432 durch einen Taumelspiegel 552 bzw. 554 ersetzt wird. Zwecks einer kompakten Bauweise kann ein teil durchlässiger Spiegel 556 dazu dienen, separate Strahlengänge innerhalb des Gehäuses 558 für das durch das Fenster 559 fallende bzw. projizierte Licht 530 zu ermöglichen. Bevorzugt wird die Innenseite des Brillenglases mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 523 versehen, die als Spiegel für den Strahlengang zwischen dem Auge 580 und dem kombinierten Signalerfassungs- und Projektionsvorrichtung 550 verwendet. Dies trägt zu einer Reduzierung der notwendigen Komponenten bei und führt in der abgebildeten Ausführungsform zu einem vereinfachten, lichtstarken Strahlengang 530, bei dem der Lichtstrahl 530 zwischen Auge 580 und Projektions- bzw. Signalerfassungsvorrichtung 553 bzw. 551 lediglich dreimal reflektiert wird. Wie oben beschrieben, ergibt sich jedoch hieraus eine Einschränkung der Gestaltungsmöglichkeiten der Brille 520. Die für eine Taumel bewegung des Spiegels 552, 554 notwendige Bewegungsfreiheit läßt sich beispielsweise durch eine kardanische oder federnde Aufhängung des Spiegels 552, 554 erreichen. Mögliche Ausführungsarten eines derartigen Taumel spiegeis sind dem Fachmann beispielsweise aus dem Gebiet der Mikrotechnik bekannt. Weitere Lösungen des vorliegenden Ablenkungsproblems, bei der der jeweilige Lichtstrahl 530 auf der Basis elektrochromer, holographischer, elektroholographischer oder sonstiger Lichtbre- chungs- oder Lichtreflektionsmechanismen gelenkt wird, sind ohne weiteres denkbar Und ebenfalls anwendbar.
Obwohl die interaktive Brille 520 in einer minimal istischen Ausführungsform gezeigt ist, bei der eine kombinierte Signalerfassungs- und Projektionsvorrichtung 550 lediglich für das linke Auge 580 vorgesehen ist, ist es selbstverständlich, daß eine spiegel verkehrt gebaute, zweite kombinierte Signalerfassungs- und Projektionsvorrichtung 550 im Bereich der rechten Hälfte des Nasenstegs 522 für das nicht dargestellte rechte Auge bei Bedarf vorgesehen werden kann.
Figur 6
Figur 6A zeigt in Form einer Abänderung der in den Figuren 5A und 5B dargestellten Brille 520 eine interaktive Brille 620 gemäß ei- nem zweiten bevorzugten Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L in dem zwischen dem linken Brillenglas 624L und dem linken Bügel teil 621L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 650R in dem zwischen dem rech- ten Brillenglas 624R und dem linken Bügelteil 621R liegenden Bereich angeordnet sind.
Eine solche Anordnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L, 650R gegenüber den jeweiligen Brillengläsern 624L, 624R und den jeweiligen Augen 680 ist normalerweise mit der Notwendigkeit verbunden, entweder mehrere Spiegel entlang des Strahlengangs 630 vorzusehen (vgl. Spiegel 322 und 323 in Figur 3) oder dem jeweiligen Brillenglas 624L, 624R eine besondere Form zu verleihen, um eine Erfassung aller Bereiche der Netzhaut 681 zu gewährleisten. Dies schränkt jedoch die Gestaltungsmöglichkeiten der Brille 620 erheblich ein. Um dieses Problem zu umgehen, sieht die interaktive Brille 620 gemäß Figur 6 Brillengläser 624L, 624R vor, deren Innenseite mit einer jeweiligen holographischen Beschichtung 623L, 623R versehen sind. Solche holographischen Be- Schichtung 623 sind in der Lage, eine beliebige Reflektionstopolo- gie zu emulieren. Zum Beispiel kann eine holographisch beschichtete, flache Oberfläche wie eine sphärisch gekrümmte Oberfläche wirken. Ebenso kann eine holographisch beschichtete, sphärisch gekrümmte Oberfläche wie eine flache Oberfläche wirken. Die Änderung der effektiven Reflektionstopologie hängt lediglich vom holographischen Inhalt der Beschichtung ab. Gemäß der Abbildung sind die holographischen Beschichtungen 623L und 623R Spiegel symmetrisch zueinander ausgebildet und angeordnet.
Figur 6B enthält eine Detail Zeichnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 650L. Analog der in der Figur 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 658, eine Projektionsvorrichtung 653 und eine Signalerfassungsvorrichtung 651, jeweilige Taumelspiegel 652 und 654, einen teildurchlässigen Spiegel 656 und ein Gehäusefenster 659.
Figur 7
Ähnlich den Figuren 6A und 6B zeigt Figur 7A in Form einer Abänderung der in den Figuren 5A und 5B dargestellten Brille 520 eine interaktive Brille 720 gemäß einem dritten bevorzugten Ausführungsbeispiel, bei der die linke kombinierte Signalerfassungs- Und Projektionsvorrichtungen 750L in dem zwischen dem linken Brillen- glas 724L und dem linken Bügelteil 721L liegenden Bereich und die rechte kombinierte Signalerfassungs- und Projektionsvorrichtungen 750R in dem zwischen dem rechten Brillenglas 724R und dem linken Bügel teil 721R liegenden Bereich angeordnet sind.
Figur 7B enthält eine Detail Zeichnung der kombinierte Signalerfassungs- und Projektionsvorrichtungen 750L. Analog der in der Figur 5B dargestellten kombinierten Signalerfassungs- und Projektionsvorrichtung 550 umfaßt sie ein Gehäuse 758, eine Projektionsvorrichtung 753 und eine Signalerfassungsvorrichtung 751, jeweilige Taumelspiegel 752 und 754, einen teildurchlässigen Spiegel 756 und ein Gehäusefenster 759.
Das oben angesprochene Problem des Strahlengangs 730 wird bei diesem Ausführungsbeispiel durch besonders ausgestaltete Pads 725L und 725R platzsparend gelöst. Typischerweise werden Brillen 720 entweder durch den Nasensteg 722 oder durch sogenannte Pads 725 auf der Nasenwurzel gestützt. In ihrem handelsüblichen Gestalt sind Pads relativ flach, leicht gekrümmt und oval. Zudem sind sie entweder schwenkbar oder taumelnd an einem vom Nasensteg 722 aus- gehenden Vorsprung gelagert, um ein angenehmes Anliegen der Pads an die Seitenflächen der Nasenwurzel zu gewährleisten. Im abgebildeten Ausführungsbeispiel sind die Pads 725 als formfeste, längliche Einheiten ausgebildet, die im Bereich des Nasenstegs 722 von der Brille 720 in Richtung Auge 780 herausragen. Auf ihrer jewei- ligen, der Nase zugewandten länglichen Seite bilden die Pads 725 die sich auf die Nasenwurzel stützende Aufliegefläche. In ihrem der Brille 720 gegenüber liegenden Endbereich weisen die Pads 725 auf der jeweilig dem Auge zugewandten Seite eine Tragfläche auf, die mit einem Spiegel oder einer spiegelnden Beschichtung, bei - spielsweise einer Metall beschichtung oder einer holographischen Beschichtung, versehen ist.
Obwohl das Gestell der Brille 720, einschließlich die Pads 725, eine im Prinzip feste Form aufweist, treten sowohl quasi-stati- sehe, z.B. durch Materialermüdung und/oder Temperaturänderungen, als auch dynamische Verformungen des Gestells auf. Insbesondere beim Aufsetzen der Brille 720 Und bei erschütterungsreichen Aktivitäten ergeben sich Veränderungen der relativen Anordnung der jeweiligen Brillenko ponenten zueinander. Auch ist die relative An- Ordnung der Brille 720 gegenüber dem Auge 780 keine Konstante. Demgemäß muß sowohl das optische System der Brille 720, d.h. diejenigen Systemkomponenten, die zur optischen Signal erfassung bzw. zur optischen Projektion beitragen, als auch ein eventuell daran angeschlossenes Verarbeitungssystem derart konzipiert und ausge- legt sein, daß solche Anordnungsveränderungen berücksichtigt und/oder kompensiert werden können bzw. keine außerordentlichen Betriebsstörungen verursachen. Dies gilt für alle Arten von interaktiven Brillensystemen.
Erfindungsgemäß läßt sich das zuvor angesprochene Problem insbesondere durch eine geeignete Signal Verarbeitung der erfaßten und der zu erzeugenden Signale bewältigen. Es können auch fest am Brillengestell in der Nahe des üblichen Strahlengangs 730 angebrachte optische Markierung von der Signal erfassungsvorrichtung 751 zwecks Eichung ihres optischen Systems regelmäßig oder bei Bedarf mit erfaßt werden.
Figur 8
Figur 8 zeigt in Form einer Abänderung der in den Figuren 5A und 5B dargestellten Brille 520 eine interaktive Brille gemäß einem vierten bevorzugten Ausführungsbeispiel, bei der die Signalerfassungsvorrichtung 851 der kombinierten Signalerfassungs- und Projektionsvorrichtungen 850 in der Lage ist, das Hornhautreflexbild mindestens partiell zu erfassen.
Die Hornhaut ist normalerweise rotationssymmetrisch zur Sehachse ausgebildet. Strahlen, die senkrecht auf einen zentralen Bereich der Hornhaut fallen, sind somit konfokal zum optischen System des Auges 880 und bilden die Basis des von der Netzheut 881 tatsäch- lieh wahrgenommenen Bildes.Zudem besteht die Hornhaut 883 zum größten Teil aus Wasser und weist aus diesem Grunde einen sehr hohen Reflektionsgrad bei einer Wellenlänge von ca. 1,1 μm auf. Da diese Wellenlänge im i nfraroten Spektral bereich liegt, eignet sich eine Erfassung des Hornhautreflexbildes vorwiegend für Infrarotanwendungen, beispielsweise bei Nachtsichtgeräten. Allerdings finden Reflektionen nicht nur an der äußeren, konkaven Hornhautoberfläche, sondern auch im Inneren der Hornhaut statt. Zudem bewirkt die Hornhaut 883 aufgrund ihrer Struktur keine spiegelartige, sondern eine diffuse Reflektion, die mit zunehmender Tiefe des Reflektion- sereignisses im Inneren der Hornhaut diffuser wird.
Um ein sinnvolles Hornhautreflexbild zu erhalten, werden im abgebildeten Ausführungsbeispiel effektiv nur diejenigen Strahlen, die senkrecht auf einen zentralen Bereich der Hornhaut fallen, erfaßt. Dies wird durch mehrere Maßnahmen erreicht. Erstens weist das vor dem Auge gelagerte Brillenglas 824, dessen dem Auge 880 zugewandte Seite mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 823 versehen ist, eine besonders gestaltete Form auf, die das senkrecht von der Hornhaut reflektierte Licht derart bündelt, daß es als beinah parallel verlaufende Lichtstrahlen 834 auf die Signalerfassungsvorrichtung 851 fällt, während nicht senkrecht von der Hornhaut reflektiertes Licht in eine andere Richtung gelenkt wird. Alternative kann das Brillenglas 824 andersartig gestaltet sein, jedoch eine teilsdurchlässige holographisch reflektierende Schicht 823 aufweisen, die ebenfalls eine derartige Bündelung des senkrecht von der Hornhaut reflektierten Lichtes bewirkt, daß es als beinah parallel verlaufende Lichtstrahlen 834 auf die Signalerfassungsvorrichtung 851 fallt, während nicht senkrecht von der Hornhaut reflektiertes Licht in eine andere Richtung gelenkt wird. Zweitens wird eine Blende 857 kurz vor der Signalerfassungsvorrichtung 851 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfallswinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 834 liegt.
Figur 9
Figur 9 zeigt in Form einer Abänderung der in den Figuren 5A und 5B dargestellten Brille 520 eine interaktive Brille gemäß einem fünften bevorzugten Ausführungsbeispiel, bei der ein sphärisches oder sphärisch wirkendes teildurchlässiges spiegelndes Zusatzele- ment 929 zwischen dem Brillenglas 924 und dem Auge 980 angeordnet ist. Bevorzugt ist das Zusatzelement 929 konfokal zum optischen System des Auges 980 angeordnet.
Der Reflektionsgrad eines solchen Zusatzelements 929 läßt sich an die Bedürfnisse des Informationssystems anpassen. Es kann zwischen einem hohen Reflektionsgrad, was eine sehr gute Erfassung auf das Auge 980 gerichteter Lichtstrahlen 933a-933c ermöglicht, und einem niedrigen Reflektionsgrad, was eine Beeinträchtigung der durch das Auge 980 erfolgenden Wahrnehmung vermeidet, gewählt werden. Bevor- zugt weist das Zusatzelement 929 einen niedrigen (beispielsweise unter 10%), über seine gesamte Reflektionsflache homogen Reflektionsgrad auf. Dahingegen weisen reflektierende Organe des Auges 980, zum Beispiel die Kornea 983 oder die Retina 981, zum Teil sehr starke örtliche Reflektionsabhängigkeiten. Ähnliche Aussagen betreffen die spektralen Reflektionsabhängigkeiten des Zusatzelements bzw. der reflektierenden Organe des Auges 980. Während das Zusatzelement 929 bevorzugt derart ausgebildet werden kann, daß es einen homogenen Reflektionsgrad über alle relevanten Spektral be- reiche aufweist, weisen die verschiedene Organe des Auges 980 sehr unterschiedliche Absorbtionsgrade auf, die in vielen Fällen auch starke örtliche Schwankungen unterworfen sind.
Außer der Teil reflektion soll das Zusatzelement 929 möglichst keine Auswirkung auf das darauf fallende Licht ausüben. Aus diesem Grund wird das Zusatzelement 929 bevorzugt aus einem homogenen lichtdurchlässigen und ungefärbten Material und mit einer in Richtung der auf den Augenmittelpunkt gerichteten Lichtstrahlen konstanten Dicke gefertigt. Durch das Aufbringen einer Antireflexbeschichtung auf der dem Auge 980 zugewandten Seite des Zusatzelements 929 läßt sich eine verbesserte Lichtdurchlässigkeit erzielen.
Die reflektierende Kontur eines solchen Zusatzelements 929 ist wohl definiert, und kann dem Informationssystem demgemäß als be- kannte Information zur Verfügung gestellt werden, während die Kontur der relevanten reflektierenden Organe des Auges 980 erst ermittelt werden muß. Letzteres kann mit zum Teil nicht unerheblichem Aufwand verbunden sein. Die Erfassung auf das Auge 980 gerichteter Lichtstrahlen 933a-933c über ein solches Zusatzelement 929 kann somit hochwertige Bilder des Blickfeldes liefern.
Im abgebildeten Ausführungsbeispiel werden effektiv nur diejenigen Strahlen, die senkrecht auf das Zusatzelement 929 fallen, erfaßt. Dies wird durch die folgenden Maßnahmen erreicht:
Aufgrund der teilsreflektierenden Oberfläche des Zusatzelements 929 wird ein entsprechender Teil derjenigen Strahlen 933a-933c, die senkrecht auf die Oberfläche des Zusatzelements 929 fallen, senkrecht zurückreflektiert, während andere Strahlen von der Ober- fläche des Zusatzelements 929 gemäß dem Reflektionsgesetz "Einfallswinkel gleich Reflektionswinkel " entsprechend schräg zurückreflektiert werden. Die senkrecht zur Oberfläche des Zusatzelements 929 zurückreflektierten Lichtstrahlen legen den gleichen Weg zurück, den sie gekommen sind, und treffen somit auf das dem Auge vorgelagerte Brillenglas 924. Die dem Auge 980 zugewandte Seite des Brillenglases 924 ist mit einer für aus dieser Richtung einfallenden Strahlen stark reflektierenden Oberfläche 923 versehen, und weist eine besonders gestaltete Form oder eine besonderes ausgebildete Beschichtung auf, die die senkrecht vom Zusatzelement reflektierten Lichtstrahlen derart bündelt, daß sie als beinah parallel verlaufende Lichtstrahlen 934 auf die Signalerfassungsvorrichtung 951 fallen, während nicht senkrecht vom Zusatzelement reflektierte Lichtstrahlen in eine andere Richtung gelenkt werden. Desweiteren wird eine Blende 957 kurz vor der Signalerfassüngsvor- richtung 951 vorgesehen, die eine Erfassung derjenigen Lichtstrahlen verhindert, deren Einfallswinkel außerhalb einem engen Einfallswinkelbereich der wie oben beschriebenen, beinah parallel verlaufenden Lichtstrahlen 934 liegt.
Soll das über das Zusatzelement 929 erfaßte Bild des Gesichtsfeldes die Grundlage für eine mit dem tatsächlich wahrgenommenen Gesichtsfeld korrelierte Projektionen, so muß die Korrelation zwischen dem erfaßten Licht und dem wahrgenommenen Gesichtsfeld ermittelt werden. Gemäß dem dargestellten fünften Ausführungsbei- spiel wird diese Korrelation durch eine bevorzugte konfokale Anordnung des Zusatzelements 929 zürn optischen System des Auges 980 erreicht. Es wird deshalb bevorzugt, daß das Zusatzelement 929 über eine justierbare Aufhängung derart an der Brille befestigt ist, daß sich die Position des Zusatzelements 929 sowohl in verti- kaier als auch in zwei horizontalen Richtungen nachjustieren läßt.
Konfokalität ist im grundegenommen dann gegeben, wenn das Zusatzelement 929, optisch gesehen, rotationssymmetrisch zur Sehachse und mit einem Abstand zur Linse 982 angeordnet ist, daß der opti- sehe Mittelpunkt des optischen Systems des Auges mit dem Mittelpunkt der durch das sphärische oder sphärisch wirkende Zusatzelement definierten Kugel übereinstimmt. Die Sehachse läßt sich zu diesem Zwecke ausreichend über die Ausrichtung der Pupille 984 bestimmen, die durch ihre scharfe Konturen leicht erkennbar ist, und deren Ausrichtung aufgrund ihrer runden Form licht bestimmbar ist. Zudem ist aufgrund der späri sehen oder sphärisch wirkenden Form des Zusatzelements 929 keine Schwenkung des Zusatzelements 929 um die möglichen Schwenkachsen des Auges 980 notwendig, um Konfokalität zu gewährleisten. Denn auch bei einer Verdrehung des Auges bleibt durch eine entsprechende vertikale und/oder horizontale Verschiebung des Zusatzelements 929 zumindest ein wesentlicher Teil des Zusatzelements 929, optisch gesehen, rotationssymmetrisch zur Sehachse. Was den Abstand zur Linse 982 betrifft, gibt es verschiedene Möglichkeiten, den notwendigen Abstand zu bestimmen. Zum Beispiel kann eine optische oder akustische Vermessung der Hornhaut 983 vorgenommen werden, deren Krümmung einen sehr guten Richtwert für die richtige Anordnung des Zusatzelements 929 angibt. Es können auch Netzhaut- oder Hornhautreflexbilder zumindest partiell erfaßt werden, und anhand eines Vergleichs der Reflexbil- der mit dem über das Zusatzelement 929 erfaßten Licht der richtige Abstand bestimmt werden.
Aufgrund der sphärischen oder sphärisch wirkenden Realisierung, beispielsweise durch eine holographische Beschichtung, der teils- reflektierenden Oberfläche des Zusatzelements 929 sowie durch diese konfokale Anordnung des Zusatzelements zum Auge 980 sind lediglich diejenigen Strahlen 933a-933c, die senkrecht auf die Oberfläche des Zusatzelements 929 fallen, konfokal zum optischen System des Auges 980 und stimmen somit mit den auf die Netzhaut fal- lenden Strahlen überein.
Figur 10
Figur 10 zeigt eine Draufsicht (Fig. 10A) und eine Frontansicht (Fig. 10B) einer Brille 1020 gemäß einem sechsten Ausführungsbeispiel, bei dem zwei Sensorvorrichtung 1061R und 1061L, beispielsweise zwei Festkörper-Kameras, zum Beispiel CCD- oder TTL-Kameras, zwecks weiterer Signalerfassung, insbesondere aus dem sichtbaren Blickfeld, vorgesehen sind. Die Figur 10B zeigt auch das linke und rechte Auge 1080L bzw. 1080R eines möglichen Trägers 1002 der Brille 1020. Der Übersichtlichkeit halber sind jedoch keine anderen Merkmale des Benutzers 1002 in der Figur 10B dargestellt.
Um das Auftreten einer Parallaxe zwischen den von der jeweiligen Kamera 1061R, 1061L und dem ihr zugeordneten Auge erfaßten bzw. wahrgenommenen Bildern zu vermeiden, sollen die Kameras 1061 den Augen bezüglich ihrer "Sehachsen" möglichst achsengleich angeordnet sein. In Anbetracht der Systemgröße solcher Festkörper-Kameras 1061 hat es sich beim heutigen Stand der Technik als sinnvoll er- wiesen, die Kameras 1061 wie abgebildet im vorderen Bereich der jeweiligen Bügelteile 1021L, 1021R anzuordnen. Auch eine Montage im Bereich des Nasenstegs 1022, z.B. in den Pads 1025, ist sinnvoll. Nach einer weiteren Miniaturisierung werden die Festkörper- Kameras 1061 im Brillengestell über den jeweiligen Brillengläser 1024L, 1024R angeordnet werden können, um eine weitere Achsengleichheit zu erreichen. Es ist absehbar, daß Festkörper- oder andersartige Lichterfassungssysteme in der Zukunft in das Brillenglas 1024, das selbstverständlich auch ein Kunststoff oder sonstiger lichtdurchlässiger Stoff sein kann, werden eingebaut werden können. Eine solche Anordnung der Kameras 1061 würde eine mit dem jeweiligen Auge 1080L, 1080R achsengleiche, beinah konfokale Signalerfassung ermöglichen.
Bei einer achsenungleichen Anordnung der Sensorvorrichtungen 1061 zu den jeweiligen Augen 1080L, 1080R sollen die aus den Sensorvorrichtungen 1061 gewonnenen Informationen gegebenenfalls in Korrelation mit den Augen 1080 gebracht werden. Eine solche Korrelation ist insbesondere dann wichtig, wenn die Sensorvorrichtungen 1061 durch Kameras 1061 real iziert werden, und ein Überlagerungsbild anhand aus den Kameras 1061 gewonnener Bildinformationen in das jeweilige Auge 1080L, 1080R projiziert werden sollen.
Wird das von den Kameras 1061 aufgenommene Bild einfach auf das jeweilige Auge 1080L, 1080R projiziert, so kommt es zur sogenann- ten Parallaxe, bei der das "Gesichtsfeld" der jeweiligen Kamera 1061L, 1061R nicht mit dem natürlich wahrgenommenen Gesichtsfeld übereinstimmt. Insbesondere bei einer von der Ruhestellung abweichenden Verdrehung der Augen 1080 oder bei im näheren Gesichtsfeld liegenden Gegenständen würde die Parallaxe bei einer Überlagerung zu einer abnormalen Wahrnehmung führen. Denn in solchen Fällen lä- ge die Sehachse des Auges 1080 schräg zur "Sehachse" der jeweiligen Kamera 1061L, 1061R.
Bei der Korrelation in diesem Sinne wird nur der Teil des Von den Kameras 1061 erfaßten Bildes in das jeweilige Auge 1080L, 1080R projiziert, der in entsprechender "Korrelation" zur Sehachse des jeweiligen Auges 1080L, 1080R liegt. Im einfachsten Fall wird durch die Signalerfassungsvorrichtung 1051 ein zumindest partielles Reflexbild des Gesichtsfeldes vom jeweiligen Auge 1080L, 1080R erfaßt. Kennzeichnende Bildpunkte, die sowohl im erfaßten Reflexbild als auch in den von den Kameras 1061 erfaßten Bilder aufzufinden sind, dienen dann als Referenzpunkte für eine perspektivisch richtige Projektion der von den Kameras 1061 erfaßten Bildinformationen auf das Auge 1080. Ähnlich können die aus dem Auge 1080 erfaßten Signale dazu dienen, die Blickrichtung des jeweiligen Auges 1080L, 1080R bezüglich dem Koordinatensystem der Brille 1020 zu bestimmen, um aus diesen Winkel Informationen eine mathematisch basierte Korrelation zu durchführen.
Allerdings ist eine Korrelation auch bei Systemanwendungen sinnvoll, bei denen die Augen 1080 an der Wahrnehmung des Gesichtsfeldes verhindert werden. Dies ist beispielsweise bei der Anwendung einer geschlossenen, sogenannten "Virtual reality" Brille 1020 (wie abgebildet, allerdings mit lichtundurchlässigen Gläsern 1024) der Fall, bei der den Augen 1080 lediglich ein künstlich erzeugtes Bild präsentiert wird. Im einem solchen Fall könnte die besprochene Korrelation zum Beispiel darin bestehen, daß die Blickrichtung des Auges 1080 wie oben beschrieben erfaßt wird, und daß ein der Orientierung des jeweiligen Auges 1080L, 1080R entsprechendes, virtuell erzeugtes Bild hineinproji ziert wird. Allerdings dient hier die Brille 1020 als Koordinatensystem. Wird jedoch noch die Lage und Orientierung der Brille 1020, beispielsweise anhand der von der Kameras 1061 erfaßten Bildern, ermittelt, so kann eine Korrelation zwischen dem jeweiligen Auge 1080L, 1080R und der Um- gebung hergestellt werden. Ein solches System ließe sich bei- spielsweise in einem virtuellen Erlebnishaus, ähnlich einem Geisterhaus, anwenden. Jedem, der gerade auf einem Laufbahn geht, könnte zum Beispiel ein virtuelles Bild in die Augen projiziert werden, das ihm das Gefühl verleiht, er liefe auf schwimmenden Baumstämmen inmitten eines wilden Flusses.
Es soll an dieser Stelle hervorgehoben werden, dass das vorstehend anhand der Figuren 5 bis 10 beschriebene Informationssystem nicht unbedingt mit einer kombinierten Signalerfassungs- und Projekti- onsvorrichtung arbeiten muß. Es ist gleichermaßen möglich, mit einer Ausführung des Systems zu arbeiten, bei der die Signalerfassungsvorrichtung von der Projektionsvorrichtung getrennt ist bzw. bei dem eine der beiden Vorrichtungen fehlt.
Figur 11
Gemäß einem siebten Ausführungsbeispiel umfaßt das erfindungsgemäße Informationssystem Mittel, die das Bereitstellen einer Fernglasfunktion ermöglichen. Die Figuren HA und 11B stellt den wahrnehmbaren Effekt der Fernglasfunktion an einen Benutzer dar. Figur HA zeigt das natürlich wahrgenommene Gesichtsfeld 1190 eines Benutzers eines gemäß dem siebten Ausführungsbeispiel gestalteten Informationssystems. Obwohl das Gesichtfeld 1190 horizontal ca. 170° und vertikal ca. 110° der Umgebung einschließt, bildet lediglich ein kleiner Bereich 1191 von wenigen Grad um die Sehachse herum den Bereich des schärfsten Sehens 1191.
Durch seine Erfassung von Licht aus dem Gesichtsfeld und die zuvor beschriebene Möglichkeit einer Projektion von Bildinformationen in das Auge kann das Informationssystem derart ausgestaltet werden, daß dieser Bereich 1191 beispielsweise auf Knopfdruck nach entsprechender Bearbeitung der erfaßten Bildpunkte mittels einer von der Informationsvorrichtung umfaßten Auswertevorrchtung optisch vergrößert auf den Bereich des schärfsten Sehens 1191 projiziert wird. Wie zuvor beschrieben, kann der Grad der Wahrnehmung eines so proj zierten Bildes im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der proji zierten Bildpunkte gesteuert werden. Wird das Gesichtsfeldlicht beispielsweise als Reflexbild aus dem Auge erfaßt, so gewährleistet eine räumliche oder zeitli- ehe Trennung der Erfassung und der Projektion, daß die Projektion die Erfassung nicht beeinflußt.
Bei einem handelsüblichen Fernglas geht dadurch, daß das gesamte Gesichtsfeld vergrößert dargestellt wird, den räumlichen Bezug zur Umgebung verloren. Als Konsequenz ist eine durch ein Fernglas schauende Person nicht in der Lage, sich gleichzeitig dabei fortzubewegen. Dieses Phenomen ist ohl bekannt.
Dadurch, daß das erfindungsgemäße Informationssystem durch seine Erfassung von Signalen aus dem Auge die Sehachse bzw. die Position der Fovea centralis relativ zum optischen System der Brille ermitteln kann, ist das Informationssystem in der Lage, diesen Nachteil eines handelsüblichen Fernglases zu vermeiden. Zum Beispiel kann die Projektion auf eine wie in Figur 11B dargestellte Art erfol- gen, bei der lediglich ein kleiner, im natürlichen Gesichtsfeld unmittelbar um die Sehachse liegender Bereich 1191 vergrößert auf die Fovea centralis projiziert wird, während keine projizierten Bildinformationen dem restlichen Gesichtsfeld überlagert werden. Somit bleibt die vom Benutzer peripher wahrgenommene Szene trotz teleskopischer Darbietung des relevantesten Bereichs des Gesichtsfeldes gleich. Um diesen Effekt zu erzielen, muß die Helligkeit der in das Auge hineinprojizierten Bildinformationen selbstverständlich so gewählt werden, daß das gewünschte Wahrnehmungsverhältnis zwischen dem natürlichen und dem projizierten Bild ent- steht. Dieses System hat auch den Vorteil, daß der für die Vergrößerung bildverarbeitungsmäßig notwendige Aufwand in Grenzen gehalten wird, denn es wird nur ein ausgewählter Bildbereich 1191 des Gesichtsfeldes 1190 bearbeitet. Gemäß einer nicht dargestellten, eleganten Ausführungsform wird ein Vergrößerungsbild derart in das Auge hineinproji ziert, daß das proji zierte Bild in einem ringförmigen Grenzbereich zwischen dem Bereich des schärfsten Sehens 1191 und dem restlichen Bereich der Netzhaut mit zunehmender Nähe zur Sehachse stärker vergrößert wird. Dabei wird am äußeren Rande gar nicht vergrößert und am inneren Rande mit dem gleichen "Zoomfaktor" vergrößert, wie das in das Innere des Rings, d.h. auf die Fovea centralis, projizierte Vergrößerungsbild. Bei entsprechend gewählter Helligkeit der pro- jizierten Bildinformationen entsteht somit ein weicher Übergang zwischen der peripheren Szene und dem teleskopisch Gesehenen.
Die Figuren 11C und HD stellen schemenhaft dar, wie eine Vergrößerung des auf die Fovea centralis natürlich fallenden Bildes durch eine Abänderung eines Abtastmusters 1138, 1139 bei der Abtastung eines Reflexbildes erreicht werden kann. Obwohl Projektionsmuster 1137 und Abtastmuster 1138, 1139 in den Figuren 11C und HD der Erläuterung halber in einer gemeinsamen Ebene dargestellt sind,' kann es bei dem erfindungsgemäßen Informationssystem durch- aus sein, daß auf die Netzhaut projiziert wird, während die Abtastung beispielsweise von der Hornhaut erfolgt.
Figur 11C stellt ein typisches Abtastmuster 1138 schematisch dar, das das das Gesichtsfeld reflektierende Gebiet 1189 der Hornhaut oder Netzhaut abtastet. Bei diesem stark vereinfachten Beispiel wird der Verständlichkeit halber davon ausgegangen, daß die jeweiligen Bildpunkte des sequentiell abgetasteten Bildes nach eventueller bildverarbeitender Aufbereitung ihrer Reihenfolge nach als korrespondierende Bildpunkte des sequentiell in das Auge proji - zierten Bildes zurückproji ziert werden. Im dargestellten Beispiel stimmt das Abtastmuster 1138 somit mit dem Projektionsmuster 1137 trotz eventueller räumlicher oder zeitlicher Trennung des Abtast- und des Projektionsstrahls überein. Ist eine Vergrößerung eines zentralen Bereichs des Gesichtsfeldes erwünscht, so kann die Abta- stung gemäß einem abgeänderten Abtastmuster 1139 erfolgen, das in j enem zentral en Berei ch ei ne Erhöhung der Di chte der abgetasteten Bi l dpunkte bewi rkt . Werden di ese mi t erhöhter Di chte aufgenommenen Bi l dpunkte bei der Projekti on korrespondi erend , jedoch mi t geri ngerer Di chte zurückproj i zi ert , so ergi bt si ch ei n vergrößertes Bi l d .
Fi gur 12
Gemäß einem achten Ausführungsbeispiel stellt das erfindungsgemäße Informationssystem ein Führungssystem dar. Zu diesem Zweck umfaßt die Informationsvorrichtung des Informationssysteme Lagesensoren, beispielsweise Beschleunigungsmeßvorrichtungen oder GPS-Empfänger, sowie eine Datenbank oder Datenbankanbindung, die Orientierungsdaten liefert. Eine derartige Datenbank läßt sich beispielsweise über einen die Daten tragenden CD-ROM, einen DVD oder ein anderes austauschbares Speichermedium in Verbindung mit einem entsprechenden Lesegerät realisieren. Verfahren und Vorrichtungen zur Gewinnung von Ortungsinformationen, die beispielsweise den Standort bestimmen oder deren Bestimmung ermöglichen, durch eine Kombination solcher Orientierungsdaten mit aus den Lagesensoren gewonnenen Daten sind bekannt. In einer typischen Vorrichtung umfassen die Orientierungsdaten Karteninformationen, die in Zusammenhang mit aus den Lagesensoren gelieferten Signalen zur Ortsbestimmung verwendet werden. Die Herstellung einer Korrelation oder einer Abhängigkeit beispielsweise bei der Gewinnung oder der Darstellung solcher Ortungsinformationen zwischen aus dem Auge erfaßten Signalen oder aus dem Gesichtsfeld erfaßten Licht und dem Zurverfügungstellen der Informationen übersteigt das Fachnotorische jedoch bei weitem.
Die Figuren 12A bis 12E zeigen das wahrgenommene Gesichtsfeld 1290 eines Benutzers eines gemäß dem achten Ausführungsbeispiel gestalteten Informationssystems. Bei einem solchen Informations- bzw. Führungsssyste wird das erfaßte Gesichtsfeldlicht in Anbetracht der gewonnenen Ortungsinformationen mittels einer Mustererkennung unter Berücksichtigung der für den ermittelten Aufenthaltort zur Verfügung stehenden Daten ausgewertet. Dabei werden für den ermittelten Aufenthaltort zu erwartende Orientierungshinweise, wie markante Bauten, Seitenstraße, o. ä., erkannt, so daß eine beispielsweise visuelle oder akustische Führung bzw. Identifizierung ggf. erfolgen kann.
Im dargestellten Beispiel gemäß Figur 12A dient das Führungssystem der Navigation. Dabei wir beispielsweise anhand einer berechneten oder vorgegebenen Route, zur Verfügung stehender Karteninformation und des momentanen Aufenthaltortes festgestellt, daß in die übernächste Straße auf der rechten Seiten eingebogen werden soll. Diese Straße wird auf der Basis des erfaßten Gesichtsfeldlichts mittels einer Mustererkennung erkannt, woraufhin ein auf die Straße weisender Hinweispfeil per Projektion unter Berücksichtung der durch das System ermittelten Blickrichtung ortsgetreu in das Gesichtfeld eingeblendet wird. Ähnlich könnte das Führungssystem dem Verkehrsteilnehmer akustische Mitteilungen liefern, beispielsweise "Rechts abbiegen nach 50m" oder "Jetzt rechts".
Im in den Figuren 12B und 12C dargestellten Beispiel dient das Führungssystem der Information. Zum Beispiel kann einem Benutzer Information über seine unmittelbare Umgebung wahlweise zur Verfügung gestellt werden. Gemäß Figur 12B schaut ein das Informationssystem benutzender Tourist ein markantes Gebäude an und betätigt eine physikalisch vorhandene oder virtuell in das Gesichtsfeld eingeblendete Aktivierungstaste. Das Gebäude wird anschließend anhand des ermittelten Aufenthaltortes und einer auf das erfaßte Gesichtsfeldlicht basienden Mustererkennung oder eines die Kopfrichtung bestimmenden elektronischen Kompasses bestimmt, woraufhin In- formationen zu dem Gebäude zur Verfügung gestellt werden. Diese können aus einer Datenbank oder sonstiger Informationsquelle stammen und ließen sich beispielsweise interaktiv über ein kontextabhängiges Menü, das die zur dem jeweiligen Gebäude zur Auswahl stehenden Informationen visuell oder akustisch auflistet, auswählen. Di.e Selektion könnte über eine Sprachsteuerung oder durch eine Fi- xierung mit den Augen erfolgen. Näheres zur augengesteuerten Menüführung wird in einem späteren Abschnitt dieser Beschreibung erläutert.
Gemäß Figur 12B werden historische Daten per Projektion in das Gesichtsfeld eingeblendet. Dabei ermittelt das System aus dem erfaßten Gesichtfeldlicht eine geeignete Einblendestelle, beispielsweise vor einem eintönigen Dach oder vor dem Himmel. Entsprechend der Einblendstelle werden die Daten eingeblendet. Typischerweise wird die Fovea centralis vorerst nicht auf die Einblendstelle gerichtet sein, weshalb die eingeblendeten Daten vorerst als unscharfe peri- phere Erscheinung wahrgenommen werden. Erst durch eine entsprechende Schwenkung der Blickrichtung gemäß Figur 12C werden die ortsfest eingeblendeten Daten auf die Fovea centralis abgebildet. Wird der Blick auf ein anderes vom System erkanntes Gebäude gerichtet, so können sich die eingeblendeten Information gemäß den Figuren 12D und 12E ändern. In den Figuren stellt der Kreis 1290 das wahrgenommene Gesichtsfeld dar, während der Kreis 1291 den von der Fovea centralis erfaßten Bereich des Gesichtsfeldes kennzeich- net.
Durch eine wie in der Figur 1 dargestellte, kompakte und tragbare Bauweise könnte ein solches Orientierungssystem von einem Füßgänger, einem Radfahrer, einem Motorradfahrer oder einem sonstigen Fahrzeugfahrer getragen werden.
Figur 13
Gemäß einem in den Figuren 13A und 13B dargestellten, neunten Aus- führungsbei spiel fungiert das erfindungsgemäße Informationssystem als Fahrhilfe. Die Figuren zeigen das wahrgenommene Gesichtsfeld 1390 eines Benutzers eines solchen Systems.
Bevorzugt umfaßt die Informationsvorrichtung des Informationssy- stems einen Abstandssensor, beispielsweise einen optischen oder akustischen Abstandsmeßgerät oder eine Radarvorrichtung, oder ist an ein entsprechendes abstandmeßendes System angeschlossen, das den Abstand zwischen einem Fahrzeug und sich in Fahrtrichtung vor dem Fahrzeug befindlichen Gegenständen ermittelt. Bei einer ste- reoskopi sehen Erfassung von Licht aus dem Gesichtsfeld könnte όer Abstand mittels einer Paralaxeberechnung ermittelt werden, bei der die Änderung der Position des Gegenstands in einem jeweilig links und rechts erfaßten Bild Auskunft über den Abstand vermittelt.
Wird zum Beispiel über eine ebenfalls von der Informationsvorrichtung umfaßte Auswertevorrichtung festgestellt, daß das Fahrzeug sich auf Kollisionskurse mit dem Gegenstand befindet, so kann beispielsweise ein Warnzeichen 1395 in den Bereich des schärfsten Sehens 1391 und ein Warnkreis 1394 um den gefährlichen Gegenstand mittels einer Wie zuvor beschriebenen Projektion eingeblendet werden. Befindet sich der Gegenstand außerhalb oder am Rande des Bereichs des peripheren Sehens, so kann ein weiteres Warnzeichen 1395a darauf hinweisen, wo der Gefahr sich birgt. Dies ist in der Figur 13A dargestellt.
Über Sensoren oder dem erfaßten Gesichtsfeldlicht lassen sich auch andere der Fahrsicherheit relevanten Informationen ermitteln. Zum Beispiel könnte eine Auswertevorrichtung die Fahrbahnmarkierungen einer innerhalb des Gesichtsfeldes liegenden Fahrbahn per Muster- erkennung erkennen und daraus die höchstmögliche Geschwindigkeit, insbesondere bei Kurven, berechnen. Stellt das Informationssystem selbstständig oder durch Anbindung an das Instrumentensystem eines Fahrzeug fest, daß das Fahrzeug diese errechnete Höchstgeschwindigkeit überschritten hat, so kann ein Warnzeichen 1395 in den Be- reich des schärfsten Sehens 1391 eingeblendet werden. Dies ist in der Figur 13B dargestellt. Der Vorteil einer Einblendung des Warnzeichens 1395 im Bereich des schärfsten Sehens 1391 liegt darin, daß das Zeichen 1395 dort erscheint, wo das Auge hinschaut, und leitet dem Auge deshalb nicht dazu, von der vorliegenden Szene wegzuschauen. Aus diesem Grunde soll -die Helligkeit eingeblendeter Zeichen so gewählt werden, daß die Zeichen transluzent erscheinen. Auf die Gefahr kann auch akustisch hingewiesen werden.
Figur 14
Die Figuren 14A und 14B zeigen ein erfindungsgemäßes Informationssystem gemäß einem zehnten Ausführungsbeispiel, das die Möglichkeiten eines komplexen, vielseitigen Informationsystem verdeutlicht. Im konkret dargestellten Beispiel weist das dargestellte Informationsystem eine mobile Feuerwehrleitzentrale 1410, die einen Kommandopult 1412 umfaßt, sowie mehrere Helmsysteme 1411 auf.
Jedes der Helmsysteme 1411 umfaßt eine wie zuvor beschriebene Signalerfassungsvorrichtung sowie eine Gesichtsfelderfassungsvor- richtung. Wahlweise kann jedes der Helmsysteme 1411 mit einer Projektionsvorrichtung, Infrarotsensoren und/oder Lagesensoren ausgestattet werden. Sie können auch mit weiteren Sensoren ausgestattet werden, die beispielsweise eine Bestimmung der Luftqualität ermöglichen.' Zu Kommunikationszwecken ist jeder der Helme 1411 bei - spielsweise mit einem Funkübertragungssystem ausgestattet, das mit der Leitzentrale 1410 bzw. dem Kommandopult 1412 kommuniziert, und das durch sein Senden Und Empfangen von Informationen sowohl Aufgaben einer Informationsvorrichtung als auch Aufgaben einer Ausgabevorrichtung übernimmt.
Bevorzugt werden die von den jeweiligen Helmen 1411 erfaßten Ge- sichtsfeldbilder, die auf der Basis der aus den Augen erfaßten Signale mit dem tatsächlich wahrgenommenen Gesichtsfeld des jeweiligen Feuerwehrmanns in Übereinstimmung gebracht werden können, an den Kommandopult 1412 übertragen und dort auf Monitore dargestellt. Zwecks einer Reduktion der zu übertragenden Datenmengen könnten Bediener des Kommandopults 1412 ebenfalls ein projizieren- des Brillensystem tragen, damit lediglich die auf den Bereich der Fovea centralis des Bedieners fallenden Bilddaten in hoher Auflö- sung übertragen bzw. erfaßt werden müssen. In das Auge des Bedie- ners könnte ein korreliertes Gesichtsfeldbild eines einzelnen Feuerwehrmanns, oder ein Mosaik mehrerer Bilder hineinproji ziert werden. Dabei könnte der Bediener genau das sehen, was der Feuerwehrmann sieht, oder ein sich in Abhängigkeit von seinen eigenen Au- genbewegungen veränderndes Bild aus dem Blickfeld des Feuerwehrmanns zur Verfügung gestellt bekommen.
Bei einer etwaigen Projektionen könnte dem Bediener und/oder dem Feuerwehrmann zusätzliches Information in das proji zierte Bild hineingeflochten werden. Beispielsweise könnte durch die Lagesensoren bzw. Infrarotsensoren gewonnene Orientierungs- bzw. Temperaturinformationen in das Gesichtsfeld hineingeblendet werden. Die stetige Einblendung bestimmter Himmelsrichtungen, wie Nord und West, sowie von höhen Angaben wäre sowohl dem dem gesehenen Ge- schehen entfernten Bediener als auch dem durch Rauch und Qualm verschleierten Feuerwehrmann eine hilfreiche Bezugsangabe.
Durch eine entsprechende Aufbereitung der erfaßten Lageinformationen könnte aufgrund der inhärenten Vernetzung der Systemkomponenten jedem Feuerwehrmann die Position seiner Kollegen, beispielsweise mit einem kennzeichnendem "X", oder die Lage und Schwere der gesichteten oder auf sonstige Art erfaßten Feuerherde, beispielsweise mit einem der Feuerstärke entsprechend farbig gekennzeichneten Punkt , eingeblendet werden. Dies würde die Feuerbekämpfung erleichtern und die Wahrscheinlichkeit eines versehentlichen Verletztens eines hinter Rauch oder einer Wände unsichtbaren Kollegen verringern.
Figur 15
Die Figur 15 zeigt ein erfindungsgemäßes Informationssystem gemäß einem elften Ausführungsbeispiel, bei dem das Informationsystem dem Bedienen eines externes System, beispielsweise eines zur Bewegung von gefährlichen Gegenständen ausgelegten, ferngesteuerten Roboters 1570, dient. Gemäß der Abbildung umfaßt der auf Räder beweglicher Robot 1570 eine Kammeravorrichtung 1571 sowie einen Greifarm 1572. Der Roboter 1570 ist beispielsweise über eine Funkverbindung mit einem von einem Benutzer 1502 getragenen Brillensystem 1520 verbunden. Die über die Kameravorrichtung 1571 mono- oder stereoskopisch erfaßten Bilder ließen sich mit einer vom Brillensystem 1520 umfaßten Projektionsvorrichtung mono- bzw. stereoskopisch auf die Netzhaut des Benutzers 1502 projizieren. Bei einer stereoskopischen Projektion wäre ein räumliches Sehen gewährleistet.
Verfügt die Kameravorrichtung 1571 über eine makroskopische Objektiv, die ein breiteres "Gesichtsfeld" aufweist, als das Gesichtsfeld des Benutzers 1502, so kann das vom Benutzer 1502 gesehene Gesichtsfeld durch eine entsprechende Auswahl eines Bildausschnitts aus dem von der Kameravorrichtung 1571 gelieferten Bild, wie zuvor beschrieben, in Abhängigkeit von den erfaßten Au- genbewegen des Benutzers 1502 mit dem fernen Bild in Korrelation gehalten werden. Ansonsten ließe sich die Kameravorrichtung 1571 in Korrelation mit den Augenbewegungen schwenken. Es können auch über Lagesensoren die Bewegungen des Kopfes des Benutzers 1502 derart erfaßt werden, daß die Kameravorrichtung 1571 in Korrelation mit den Kopfbewegungen mitschwenkt. Das erfindungsgemäße Informationssystem bietet somit ein bisher unerreichtes Maß an visu- eller Echtheit bei der Wahrnehmung einer entfernten Szene, was die Steuerung eines solchen externen Systems 1570 erheblich erleichtert.
Durch das Anbringen einer Mikrofon, insbesondere einer in Abhän- gigkeit der Kopfposition oder der Blickrichtung ausgerichteten Richtmikrofon, an das externe System in Verbindung mit einer Kopfhöreranordnung am Brillensystem läßt sich eine weitere sensorische Dimension realisieren. Um eine weitere Bedienung des Roboters 1570 zu ermöglichen, ist ein manuell bedienbarer Steuerknüppel 1525 beispielsweise über ein Kabel 1526 mit dem Brillensystem 1520 verbunden. Hierdurch ließe sich zum Beispiel den Greifarm 1572 oder die Fahrtrichtung des Ro- boters 1570 in mehrere Richtungen steuern.
Figur 16
Die Figur 16 stellt ein erfindungsgemäßes Informationssystem gemäß einem zwölften Ausführungsbeispiel schematisch dar, bei dem ein Brillensystem 1620 als universelle Fernbedienung für ein oder mehrere Geräte fungiert, zum Beispiel ein Computer, ein Videorekorder 1676, einen Drucker 1677, einen Diaprojektor und/oder ein Telefon 1679.
Im dargestellten System stellt das Brillensystem 1620 eine in zwei Richtungen übertragende Schnittstelle zwischen einem Benutzer 1602 und dem zu bedienenden Gerät 1675-1679. Zuerst muß das Gerät 1675- 1679 erkannt werden. Dies erfolgt im Sinne der Erfindung grund- sätzlich über ein Anvisieren des zu bedienenden Geräts 1675-1679 mit der Fovea centralis. Die Identität des anvisierten Geräts 1675-1679 läßt sich entweder mit oder ohne die Mithilfe des Geräts 1675-1679 bestimmen. Im folgenden wird davon ausgegangen, daß sowohl das Gerät 1675-1679 als auch die Brille 1620 mit den für die beschriebenen Vorgänge notwendigen Signalempfangs- bzw. -sendevor- richtung ausgestattet werden.
Wird die Identität mit der Mithilfe des Geräts 1675-1679 bestimmt, so strahlt dieses Gerät 1675-1679 entweder in mehr oder minder re- gelmäßigen Intervallen ein Kennsignal aus, beispielsweise ein Infrarot- oder Ultraschall signal , oder es wird von einer von der Brille 1620 ausgestrahlten Aufforderungssignal aufgefordet, ein Kennsignal auszustrahlen. Das Aufforderungssignal muß lokalisiert in Richtung Blickrichtung ausgestrahlt werden, um ein Ansprechen anderer Geräte zu vermeiden. Das vom Gerät 1675-1679 ausgestrahlte Kennsignal wird von der Brille erkannt, woraus auf die Identität des Gerätes geschlossen wird.
Wird die Identität ohne die Mithilfe des Geräts 1675-1679 bestimmt, so nimmt die Brille 1620 in Zusammenarbeit mit einer Datenbank oder sonstige Informationsquelle 1640, die Mustererkennungsdaten für die jeweilig ansprechbaren Geräte 1675- 1679 enthält, eine Mustererkennung des anvisierten Bereichs des Gesichtsfelds vor.
Anhand der Identität des Geräts 1675-1679 wird ein der möglichen Funktionen des Geräts angepaßtes Menü in das Gesichtsfeld des Benutzers 1602 ggf. auf Tastendruck oder Augenzwinkern ortsfest eingeblendet. Ist die Funktionalität der Brille nicht ohne weiteres bekannt, so werden zuerst die entsprechenden Informationen aus einer Datenbank oder einer sonstigen Informationsquelle 1640, beispielsweise durch standardisierte Abfrage des Geräts selbst, in Kenntnis gebracht. Hier kann eine in das Abfragesignal eingebettete Identifizierung des Geräts dafür sorgen, daß lediglich das ge- wünscht Gerät auf die Abfrage antwortet. Dadurch, daß das Menü ortsfest in das Gesichtsfeld eingeblendet wird, kann der Benutzer 1602 das ggf. hierarchische Menü durch geringfügige Augenbewegungen wie ein Computermenü bedienen.
Nachdem die gewünscht Funktion ausgewählt worden ist, wird ein der Funktion entsprechendes Signal von der Brille 1620 an das Gerät 1675-1679 gesandt. Hier kann eine in das Signal eingebettete Identifizierung des Geräts dafür sorgen, daß lediglich das gewünscht Gerät auf das Signal reagiert.
Auf diese Art und Weise konnte mit geringer Hardwareaufwand eine schnelle und einfache Bedienung vieler Geräte erzielt werden.
Figur 17 Die Figuren 17 zeigt ein optisches System gemäß einem dreizehnten Ausführungsbeispiel, bei dem ein Kippspiegel 1755 ein Umschalten zwischen einer Aufnahme aus dem Gesichtsfeld und einer Aufnahme aus dem Auge 1780 oder einer Projektion auf die Netzhaut 1781 er- möglicht.
Der Vorteil dieses optischen Systems liegt darin, daß die gleichen Taumel Spiegel 1754H und 1754V für eine Aufnahme aus dem Gesichtsfeld und für eine Projektion auf die Netzhaut 1781 verwendet wer- den kann, und daß der Strahlengang für eine Aufnahme aus dem Gesichtsfeld und der Strahlengang für eine Aufnahme aus dem Auge 1780 bzw. eine Projektion auf die Netzhaut 1781 dementsprechend zum Großteil identisch sind. So wird schon durch das optische System eine hohe Korrelation zwischen dem aus dem Gesichtsfeld er- faßte Licht und den aus dem Auge erfaßten Signale bzw. eine hohe Korrelation zwischen dem aus dem Gesichtsfeld erfaßte Licht und dem auf die Netzhaut proji zierte Bild erzielt. Das heißt, es werden keine zusätzliche Korrelationsfehler dadurch versucht, daß die besprochenen Strahlengänge über verschiedene Taumel Spiegel verlau- fen, die unterschiedliche Rotationscharakteristika aufweisen könnten. Für Lichterfassung aus dem Gesichtsfeld und Lichterfassung aus dem Auge kann sogar die gleiche Lichterfassungvorrichtung 1751 verwendet werden. Lediglich durch die Reflektion am Brillenglas 1724 und das optische System des Auges 1780 kann die Korrelation negativ beeinflußt werden.
Ni cht-dargestel 1 te Ausführungsbei spi el e
Ergänzend zu den in den Figuren dargestellten Ausführungsbeispie- len werden nachstehend weitere möglichen Ausführungsformen des erfindungsgemäßen Informationssystem zwecks einem besseren Verständnis der Erfindung beschrieben.
TV / Zeitung Bisherige elektronische Bücher bzw. Zeitungen haben den Nachteil, zu schwer und/oder zu unhandlich zu sein, und können außerdem nur eine begrentze Informationsmenge pro Seite darstellen. Auch tragbare Video- und Fernsehgeräte sind schwer und/oder unhandlich. ird das erfindungsgemäße Informationssystem derart ausgebildet, daß das Zuverfügungstellen von Informationen eine Projektion von Bildinformationen in das Auge umfaßt, so lassen sich verschiedene visuell bezogene Medien, beispielsweise elektronische Bücher oder Zeitungen, Fernsehen oder Videospiele, durch das Informationssy- ste verwirklichen. Dabei wird das erfindungsgemäße Informationssystem zum Beispiel, wie oben beschreiben, in Form einer tragbaren Brille realiziert, die über eine Kabel-, Infrarotoder Funkverbindung beispielsweise an ein Informationsnetz, eine tragbare Speichervorrichtung, zum Beispiel ein CD-ROM- oder DVD- Lesegerät, oder eine sonstige Informationsquelle angeschlossen werden kann.
Ein Vorteil einer derartigen Ausbildung des erfindungsgemäßen Informationssystems liegt darin, daß seine Erfassung von Signalen aus dem Auge in Zusammenhang mit seiner Gesichtsfelderfassung eine Projektion ermöglicht, bei dem der proji zierte Text bzw. die pro- jizierte Bilder im Raum fixiert zu sein scheint. Zu diesem Zweck umfaßt die Informationsvorrichtung eine Auswertevorrichtung, die die Korrelation der Sehachse zum Blickfeld ermittelt, und die die Projektion entsprechend steuert, so daß die auf das Auge projizierten Informationen vis-ä-vis dem Blickfeld trotz Bewegungen des Auges unbeweglich zu sein scheinen. Die Ermittlung der Korrelation der Sehachse zur Umgebung kann auch durch in der Brille angebrachte Lagesensoren unterstützt werden.
Der virtuelle Ort der Fixierung kann beispielsweise über eine Fixierung mit den Augen in Zusammenhang mit einem Augenzwinkern oder Tastendruck oder auch automatisch, zum Beispiel mittels einer bildverarbeitenden Auswertung des Blickfelds, die ein möglichst inhaltsarmes Gebiet des Blickfelds ermittelt, festgelegt werden. Die störende Wirkung des durch die Projektion der Informationen nicht notwendigerweise abgedeckten, natürlichen Gesichtsfeldes ließe sich durch ein farbkomplementäres "Auswischen" verringern, bei dem komplementärfarbige Bildpunkte anhand des aus dem Ge- sichtsfeld erfaßten Lichts ermittelt werden, deren korrelierte Projektion auf die jeweilig zugeordnete Gebiete der Netzhaut den natürlichen Hintergrund durch Farbaddition als weiß erscheinen läßt. Ist ein schwarzer Hintergrund erwünscht, so muß, wie zuvor beschrieben, die empfundene Gesamthelligkeit der Projektion die empfundene Gesamthelligkeit des natürlichen Gesichtsfeldes um ca. 10% bis 20% überschreiten, damit auch die hellsten Punkte des natürlichen Gesichtsfeldes als schwarz empfunden werden.
Zu Bedienungszwecken könnten Bildinformationen, die virtuelle Be- dienungsknöpfe darstellen, derart in das Auge hineinprojiziert werden, daß sie in der Nähe des Textes bzw. Bildes im Gesichtsfeld ebenso fixiert erscheinen. Somit ließe sich das virtuelle Informationsmedium mittels Anvisieren des entsprechenden Bedienungsknopfes mit der Fovea centralis plus Tastendruck oder Augenzwinkern fernbedienen, d.h. Umblättern, Vorspulen, Zurückspulen, o.a. Ähnlich könnte ein Zugriff auf Lexika, Datenbanken, u.s.w. durch das Anvisieren von dargestellten Wörtern oder Bildteile ermöglicht werden. Anstatt Bedienungsknöpfe ließe sich das Informationssystem beispielsweise auch über eine Menüführung bedienen, bei der Be- dienmenüs bei der Betrachtung bestimmter Bildbereich "aufspringen", um ein augengesteuertes Auswählen aus dem ggf. hierarchisch aufgebauten Menü zu ermöglichen.
Ein weiterer Vorteil einer derartigen Ausbildung des erfindungsge- mäßen Informationssystems liegt darin, daß die für eine ausreichende momentane Darstellung notwendige Datenmenge bei weitem geringer ist, als die Dateπmenge, die für hochauflösende Darstellung des gesamten Gesichtsfeldes notwendig wäre. Dies liegt der Tatsache zugrunde, daß das Informationssystem den Bereich des schärf- sten Sehens kennt. Somit müssen nur diejenigen Teile der Projek- tion mit hoher Auflösung erfolgen, die den Bereich der Fovea centralis betreffen. Auf sonstige Gebiete der Netzhaut genügt eine Projektion mit geringer Bildpunktdichte. Dementsprechend reduziert sich die für eine momentane Darstellung notwendige Datenmenge, was deutliche Systemvorteile mit sich bringt. Insbsondere läßt sich die empfundene Größe des projizierten Bildes beliebig wählen, ohne daß unbearbeitbar große Datenmengen zur Präsentation des momentanen Bildes die Folge sind.
Ist das projizierte Bild größer als das Gesichtsfeld, dann bestimmt die momentane Sehachse den Bildausschnitt. Die Projektion erfolgt derart, daß der aktuelle Bildausschnitt den gesamten aktiven Bereich der Netzhaut füllt. Durch Augenbewegung können weitere Ausschnitte des Bildes in das Gesichtsfeld hineingebracht werden. Ist das projizierte Bild kleiner als das Gesichtsfeld, so muß lediglich auf einen beschränkten Teil der Netzhaut projiziert werden. Wird der natürliche Gesichtfeldhintergrund nicht ausgeblendet, so ändert sich dieser bei Augenbewegungen. Insbesondere bei fernseh- oder kinoartigen Infor ationsdarstellungen ist eine das Gesichtsfeld genau füllende Projektion bevorzugt.
Werden Signale aus beiden Augen eines Benutzers erfaßt, so kann die Projektion stereoskopisch erfolgen, wobei jedem Auge ein derart geringfügig unterschiedliches Bild zugespeist wird, daß das Gehirn ein dreidimensionales Gesamtbild wahrzunehmen glaubt. Somit ließe sich eine optimale System-Mensch-Schnittstelle beispielsweise für 3D-Fernsehen, 3D-Videospiele, 3D-CAD-Anwendungen oder sonstige, insbesondere interaktive, 3D-Anwendungen verwirklichen. Bevorzugt umfaßt das Informationssystem weitere Bedienelemente, zum Beispiel ein Steuerknüppel, Pedal oder Lenkrad, die eine Navigation bzw. Perspektivwechsel innerhalb des dargestellten virtuellen Bildes oder eine sonstige Beeinflussung der Informationsdarbietung oder eines mit der Informationssystem verbunden Systems ermöglicht. Wie zuvor beschrieben, kann auch das Auge selbst als Bedie- nelement fungieren. Unter entsprechender Anwendung der vorstehend für die Positionierung einer elektronischen Zeitung an einem virtuellen Ort erforderlichen Maßnahmen ist es gleichermaßen möglich, dem Träger des erfindungsgemäßen Informationssystems andere Orientierungshilfen auf die Netzhaut zu spielen, wie z.B. einen künstlichen Horizont.
Ophthamologische Anwendungen / Sehhilfen
Aufgrund ihrer Erfassung aus dem Auge zurückreflektierter Signale eignet sich das erfindungsgemäße Informationssystem hervorragend zur Ausgestaltung als ophthamologisches System. Zum Beispiel läßt sich das erfindungsgemäße Informationssystem als Positioniersystem für die ophthamologische Chirugie, insbesondere für die ophthamo- logische Laserchirugie, realisieren. Auch als ophthamologisches Diagnosesystem, Sehhilfesystem und/oder Sehfehl erkorrektursystem findet das erfindungsgemäße Informationssystem beispielsweise Anwendung.
Die meisten Strukturen oder Organe des Auges sind im Vergleich zu manuellen Bewegungen sehr klein. Erkrankungen und Beschädigungen dieser Strukturen bzw. Organe betreffen häufig nur einen kleinen, mikroskopischen Bereich. Im Gegensatz zu vielen anderen Körperpartien lassen sich die Augen jedoch nicht fixieren, was die Behand- lung evtl. Erkrankungen oder Verletzungen des Auges besondere erschweren.
Aufgrund der Fähigkeit des erfinderungsgemäßen Informationssystems, Bewegungen des Auges genau verfolgen Und Informationen be- züglich der augenblicklichen Stellung des Auge auch anderen Systemen zur Verfügung stellen zu können, lassen sich diese Schwierigkeiten durch ein therapeutisches System auf der Basis des erfinderungsgemäßen Informationssystems überwinden. Zum Beispiel kann das therapierende System derart mit dem erfindungsgemäßen Informati- onssystem zwecks Informationsaustausch verbunden sein, daß Infor- mationen bezüglich der augenblicklichen Stellung des Auge dem the- rapierenden System zur Verfügung gestellt werden, so daß eine punktgenaue automatisierte Therapie des Auges auch bei bewegten Augen erfolgen kann.
Gemäß einem anderen Ausführungsbeispiel wird ein therapierender Laserstrahl über das optische System des erfindungsgemäßen Informationssystem gelenkt. Eine Laserbehandlung des Auges, insbesondere der Netzhaut, kann somit auf gleiche Art wie eine wie zuvor be- schri ebene Projektion erfolgen. Beispielsweise können krankhafte Adern der Aderhaut dadurch verödet werden, daß ein photoempfindliches Mittel eingespritzt oder eingenommen wird, und daß krankhafte Stellen der Aderhaut über mehreren Zehn Sekunden punktgenau bestrahlt werden. Eine derartige Therapie läßt sich mit Hilfe der erfindungsgemäßen Informationssystem präzis ausführen.
Um als Sehhilfe- und/oder Sehfehl erkorrektursystem Anwendung zu finden, umfaßt die Ausgabevorrichtung des Informationssystems eine Projektionvorrichtung, die sichtverbessernde Bildinformationen auf die Netzhaut projiziert. Zudem wird die Informationsvorrichtung eine Auswertevorrichtung umfassen, die die sichtverbessernde Bildinformationen anhand des aus dem Gesichtsfeld erfaßten Lichts ermittelt. Die sichtverbessernden Bildinformationen werden bevorzugt derart in Korrelation mit den aus dem Auge erfaßten Signalen auf die Retina projiziert, daß das natürlich wahrgenommene Gesichtsfeld und die projizierten Bildinformationen als einheitliches Bild wahrgenommen werden. Im Extremfall werden die sichtverbessernden Bildinformationen derart auf die Retina projiziert, daß das ansonsten natürlich wahrgenommene Gesichtsfeld vom Auge gar nicht wahr- genommen wird. Wie zuvor beschrieben, kann der Grad der Wahrnehmung eines so projizierten Bildes im Verhältnis zum natürlich wahrgenommenen Bild durch die Helligkeit der projizierten Bildpunkte gesteuert werden. Durch ein derartiges Informationssystem läßt sich beispielsweise eine Sehfehlerkorrektur für Kurz- oder Weitsichtige sowie bei Farbsehschwäche durchführen. Bei der Korrektur einer Kurz- bzw. Weitsichtigkeit kann das Informationssystem auf eine (quasi - ) festen Korrektur eingestellt werden, eine veränderbare Korrektur ermöglichen, oder sich dynamisch auf den Sehfehler automatisch einstellen. Die Korrektur erfolgt über ein ggf. einstellbares optisches Fokussiersystem innerhalb der Projektionsvorrichtung oder durch bildverarbeitende Maßnahmen. Letzteres läßt sich mit gerin- gern Systemaufwand realisieren.
Implementierungen mit (quasi-) fester oder veränderbarer Korrektur sind durch ihre inhärente Ähnlichkeit zu ähnlichen optischen Systemen für den Fachmann ohne weitere Erklärung verständlich. Eine Realisierung mit einer dynamischen, automatischen Korrektur des natürlichen Abbildungsfehlers umfaßt neben der oben beschriebenen Korrelation eine weitere Abhängigkeit zu den vom Auge erfaßten Signalen. Insbesondere wird dabei ein Netzhautreflexbild erfaßt, das durch Vergleich mit dem aus dem Gesichtsfeld erfaßten Licht und/oder durch eine bildverarbeitende Auswertung Auskunft über die Schärfe des auf der Netzhaut abgebildete Bild liefert. Entsprechend wird das aus dem Gesichtsfeld erfaßte Licht in sichtverbessernde Bildinformationen aufbearbeitet und auf die Retina projiziert. Durch Ausgabe des so ermittelten Korrekturwertes kann das Informationssystem als Diagnosesystem fungieren.
Durch seine Erfassung aus dem Auge zurückreflektierter Signale und aus dem Gesichtsfeld stammenden Lichtes ist das erfindungsgemäße Informationssystem mittels einer entsprechend programmierten Aus- Wertevorrichtung in der Lage, Auskunft über viele ophthamologisch relevanten Eigenschaften des Auge zu geben. Zum Beispiel lassen sich Schielwinkel, Primär-Positionen (PP), Gesichtsfeldbestimmungen auch mit Farben, Schwel Iwerttests, standardisierte Testverfahren für Glaukomadiagnose, Prüfungen von Netzhautfunktionen (beispielsweise ERG und VEP) auch an ausgewalten Orten und Prüfun- gen der rezeptiven Felder durchführen bzw. bestimmen. Die hierzu zu erfassende Signale aus dem Auge, die hierzu notwendigen Ge- sichtsfeldreize und die hierzu notwendigen Bearbeitungsalgorithmen wählt der Fachmann auf der Basis seiner Fachkenntnis und unter Be- rücksichtigung der vorstehend beschriebenen Erfindung entsprechend aus.
Während beispielsweise die Sehschärfe sich durch eine Auswertung aus dem Auge zurückreflektierter Signale feststellen und anschlie- ßend korrigieren läßt, setzt die Korrektur manch anderer Sehfehler eine systemunabhängige Feststellung des Fehlers, zum Beispiel durch einen Augenarzt, voraus. Eine passende Einstellung der durch das Informationssystem vorgenommenen Korrektur kann rekursiv oder einfach durchgeführt werden.
Bei einem rekursiven Ei nstel 1 Vorgang Wird eine Korrektur gemäß vorheriger Einstellung vom Informationssystem vorgenommen während das Sehvermögen der fehlsichtigen Person getestet wird. Anhand der Ergebnisse der Tests wird eine neue Einstellung des Informationssystems gewählt. Dieser Vorgang wird wiederholt durchgeführt, bis der Sehfehler ausreichend kompensiert worden ist. In diesem Sinne fungiert das Informationssystem gleichwohl als Diagnosesystem; denn anhand der bestkorrigierenden Endeinstellung kann der Sehfehler bestimmt werden.
Bei einem einfachen Einstell Vorgang wird das Sehvermögen der fehl - sichtigen Person ohne jeglicher Kompensation getestet. Anhand der Ergebnisse der Tests wird eine passende Einstellung des Informationssystems gewählt, das im späteren Einsatz das aus dem Gesichts- feld erfaßte Licht dann gemäß dieser Einstellung in s chtverbessernde Bildinformationen aufbearbeitet Und auf die Retina projiziert. Bei der Aufbereitung werden, der Einstellung, d.h. dem ursprünglichen Sehfehler, entsprechend, beispielsweise bestimmte Spektral komponenten oder bestimmte Bereiche des Ge- Sichtsfeldes hervorgehoben oder durch sonstige bildverarbeitenden Maßnahmen verändert.
Für Nachtblinde kann zum Beispiel eine Sehhilfe durch das erfin- dungsgemäße Informationssystem dadurch verwirklicht werden, daß das aus dem Gesichtsfeld, beispielsweise durch stark lichtempfindliche Photodetektoren, erfaßte Licht stark verstärkt auf die Retina projiziert wird. Dabei können die Zapfen derart angeregt werden, daß ein überwiegend farbiges, photopisches Sehen statt ein skotopisches Sehen stattfindet. Es wird auch die maximal erlaubte Helligkeit der einzelnen projizierten Bildpunkte auf einen vorgegebenen Schwellwert beschränkt, um ein Blenden durch hell leuchtende Gegenstände wie Straßenlaternen und entgegenkommenden Autos zu vermeiden. Ein solches System eignet sich also auch als Anti- Blend-System. Denn wird die Helligkeit des gesamten Gesichtsfelds gehoben, während die "übermäßige" Helligkeit einzelner Punkte unverändert bleibt, so werden die "übermäßig" helle Punkte nicht mehr als "übermäßig" hell empfunden. Umfaßt die Informationsvorrichtung auch einen Infrarotsensor, der Infrarotlicht aus dem Ge- sichtsfeld erfaßt, so lassen sich zusätzliche einfarbige Bildinformationen bezüglich des Gesichtsfelds bei Nacht oder Nebel gewinnen, die in den sichtbaren Spektral bereich transformiert werden können, um die schon mittels der Gesichtfei derfassungsvorrichtung und der Auswertevorrichtung gewonnen Bildinformationen aufzuwer- ten.
Auch im Allgemeinen kann das erfindungsgemäße Informationssystem dazu geeignet sein, die Sehfähigkeit zu verbessern. Beispielsweise bei starken oder schwachen Kontrasten oder bei geringer Helligkeit im Gesichtsfeld können in ihrer Helligkeit angepaßte Bildinformationen in das Auge projiziert werden, um eine verbesserte Sehfähigkeit zu ermöglichen.
Helme Die Integration des erfindungsgemäßen Informationssystem in einem Feuerwehrmannhelm wurde oben erläutert. Ähnliche Ausgestaltungen, beispielsweise als Soldaten-, Fahrer-, Kranfahrer-, Sportler- oder Pilotenhelm oder -brille sind ebenfalls denkbar.
Ein Soldatenhelm bzw. -brille auf der Basis des erfindungsgemäßen Informationssystem könnte dem Soldaten zum Beispiel bei der Orientierung und/oder bei der Zielsuche behilflich sein. In einem solchen Fall umfaßt die Informationsvorrichtung des Informationssy- stem bevorzugt Sensoren und/oder Funkempfänger, eine übersinnliche Wahrnehmung der Umgebung und/oder das Empfangen von Informationen von einer Kommandozentrale ermöglichen. Die Ausgabevorrichtung wird Informationen bevorzugt visuelle, hörbar oder taktil, zum Beispiel in Form kurzer elektrischer Reizströme an der Haut, zur Verfügung stellen. Letzteres könnte dazu verwendet werden, einen Soldaten unmittelbar über die Richtung eines von hinten zubewegenden Fremdobjekts zu informieren.
Als Nachtsichtgerät würde das Informationssystem neben der Erfas- sung von sichtbarem Licht aus dem Gesichtsfeld auch Infrarotl icht aus dem Gesichtsfeld erfassen. Wie zuvor beschrieben, können Bildinformationen aus solch erfaßtem Infrarotl icht gewonnen und bei der Aufwertung von in das Auge zu proji zierenden Bildinformationen eingesetzt werden.
Weist die Informationsvorrichtung beispielsweise einen GSP-E pfän- ger auf, so könnte der Helm Positionsinformationen oder Orientierungshilfen auf die Netzhaut proji zieren. Bevorzugt erfolgt die Projektion solcher Informationen ins Auge ähnlich der Projektion einer elektronischen Zeitung. Das heißt, es wird eine Ablenkung des Soldaten dadurch vermieden, daß das Bild der Informationen im Raum oder vis-ä-vis einer neutralen Stellung des Auges fixiert zu sein scheint. Auch eine Anpassung der Bildinformationen an den dahinter wahrgenommenen Hintergrund zwecks einer möglichst guten Lesbarkeit findet durch eine zur Informationsvorrichtung gehörende Auswertevorrichtung statt.
Auch wenn eine Funk- oder sonstige Datenübertragung vom Soldaten aus an eine Kommandozentrale aus strategischen Tarnungsgründen generell zu vermeiden gilt, könnte in bestimmten Fällen auch eine Übertragung von mit den Augenbewegungen des Soldaten korrelierte Gesichtfelddaten an eine Kommandozentrale sinnvoll sein.
In einer für Soldaten besonders interessanten Ausführungsform umfaßt die Informationsvorrichtung eine oder mehrere Kameras, die Bilder von außerhalb des Gesichtsfeldes erfassen. Die so gewonnenen Bildinformationen werden dann über eine Projektionsvorrichtung auf die Retina projiziert. Das auf das Gesichtsfeldbild proji - zierte Zusatzbild könnte zum Beispiel als Bild im Bild als kleines Bild in die Ecke des natürlichen oder projizierten Gesichtsfeldbildes projiziert werden oder als Längstreifen am unteren Rand erscheinen. Dabei dient die Erfassung von Signalen aus dem Auge zusammen mit der Gesichtsfelderfassung dazu, die proji- zierten Bilder in Korrelation mit den Bewegungen des Auges zu halten.
Beim Kranfahrer wäre es ebenfalls hilfreich, Zusatzbilder aus anderen Perspektiven in das Gesichtsfeld hineinzuprojizieren. Gleichfalls könnte das erfindungsgemäße Informationssystem Zusatzsensoren umfassen, mit deren Hilfe Entfernungs- oder Gewichtsinformationen ermittelt werden, um in das Gesichtsfeld hineinproji- ziert zu werden. Solche Informationen können beispielsweise auch beim Anblick der Last in Kombination mit einem Tastenklick hörbar oder visuell zur Verfügung gestellt werden. Dabei dient das aus dem Gesichtsfeld ermittelte Licht als Grundlage der Bilderkennung während die Signale aus dem Auge wie zuvor beschrieben eine Korrelation des erfaßten Gesichtsfelds zur Sehachse ermöglichen. Einem Piloten könnte das erfindungsgemäße Informationssystem viele verschiedenen Informationen zur Verfügung stellen. Durch eine An- bindung an das Informationssystem des Flugzeugs könnten zum Beispiel relevante Daten wie Flughöhe, Geschwindigkeit oder Flugrich- tung oder auch ein künstlicher Horizont in das Gesichtsfeld des Piloten wie beschrieben eingeblendet werden. Beim Anflug könnten zudem Landehilfeinformationen eingeblendet werden, die einen virtuellen Landekorridor darstellen, oder Höhen- oder Richtungskorrekturwerte angeben. Bei militärischer Anwendung kön- nen dem Pilot Freund/Feind- und Zielhilfeinformationen zur Verfügung gestellt werden. Hier spielt die Blickrichtung des Piloten sowohl bei der räumlichen Einblendung der Informationen als auch bei der Informationsauswahl eine Rolle. Der Pilot möchte, daß ein Flugkörper, den er mit den Augen anvisiert, identifizert wird. Falls die Idenifizierung visuell erfolgt, möchte er, daß die Einblendung keine relevanten Bereiche seines Gesichtsfeldes überdecken. Dabei sind die gegenläufige Anforderungen zu berücksichtigen, daß die relevanten Bereiche des Gesichtsfeldes typischerweise auf der Fovea centralis abgebildet werden, aber auch, daß nur die- jenigen Bilder, die auf die Fovea centralis projiziert werden, scharf abgebildet werden. Es muß also eine intelligente Einblendung erfolgen, bei der die relevanten Bereiche des Gesichtsfelds zum Beispiel über eine Bilderkennung und nicht lediglich über die Ausrichtung der Fovea centralis erkennt werden. In diesem Zusam- menhang kann das erfindungsgemäße Informationssystem auch als Untersystem zum Informationssystem des Flugzeugs fungieren und diesem Informationenen zur Verfügung stellen. So könnten beispielsweise Informationen darüber, wo der Pilot hinschaut, vom erfindungsgemäßen Informationssystem an das Flugzeuginformationssystem geliefert werden und dort zur Zielerfassung beitragen. Im Ernstfall könnte das Informationsystem feindliche Radarstellung über Sensoren orten und ihre Position mit dem dazugehörigen Gelände dreidimensional darstellen. Sportlern könnten durch das erfindungsgemäße Informationssystem wie in den vorhergehenden Beispielen verschiedene Informationen zur Verfügung gestellt werden. Mittels einer Projektion von Informationen in das Auge könnten beispielsweise Orientierungshilfen, Geschwindigkeitsinformation und/oder aufgewertete
Gesichtfeldinformationen, die eine bessere Sicht bei Dämmerung, Nacht, Regengischt oder Nebel ermöglichen, zur Verfügung gestellt werden. Insbesondere bei gehaltsarmen Informationen eignet sich ein nicht visuelles Zurverfügungstellen der Informationen. Ähnlich den vorhergehenden Beispielen kann ein von einem Sportler getragenes erfindungsgemäßes Informationssystem als Untersystem eines Sportgerätes oder eines Fahrzeuges fungieren.
Reine Informationssysteme
Eine übersinnliche Wahrnehmung läßt sich durch Ausführungsformen des erfindungsgemäßen Informationsystems erzielen, bei den die Informationsvorrichtung einen oder mehrere Sensoren beispielsweise Magnetfelddetektoren, Drucksensoren, Thermometer, Spektral senso- ren, optische oder akustische Interferenzmeßgeräte umfaßt. Insbesondere durch eine Überlagerung einer in das Auge projizierten, bildlichen Darstellung der aus den Sensoren gewonnenen Informationen auf das natürliche Gesichtsfeld entspricht die Darstellung den Bedürfnissen eines sehenden Menschen. Dabei kann das erfindungsge- mäße Informationssystem als Bestandteil, insbesondere als Präsentationseinrichtung, einer komplexen Meßeinrichtung auftreten.
Als Beispiel eines solchen Systems gilt ein mit empfindlichen Magnetsensoren ausgestattetes Brillensystem, das in der Lage ist, stromführende oder metallische Gegenstände in Relation zur Brille zu orten. Werden solche georteten Gegenstände mittels einer wie zuvor beschriebenen Projektion ortsgetreu im natürlichen Gesichtsfeld farbig gekennzeichnet, so ließen sich beispielsweise unter Putz verlaufende Wasser- oder Stromleitungen sehr leicht auffin- den. Ein ein solches Brillensystem tragender Monteur würde den Verlauf der Leitungen sozusagen "an der Wand gepinselt" sehen.
Wird ein zwei- oder dreidimensionales Array oder sonstige ein- oder mehrdimensionale Verteilung der Sensoren gewählt, so können auch beispielsweise sehr komplexe Vektorfelder oder Gradientenverläufe einem Betrachter bildlich über den dazugehörigen Gegenstand oder Anordnung sichtbar gemacht werden. Zum Beispiel könnte eine Anordnung von Drucksensoren um ein Testobjekt in einem Windtunnel herum Druckinformationen liefern, die durch das erfindungsgemäße Informationsystem wie zuvor beschrieben derart aufbereitet und in die Augen eines Betrachters, der das Testobjekt durch ein Fenster beobachtet, projiziert, daß er die durch das Testobjekt entstehenden Druckgradienten anhand entsprechender far- biger Kennzeichnung der Druckwerte dort sieht, wo sie vorhanden sind. Einem Schweißer könnten mittels einer Infrarotkamera gewonnenen Temperaturinformationen derart in sein Gesichtsfeld dargestellt werden, daß die Örtliche Oberflächentemperatur entlang den bearbeiteten Gegenstände erkenntlich ist.
Ähnlich können Spektral sensoren dazu verwendet werden, einem Benutzer Auskunft über genaue Farbwerte oder Material Zusammensetzungen zu geben. Hier bietet es sich auch an, die ermittelten Informationen, in Abhängigkeit davon, wo der Benutzer genau hinschaut, hörbar zu präsentieren. In Zusammenarbeit mit einer Datenbank und einer Mustererkennung könnte ein solches System zum Beispiel dazu verwendet werden, Pilze oder Pflanzen zumindest annähernd zu identifizieren, indem der Benutzer bestimmte Teile des Pilzes bzw. der Pflanze auf Systemaufforderung anschaut bzw. den Sensoren zuwen- det.
Zusammenfassung
Im fol genden werden anhand von Merkmal sgruppen di e wesentl i chen Punkte nochmal s zusammengefasst , di e j ewei l s für si ch und i n Kom- bi nati on mi tei nander di e Erfi ndung i n besonderer Wei se kennzei chnen :
1. Informati onssystem mi t - einer Signal erfassungsvorrichtung, die von mindestens einem eine Netzhaut aufweisende Auge zurückreflektierte Signale erfaßt; einer Informationsvorrichtung einer Ausgabevorrichtung, die Informationen in Zusammenarbeit mit der Informationsvorrichtung und in Abhängigkeit von den erfaßten Signalen zur Verfügung stellt, wobei die Signalerfassungsvorrichtung eine scannende Abtastvorrichtung umfaßt, die eine mindestens partielle Erfassung eines Netzhautreflexbildes der Netzhaut vornimmt, und das Zurverfügungstellen der Informationen keine Projektion von Informationen auf die Netzhaut umfaßt.
2. Informationssystem nach Punkt 1, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und den erfaßten Signalen um- faßt.
3. Informationssystem, bei dem die Informationsvorrichtung eine Auswertevorrichtung umfaßt, die Bildinformationen bezüglich des Gesichtsfeldes aus dem erfaß- ten Licht gewinnt; und die Ausgabevorrichtung eine Projektionsvorrichtung umfaßt, die die Bildinformation auf die Netzhaut derart in Korrelation mit den erfaßten Signalen projiziert, daß ein natürlich wahrgenommenes
Gesichtsfeld und die projizierten Bildinformationen von der Netz- haut als einheitliches Bild wahrgenommen werden.
4. Informationssystem nach einem der vorhergehenden Punkte, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und dem erfaßten Licht umfaßt. 5. Informationssystem nach einem der vorhergehenden Punkte, wobei die besagte Abhängigkeit eine mindestens einen Informationsschlüssel liefernde Musterkennung umfaßt, und die In- formationsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
6. Informationssystem nach einem der vorhergehenden Punkte, wobei die Signal erfassungsvorrichtung eine scannende Vorrichtung Um- faßt, die in einem ersten Scanvorgang eine mindestens partielle Erfassung des Netzhautreflexbildes aufnimmt und in einem späteren Scanvorgang eine weniger umfangreiche Erfassung des Netzhautreflexbildes vornimmt.
7. Informationssystem nach einem der vorhergehenden Punkte, wobei die Signal erfassungsvorrichtung das Netzhautreflexbild nur teilweise oder gar nicht erfaßt.
8. Informationssystem nach einem der vorhergehenden Punkte, wo- bei die Gesichtsfelderfassungsvorrichtung eine sphärisch oder sphärisch wirkende Reflektionsschicht aufweist, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvorrichtung zur Erfassung ablenkt.
9. Informationssystem nach einem der vorhergehenden Punkte, wobei die Gesichtsfelderfassungsvorrichtung und/oder die Signalerfassungsvorrichtung das Hornhautreflexbild des Auges mindestens teilweise erfaßt.
10. Informationssystem nach einem der vorhergehenden Punkte, wobei die Signalerfassungsvorrichtung und die Gesichtsfelderfassungsvorrichtung als tragbare Einheit ausgeführt sind. 11. Informationssystem nach einem der vorhergehenden Punkte, wobei die Ausgabevorrichtung die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung stellt.
12. Informationssystem nach einem der vorhergehenden Punkte, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung.
13. Informationssystem nach einem der vorhergehenden Punkte, wo- bei das Informationssystem in tragbarer Form ausgeführt wird.
14. Verfahren zum Zurverfügungstellen von Informationen mit den Schritten:
Erfassung von Signalen, die von einem eine Netzhaut aufwei- senden Auge zurückreflektiert worden sind; und
Zurverfügungstellen der Informationen in Zusammenarbeit mit einer Informationsvorrichtung, in Abhängigkeit von den erfaßten Signalen, wobei die Signalerfassung eine scannende Abtastung umfaßt, wodurch eine mindestens partielle Erfassung eines Netzhautreflexbildes der Netzhaut erfolgt, und das Zurverfügungstellen der Informationen keine Projektion von Informationen auf die Netzhaut umfaßt
15. Verfahren nach Punkt 14, mit den Schritten:
Gewinnung von Bildinformationen bezüglich des Gesichtsfeldes aus dem erfaßten Licht; und
Projektion der Bildinformation auf die Netzhaut derart in Korrelation mit den erfaßten Signalen, daß das natürlich wahrge- nommene Gesichtsfeld und die projizierten Bildinformationen von der Netzhaut als einheitliches Bild wahrgenommen werden.
16. Verfahren nach Punkt 14 oder 15, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zur- verfügungstellen der Informationen und dem erfaßten Licht umfaßt. 17. Verfahren nach einem der Punkte 14-16, wobei die besagte Abhängigkeit eine mindestens einen Informationsschlüssel liefernde Musterkennung umfaßt, und die Informationsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
18. Verfahren nach einem der Punkte 14-17, wobei die Signalerfassung Scanvorgänge umfaßt, wobei in einem ersten Scanvorgang eine mindestens partielle Erfassung des Netzhautreflexbildes erfolgt und in einem späteren Scanvorgang eine weniger umfangreiche Erfassung des Netzhautreflexbildes vorgenommen wird.
19. Verfahren nach einem der Punkte 14-17, wobei die Signalerfassung das Netzhautreflexbild nur teilweise erfaßt.
20. Verfahren nach einem der Punkte 14-19, wobei die Erfassung von sichtbarem Licht über eine sphärisch oder sphärisch wirkende Reflektionsschicht erfolgt, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvorrichtung zur Erfassung ablenkt.
21. Verfahren nach einem der Punkte 12-20, wobei die Erfassung von sichtbarem Licht und/oder die Signalerfassung eine mindestens partielle Erfassung des Hornhautreflexbildes des Auges umfaßt.
22. Verfahren nach einem der Punkte 14-21, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung ist.
23. Verfahren zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines vorzugsweise seriell arbeitenden, ein auf die Netzhaut einfallendes Bild aufnehmenden Scansystems und eines Informations-Projektionssystems, wobei der Abtast- und Projektionsstrahl ein vorbestimmtes Bewegungsmuster aufweist und wobei die Information vorzugsweise von den Signalen des Scanystems abhängt, dadurch gekennzeichnet, daß der Projektionsvorgang bei laufendem Abtastvorgang erfolgt;
24. Verfahren nach Punkt 23, bei dem nach einem partiellen Abta- sten des Bildes ein partieller Projektionsvorgang abläuft.
25. Vorichtung zur Durchführung des Verfahrens nach Punkt 23 oder 24, mit einem vorzugsweise seriell arbeitenden Scansystems, mit dem ein auf die Netzhaut einfallendes Bild aufnehmbar ist, und mit einem Informations-Projektionssystem, wobei der Abtast- und Projektionsstrahl mittels einer Steuereinrichtung entsprechend einem vorbestimmten Bewegungsmuster steuerbar ist, gekennzeichnet durch eine Einrichtung, die den Projektionsvorgang bei laufendem Abrast- vorgang erlaubt.
26. Vorrichtung zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines seriell arbeitenden Scan- und Projektionssystems mit vorbestimmtem Bewegungsmuster des Abtast- und Projektionsstrahls, bei der der Strahl (846) des projizierten Lichts dem Strahl (843) des aufgenommenen Lichts nacheilt.
27. Vorrichtung nach Punkt 26, bei der der minimale zeitliche Versatz zwischen Aufnahme und Projektion eines Bildpunkts im we- sentlichen der Verarbeitungszeit des zuvor aufgenommenen Bildsignals entspricht.
28. Vorrichtung nach Punkt 26 oder 27, bei der das Scan- und das Projektionssystem einen gemeinsamen oder unterschiedlichen Strah- lengang haben.
29. Vorrichtung nach Punkt 26 zur Überspielung von optischer Information auf die menschliche Netzhaut unter Verwendung eines seriell arbeitenden Scan- und Projektionssystems mit vorbestimmtem Bewegungsmuster des Abtast- und Projektionsstrahls, dadurch ge- kennzeichnet, daß die Bewegungsmuster (1502a, 1502b) des Abtast- Und des Projektionsstrahls zueinander versetzt sind.
30. Vorrichtung nach Punkt 29, bei der die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander um einen vorbestimmten kleinen Winkel versetzt sind.
31. Vorrichtung nach Punkt 29, bei der die Bewegungsmuster des Abtast- und des Projektionsstrahls zueinander um einen vorbestimm- ten kleinen Abstand (11VA) radial versetzt sind.
32. Vorrichtung nach einem der vorangehenden Punkte, bei der das Scan- und das Abtastsystem getrennte Strahlengänge haben.
33. Vorrichtung nach einem der vorangehenden Punkte, bei der das Scansystem das auf die Netzhaut einfallende Bild an einer der Netzhaut vorgeschalteten Stelle (929) des optischen Systems abtastet.
34. Vorrichtung nach einem der vorangehenden Punkte, bei der das Bewegungsmuster des Abtast- und Projektionsstrahls einer Spirale entspricht.
35. Vorrichtung nach einem der vorangehenden Punkte, bei der das Bewegungsmuster des Abtast- und Projektionsstrahls einem Kreisoder Ellipsenscan entspricht.
36. Vorrichtung nach einem der vorangehenden Punkte, unter Verwendung einer konstanten Abtastgeschwindigkeit, oder einer kon- stanten Winkelgeschwindigkeit des Abtast- und Projektionsstrahls, oder einer an die Dichte der Rezeptoren im menschlichen Auge ange- passten Geschwindigkeit, so dass die pro Zeiteinheit von den Projektionsstrahlen überstrichenen Rezeptoren im wesentlichen konstant ist. 37. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Analyse des Sehvermögens eines Patienten, indem mittels der Projektionseinheit auf der Netzhaut bzw. auf ausgewählten Bereichen der Netzhaut ein vorbe- stimmtes Muster bzw. eine vorbestimmte Musterverteilung generiert wird.
38. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Analyse der Bewegungs- muster und/oder der Rauschfelder und/oder des räumlichen Sehvermögens eines Auges eines Patienten, indem für Prüfzwecke mittels der Projektionseinheit auf der Netzhaut Random-Dot-Muster generiert werden.
39. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Bestimmung von Anomalien der Augapfel -Motorik, indem in das System eine Einrichtung zur Bestimmung und Überwachung der Lage und/oder Orientierung des Augapfels integriert ist.
40. Verwendung und/oder Ausbildung zur Bestimmung des Schielwinkels, indem eine Einrichtung zur Bestimmung Und Überwachung des Augenmittelpunkts beider Augen integriert ist.
41. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Aufdeckung von parasy- sympathi sehen/sympathischen Efferenzen, indem die Pupil lomotorik mittels einer Detektoreinrichtung überwacht und ausgewertet wird.
42. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Synoptophor oder Synoptometer ohne Apparatekonvergenz. 43. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Einrichtung zur Bestimmung der Zyklodeviation.
44. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als Phasendifferenz- haploskop.
45. Verwendung und/oder Ausbildung der Systeme und/oder Verfah- ren nach einem der vorstehenden Punkte als Einrichtung zur sichtachsenidenti sehen Detektion von Pnorien bei unterschiedlichen Blickrichtungen.
46. Verwendung und/oder Ausbildung der Systeme und/oder Verfah- ren nach einem der vorstehenden Punkte zur Funktionsprüfung der
Netzhaut, unter Heranziehung eines Muster-Elektro-Retinogramms (ERG) und einer Korrellationseinrichtung, mit der ein auf die Netzhaut gespieltes Bild in Korrellation mit dem tatsächlich ermittelten ERG bringbar ist.
47. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Messung der Kontrast- Empfindlichkeit des Sehvermögens eines Patienten vorzugsweise in Abhängigkeit von der Ortsfrequenz.
48. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte zur Rauschfeldampimetrie.
49. Verwendung und/oder Ausbildung der Systeme und/oder Verfah- ren nach einem der vorstehenden Punkte zur Bestimmung der Ausdehnung und der Lage zentraler Gesichtsfelddefekte (Skotome) .
50. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als VEP (Visual Enabling for Precision Surgery) -Gerät. 51. Verwendung und/oder Ausbildung der Systeme und/oder Verfahren nach einem der vorstehenden Punkte als SLO (Scanning Laser Ophthalmoloskop)-Gerät.

Claims

Ansprüche
1. Informati onssystem mi t - einer Signal erfassungsvorrichtung, die von mindestens einem eine Netzhaut aufweisende Auge zurückreflektierte Signale erfaßt; einer Informationsvorrichtung einer Ausgabevorrichtung, die Informationen in Zusammenarbeit mit der Informationsvorrichtung und in Abhängigkeit von den erfaßten Signalen zur Verfügung stellt, wobei die Signal erfassungsvorrichtung eine scannende Abtastvorrichtung umfaßt, die eine mindestens partielle Erfassung eines Netzhautreflexbildes der Netzhaut vornimmt, und das Zurverfügungstellen der Informationen keine Projektion von Informationen auf die Netzhaut umfaßt.
2. Informationssystem nach Anspruch 1, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und den erfaßten Signalen umfaßt.
3. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die besagte Abhängigkeit eine mindestens einen Informationsschlüssel liefernde Musterkennung umfaßt, und die Informationsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
4. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die scannende Abtastvorrichtung in einem ersten Scanvorgang die mindestens partielle Erfassung des Netzhautreflexbildes aufnimmt und in einem späteren Scanvorgang eine eniger umfangreiche Erfassung des Netzhautreflexbildes vornimmt.
5. Informationssystem nach einem der Ansprüche 1-4, wobei die Signal erfassungsvorrichtung das Netzhautreflexbild nur teilweise erfaßt.
6. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die Informationsvorrichtung eine sphärisch oder sphärisch wirkende Reflektionsschicht aufweist, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvorrichtung zur Erfassung ablenkt.
7. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die Signal erfassungsvorrichtung und/oder die Informationsvorrichtung das Hornhautreflexbild des Auges mindestens teilweise erfaßt.
8. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die Signal erfassungsvorrichtung als tragbare Einheit ausgeführt ist.
9. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die Ausgabevorrichtung die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung stellt.
10. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Infor ationsnetzanbindung und/oder eine Auswertevorrichtung.
11. Informationssystem nach einem der vorhergehenden Ansprüchen, wobei das Informationssystem in tragbarer Form ausgeführt wird.
12. Verfahren zum Zurverfügungstellen von Informationen mit den Schritten: - Erfassung von Signalen, die von einem eine Netzhaut aufweisenden Auge zurückreflektiert worden sind; und
Zurverfügungstellen der Informationen in Zusammenarbeit mit einer Informationsvorrichtung, in Abhängigkeit von den erfaßten Signalen, wobei die Signalerfassung eine scannende Abtastung umfaßt, wodurch eine mindestens partielle Erfassung eines Netzhautreflexbildes der Netzhaut erfolgt, und das Zurverfügungstellen der Informationen keine Projektion von Informationen auf die Netzhaut umfaßt.
13. Verfahren nach Anspruch 12, wobei die besagte Abhängigkeit eine zeitliche oder räumliche Korrelation zwischen dem Zurverfügungstellen der Informationen und den erfaßten Signalen umfaßt.
14. Verfahren nach Anspruch 12 oder 13, wobei die besagte Abhängigkeit eine mindestens einen Informationsschlüssel liefernde Musterkennung umfaßt, und die Informationsschlüssel einer durch die Informationsvorrichtung gestützten Informationsabfrage dienen.
15. Verfahren nach einem der Ansprüche 12-14, wobei die scannende Abtastung einen ersten Scanvorgang, bei dem die mindestens partielle Erfassung des Netzhautreflexbildes erfolgt, und einen späteren Scanvorgang umfaßt, bei dem eine weniger umfangreiche Erfassung des Netzhautreflexbildes vorgenommen wird.
16. Verfahren nach einem der Ansprüche 12-15, obei die Signalerfassung das Netzhautreflexbild nur teilweise erfaßt.
17. Verfahren nach einem der vorhergehenden Ansprüchen, wobei die Informationsvorrichtung eine sphärisch oder sphärisch wirkende Reflektionsschicht aufweist, die ein Teil des auf das Auge gerichteten Lichts in eine Sensorvorrichtung zur Erfassung ablenkt.
18. Verfahren nach einem der vorhergehenden Ansprüchen, wobei die Signal erfassung und/oder die Informationsvorrichtung das Hornhautreflexbild des Auges mindestens teilweise erfaßt,
19. Verfahren nach einem der vorhergehenden Ansprüchen, wobei die Informationen taktil, visuell, hörbar, riechbar und/oder geschmacklich zur Verfügung gestellt werden.
20. Verfahren nach einem der vorhergehenden Ansprüchen, wobei die Informationsvorrichtung eine Datenbank, eine Sensorik, eine Informationsnetzanbindung und/oder eine Auswertevorrichtung.
PCT/EP2000/009840 2000-10-07 2000-10-07 Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut WO2002031577A1 (de)

Priority Applications (24)

Application Number Priority Date Filing Date Title
AU2001211340A AU2001211340A1 (en) 2000-10-07 2000-10-07 Information system which detects an image of the outside world on the retina
EP00972696A EP1405121A1 (de) 2000-10-07 2000-10-07 Informationssystem mit erfassung des bildes der aussenwelt auf der netzhaut
PCT/EP2000/009840 WO2002031577A1 (de) 2000-10-07 2000-10-07 Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
PCT/EP2001/011633 WO2002033472A2 (de) 2000-10-07 2001-10-08 Informationssystem und verfahren zum zurverfügungstellen von informationen unter verwendung eines holographischen elements
US10/551,443 US8113657B2 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
AU2002215929A AU2002215929A1 (en) 2000-10-07 2001-10-08 Device and method for determining the orientation of an eye
AU2002221662A AU2002221662A1 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
EP01986772A EP1405122B1 (de) 2000-10-07 2001-10-08 Vorrichtung zur bestimmung der orientierung eines auges
DE50112749T DE50112749D1 (de) 2000-10-07 2001-10-08 Vorrichtung zur bestimmung der orientierung eines auges
DE50112248T DE50112248D1 (de) 2000-10-07 2001-10-08 Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
EP01987895A EP1405123B1 (de) 2000-10-07 2001-10-08 Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
AT01987895T ATE357680T1 (de) 2000-10-07 2001-10-08 Informationssystem und verfahren zur zurverfügungstellen von informationen unter verwendung eines holographischen elements
AT01986772T ATE367596T1 (de) 2000-10-07 2001-10-08 Vorrichtung zur bestimmung der orientierung eines auges
PCT/EP2001/011634 WO2002031581A1 (de) 2000-10-07 2001-10-08 Vorrichtung und verfahren zur bestimmung der orientierung eines auges
ES07013946T ES2401132T3 (es) 2000-10-07 2001-10-08 Dispositivo y procedimiento para la determinación de la orientación de un ojo
US10/551,445 US7641342B2 (en) 2000-10-07 2001-10-08 Information system and method for providing information using a holographic element
EP07013946A EP1840627B1 (de) 2000-10-07 2001-10-08 Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US12/646,670 US8016421B2 (en) 2000-10-07 2009-12-23 Information system and method for providing information using a holographic element
US13/223,825 US8944602B2 (en) 2000-10-07 2011-09-01 Information system and method for providing information using a holographic element
US13/300,691 US8382285B2 (en) 2000-10-07 2011-11-21 Device and method for determining the orientation of an eye
US13/749,945 US20130135181A1 (en) 2000-10-07 2013-01-25 System and Method for Determining the Orientation of an Eye
US14/572,264 US9427154B2 (en) 2000-10-07 2014-12-16 Information system and method for providing information using a holographic element
US15/235,845 US10188288B2 (en) 2000-10-07 2016-08-12 Information system and method for providing information using a holographic element
US16/259,496 US20190150731A1 (en) 2000-10-07 2019-01-28 Information System and Method for Providing Information Using a Holographic Element

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2000/009840 WO2002031577A1 (de) 2000-10-07 2000-10-07 Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut

Publications (1)

Publication Number Publication Date
WO2002031577A1 true WO2002031577A1 (de) 2002-04-18

Family

ID=8164119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2000/009840 WO2002031577A1 (de) 2000-10-07 2000-10-07 Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut

Country Status (3)

Country Link
EP (1) EP1405121A1 (de)
AU (1) AU2001211340A1 (de)
WO (1) WO2002031577A1 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
TWI551886B (zh) * 2014-10-13 2016-10-01 英業達股份有限公司 可供尋找物品之可穿戴式裝置以及尋找物品方法
US10481403B2 (en) 2018-02-15 2019-11-19 Tectus Corporation Contact lens with retinal camera
EP2929527B1 (de) * 2011-12-06 2020-11-18 E- Vision Smart Optics, Inc. Systeme, vorrichtungen und/oder verfahren zur bereitstellung von bildern

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659327A (en) * 1992-10-22 1997-08-19 Board Of Regents Of The University Of Washington Virtual retinal display
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
FR2762688A1 (fr) * 1997-04-29 1998-10-30 Sextant Avionique Systeme optique combinant une presentation d'image et une analyse de l'oeil
WO1999036826A1 (en) * 1998-01-20 1999-07-22 University Of Washington Virtual retinal display with eye tracking
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659327A (en) * 1992-10-22 1997-08-19 Board Of Regents Of The University Of Washington Virtual retinal display
DE19631414A1 (de) * 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
FR2762688A1 (fr) * 1997-04-29 1998-10-30 Sextant Avionique Systeme optique combinant une presentation d'image et une analyse de l'oeil
WO1999036826A1 (en) * 1998-01-20 1999-07-22 University Of Washington Virtual retinal display with eye tracking
WO1999042315A1 (de) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Verfahren zum steuern oder bedienen von systemen durch bildinformationen und verfahren zur erfassung von bildinformationen

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944602B2 (en) 2000-10-07 2015-02-03 Metaio Gmbh Information system and method for providing information using a holographic element
US8016421B2 (en) 2000-10-07 2011-09-13 Metaio Gmbh Information system and method for providing information using a holographic element
US8113657B2 (en) 2000-10-07 2012-02-14 Metaio Gmbh Device and method for determining the orientation of an eye
US10188288B2 (en) 2000-10-07 2019-01-29 Apple Inc. Information system and method for providing information using a holographic element
US7641342B2 (en) 2000-10-07 2010-01-05 Metaio Gmbh Information system and method for providing information using a holographic element
US9427154B2 (en) 2000-10-07 2016-08-30 Metaio Gmbh Information system and method for providing information using a holographic element
US9880720B2 (en) 2007-05-04 2018-01-30 Apple Inc. Adjusting media display in a personal display system based on perspective
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US11733845B2 (en) 2007-05-04 2023-08-22 Apple Inc. Automatically adjusting media display in a personal display system
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US8549415B2 (en) 2007-05-04 2013-10-01 Apple Inc. Automatically adjusting media display in a personal display system
US9965157B2 (en) 2007-05-04 2018-05-08 Apple Inc. Automatically adjusting media display in a personal display system
US10306036B2 (en) 2008-09-30 2019-05-28 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9646574B2 (en) 2008-09-30 2017-05-09 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9646573B2 (en) 2008-09-30 2017-05-09 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9749451B2 (en) 2008-09-30 2017-08-29 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US11716412B2 (en) 2008-09-30 2023-08-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9482869B2 (en) 2008-09-30 2016-11-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9595237B2 (en) 2008-09-30 2017-03-14 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9429759B2 (en) 2008-09-30 2016-08-30 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10897528B2 (en) 2008-09-30 2021-01-19 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10306037B2 (en) 2008-09-30 2019-05-28 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10306038B2 (en) 2008-09-30 2019-05-28 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US11258891B2 (en) 2008-09-30 2022-02-22 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US11089144B2 (en) 2008-09-30 2021-08-10 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10530915B2 (en) 2008-09-30 2020-01-07 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10530914B2 (en) 2008-09-30 2020-01-07 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US10686922B2 (en) 2008-09-30 2020-06-16 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
EP2929527B1 (de) * 2011-12-06 2020-11-18 E- Vision Smart Optics, Inc. Systeme, vorrichtungen und/oder verfahren zur bereitstellung von bildern
TWI551886B (zh) * 2014-10-13 2016-10-01 英業達股份有限公司 可供尋找物品之可穿戴式裝置以及尋找物品方法
US11125996B2 (en) 2015-09-10 2021-09-21 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10345588B2 (en) 2015-09-10 2019-07-09 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9804394B2 (en) 2015-09-10 2017-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11803055B2 (en) 2015-09-10 2023-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10481403B2 (en) 2018-02-15 2019-11-19 Tectus Corporation Contact lens with retinal camera

Also Published As

Publication number Publication date
AU2001211340A1 (en) 2002-04-22
EP1405121A1 (de) 2004-04-07

Similar Documents

Publication Publication Date Title
DE10103922A1 (de) Interaktives Datensicht- und Bediensystem
EP1430349B1 (de) Informationssystem
EP1190667A2 (de) System zur Aufnahme des Netzhautreflexbildes
EP1405123B1 (de) Informationssystem und Verfahren zur Zurverfügungstellen von Informationen unter Verwendung eines Holographischen Elements
EP0825826B1 (de) Verfahren und vorrichtung zum parallelen erfassen von sehinformation
DE102006002001B4 (de) Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
DE10251933B4 (de) Aufnahmevorrichtung für die kopfgestützte Bilderfassung und Verfahren zur Steuerung der Aufnahmevorrichtung
EP0917661A2 (de) Vorrichtung zur aufnahme des netzhautreflexbildes und überlagerung von zusatzbildern im auge
WO2017133992A1 (de) Projektionsvorrichtung für eine datenbrille, verfahren zum darstellen von bildinformationen mittels einer projektionsvorrichtung und steuergerät
CN101634750A (zh) 具有变焦距透镜的头戴显示器
EP2737278A1 (de) Berührungslos bedienbare vermessungsvorrichtung und steuerverfahren für eine solche
DE102017108551A1 (de) Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
CN109964230A (zh) 用于眼睛度量采集的方法和设备
WO2002031577A1 (de) Informationssystem mit erfassung des bildes der aussenwelt auf der netzaut
Tatler et al. Eye movement recordings in natural settings
WO2002097511A1 (de) Verfahren und vorrichtung zur anpassung eines optischen systems an die blickrichtung des menschlichen auges
EP1430350B1 (de) Informationssystem
EP1840627B1 (de) Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
Sachsenweger et al. Stereoscopic acuity in ocular pursuit of moving objects: Dynamic stereoscopy and movement parallax: Relevance to road safety and occupational medicine
DE19502337C2 (de) Vorrichtung und Verfahren zur Prüfung von Sehfunktionen
US8567950B2 (en) Apparatus for treating visual field loss
WO1999003013A1 (de) Verfahren zur verbesserung des optischen wahrnehmungsvermögens durch modifikation des netzhautbildes
RU2792536C1 (ru) Цифровые очки для восстановления и эмуляции бинокулярного зрения
DE10127826A1 (de) Projektionssystem und Projektionsverfahren
WO2023096713A1 (en) Personalized optics

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DE DK DM EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWE Wipo information: entry into national phase

Ref document number: 2000972696

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2000972696

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Ref document number: 2000972696

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642