WO2020229599A1 - Anzeigevorrichtung mit reduziertem energieverbrauch - Google Patents

Anzeigevorrichtung mit reduziertem energieverbrauch Download PDF

Info

Publication number
WO2020229599A1
WO2020229599A1 PCT/EP2020/063462 EP2020063462W WO2020229599A1 WO 2020229599 A1 WO2020229599 A1 WO 2020229599A1 EP 2020063462 W EP2020063462 W EP 2020063462W WO 2020229599 A1 WO2020229599 A1 WO 2020229599A1
Authority
WO
WIPO (PCT)
Prior art keywords
light modulator
spatial light
field
view
image
Prior art date
Application number
PCT/EP2020/063462
Other languages
English (en)
French (fr)
Inventor
Bo Kroll
Norbert Leister
Jacob Fugal
Robert Missbach
Original Assignee
Seereal Technologies S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seereal Technologies S.A. filed Critical Seereal Technologies S.A.
Priority to KR1020217040763A priority Critical patent/KR20220008315A/ko
Priority to CN202080051725.7A priority patent/CN114174893A/zh
Priority to US17/595,402 priority patent/US20220247982A1/en
Priority to DE112020002420.2T priority patent/DE112020002420A5/de
Publication of WO2020229599A1 publication Critical patent/WO2020229599A1/de

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3152Modulator illumination systems for shaping the light beam
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/105Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Definitions

  • the invention relates to a display device for displaying two-dimensional and / or three-dimensional information, such as objects or scenes, which provides a low energy consumption.
  • the invention preferably relates to augmented reality (AR) display devices or displays. This includes, for example, head-mounted displays and head-up displays. It should be noted, however, that the invention is not intended to be restricted to such displays.
  • the invention also relates to a method for displaying two-dimensional and / or three-dimensional information with which a reduced energy consumption is to be brought about in a display device.
  • AR augmented reality
  • spatial light modulators In display devices for displaying two-dimensional and / or three-dimensional scenes, so-called spatial light modulators are often used, with which the incident light can be modulated in accordance with the information required and to be displayed.
  • Various types of spatial light modulators which are also referred to as SLM, are known here.
  • a spatial light modulator commonly used for this purpose is, for example, an LCoS-SLM (Liquid Crystal on Silicon), which reflects the incident light instead of transmitting it.
  • LCoS-SLM are usually very small in size, e.g. with diagonals of less than 20 mm, but can have a very large number of pixels, e.g. 4000 x 2000 pixels.
  • LCoS-SLM exist as a commercial product for modulating amplitude as well as modulating phase of light.
  • the advantage of an LCoS-SLM is clearly its reflectivity.
  • An LCoS-SLM can have a frame rate of e.g. 60 Hz, in some cases a few hundred Hertz, e.g. 180 Hz or 240 Hz. However, a frame rate higher than 500 Hz cannot be achieved.
  • Another type of SLM is a MEMS-SLM (Micro Electro-Mechanical Mirror Systems) whose main advantage over an LCoS-SLM is its higher speed.
  • Another advantage lies in the modulation values, phase values or amplitude values, which can be set in a more stable manner and are less error-prone than those of an LCoS-SLM.
  • the modulation values of neighboring pixels can be set better independently of one another, while with an LCoS-SLM the modulation values of neighboring pixels can undesirably influence one another.
  • amplitude-modulating MEMS-SLMs are currently limited to binary types, phase-modulating MEMS-SLMs not currently being found on the display market, but rather being used, for example, in the field of lithography.
  • MEMS SLMs have a relatively small number of pixels, for example fewer than VGA (640 x 480 pixels).
  • the effort and cost of manufacturing a new spatial light modulator increases with the number of pixels.
  • the energy consumption or power consumption in a display device plays an important role.
  • the power consumption of the spatial light modulator must also be considered.
  • a significant part of the power consumption of a spatial light modulator is due to the data transmission to the pixels of the spatial light modulator.
  • the energy consumption also depends on the length of the data lines from the edge of the spatial light modulator to the individual pixels.
  • a spatial light modulator that is small in size and with a lower number of pixels on average has shorter data lines and therefore usually less energy consumption. Therefore, such a spatial light modulator can be more energy efficient even when operated at high frame rates, i.e. if the same number of pixels is described per unit of time compared to a spatial light modulator with a high number of pixels but a lower frame rate.
  • a mobile display device e.g. a head-mounted display that is attached to a head of a viewer or user and cannot be connected to a power grid via a cable
  • energy consumption is a particularly important factor.
  • a display device that enables the use of a spatial light modulator with a small number of pixels would be considered advantageous here.
  • a large field of view (FoV) with a good resolution for a head-mounted display (HMD) a large number of pixels are required.
  • a typical value is 60 pixels / degree field of view for the representation of a flat two-dimensional (2D) image, since this value (60 pixels / degree field of view) corresponds to the resolution of the human eye.
  • a holographic representation of a three-dimensional (3D) scene however, a larger number of pixels per degree of field of view is required.
  • a field of view of, for example, 60 degrees x 30 degrees then requires 3600 pixels x 1800 pixels to generate a flat two-dimensional image, but many more pixels, e.g. 15,000 pixels x 7500 pixels, are required to generate a holographic image.
  • LCoS-SLMs with a resolution of approx. 4000 pixels x 2000 pixels already exist as commercial products. However, these still have significant disadvantages. A higher resolution is often achieved by using smaller pixels, for example 3 to 5 micrometer pixels, which in an LCoS-SLM increases the susceptibility of the modulation values to errors, for example the undesired influence of the modulation values by neighboring pixels.
  • display devices in the form of head-mounted displays are known, each of which has a light guide, a coupling device and a coupling device as well as additional optical elements which are arranged in the light path before the light is coupled into the light guide.
  • Head-mounted displays that do not have a light guide, but an arrangement of focusing means, such as lens elements and / or curved mirror elements, are known, for example, from US 2010/0097671 or US 2013/0222384.
  • US 2013/0222384 describes a segmented multiple imaging of a spatial light modulator.
  • a large field of view is generated in that different segments are generated sequentially by imaging the spatial light modulator, with an imaging of the spatial light modulator being carried out at a different position in the field of view.
  • an arrangement of two mirrors that are rotated in the same direction is used to generate the segments.
  • AR Augmented Reality
  • AR Augmented Reality
  • Such AR displays are also referred to as mixed reality displays and enable a person to see through a transparent or semitransparent system in order to view his or her real environment and also images of virtual objects, such as. Text, graphics, videos, etc. that are created to appear as part of the real environment by overlaying it.
  • the insertion or display or overlay of additional information with a person's natural perception or environment is therefore referred to as augmented reality (AR).
  • This additional information such as, more precisely specified than, speed displays, temperature displays, signs, warnings, or assistance functions, navigation system functions, radio functions or shopping displays, are displayed in a person's field of vision without the person being in their behavior or operating behavior is adversely affected.
  • an AR display it is therefore important that a user can continue to observe his real environment in addition to the virtually created objects. Therefore, only a small part of the real environment may be covered by the content of the objects, which is shown to the user through the AR display.
  • an AR display requires a higher brightness compared to applications of a display device as a television or VR-HMD, since the user should see the information or virtual objects in an environment with bright sunlight at approximately the same brightness level as in the real environment .
  • an AR display for example an AR head-mounted display (AR-HMD), as a mobile device, there is also the need for low energy consumption.
  • AR-HMD AR head-mounted display
  • the object of the present invention to create a device and a method which allow a three-dimensional representation of information. Furthermore, the device should be compact and light in weight and also be energy efficient.
  • the object is achieved by a device having the features of claim 1.
  • a display device which is designed in particular as an AR (augmented reality display device or AR display).
  • the AR display is preferably designed as an AR head-mounted display or as an AR head-up display has a lighting device, a spatial light modulator device, an optical system and a control device.
  • the lighting device is provided for emitting light, for example essentially coherent light.
  • the spatial light modulator device is provided for modulating light emitted by the lighting device and can at least
  • the optical system in turn is provided as a segment for generating at least one image of the spatial light modulator device and, in addition to at least one imaging element, has a deflection device for directing the image of the spatial light modulator device to a defined one Position in the field of view of a user.
  • the control device is coupled to the lighting device and the deflection device and is designed to control or switch the lighting device as a function of a control of the deflection device.
  • An AR display is a display device in which virtual information or objects are superimposed on the real environment of a person or user using the AR display, so that the user can receive additional information that is useful to him when viewing his real environment could be.
  • the user of the display device or device according to the invention could be shown information relating to a point of interest or navigation instructions during a city tour, which are then superimposed on the real environment in the user's field of vision.
  • the optical system of the display device has a deflection device with which an image of the spatial light modulator device generated by the optical system is directed to a position or location defined in the user's field of vision is to superimpose the required information or the required object with the real environment and display it to the user.
  • the control device of the display device according to the invention is coupled to the lighting device and the deflection device in order to be able to control the lighting device as well as the deflection device accordingly.
  • the lighting device is activated or switched by the control device as a function of the activation of the deflection device.
  • the deflection device of the optical system is activated and sets the position in the field of view at which the virtual information or the virtual object is to be displayed or represented. If the required position in the field of view is reached, the lighting device is activated by the control device so that the lighting device emits light that strikes the spatial light modulator device and an image of this is generated by the optical system.
  • This image of the spatial light modulator device is thus directed as a segment to the defined position in the user's field of vision and is superimposed with the real environment in the field of vision, so that the user can view the information represented thereby.
  • the display device according to the invention provides the user with the required information or information in an energy-efficient manner, since data for generating the virtual information to be displayed are only sent or transmitted to the spatial light modulator device or generated by the spatial light modulator device itself if the control device does Lighting device controls accordingly to emit light.
  • a calculation of the virtual information to be displayed such as a Calculation and totaling of sub-holograms for an overall hologram to display a holographic three-dimensional information or object or a type of image processing such as blurring of objects that are outside the focus of a user for the display of a stereoscopic scene, and their display only for those areas in the Field of view takes place in which virtual information is also to be represented or displayed by means of the display device according to the invention.
  • no data is calculated or, in another embodiment, no data is calculated and transmitted to the spatial light modulator device. In this way, the energy consumption for data transmission alone can be reduced considerably.
  • the display device can thus advantageously be used as an augmented reality display for combining real surroundings and virtual information that is displayed or superimposed, such as e.g. two-dimensional and / or three-dimensional objects.
  • the generated at least one image of the spatial light modulator device as a segment that has virtual information takes up only a fraction, for example 2% to 30% or even only 5% to 20%, of the field of view. This means that the field of view is only filled with little virtual information.
  • the displayed image of the spatial light modulator device as a segment or the displayed images of the spatial light modulator device as segments do not completely fill the field of view or only form part of the field of view, so that between displayed virtual information, each complete virtual information form, there are gaps or areas in the field of view that are filled with the real information or in which a user can view his real environment.
  • An image of the spatial light modulator device as segments or several images of the spatial light modulator device together as segments can thus form virtual information, which in turn is separated from other displayed virtual information in the field of vision by a gap in which the viewer perceives the real environment.
  • the virtual information to be displayed can be generated holographically or stereoscopically. Furthermore, the virtual information can be displayed as a two-dimensional or three-dimensional representation. Combinations of two-dimensional and three-dimensional representations are also possible. According to the invention, the term “virtual information” should be understood to mean not only the completely generated virtual information, such as an object or a scene, but also only part of the virtual information, such as a part of an object or a part of a scene . Further advantageous refinements and developments of the invention emerge from the further subclaims.
  • the optical system is provided for generating at least two images of the spatial light modulator device and, corresponding to the number of images of the spatial light modulator device, for generating virtual visibility areas, the at least two images of the spatial light modulator device as Segments are present in the field of view.
  • the at least two images of the spatial light modulator device can advantageously be combined with one another as segments in the field of view and / or partially overlap one another or be spaced apart from one another via a gap.
  • the images of the spatial light modulator device are preferably generated sequentially in the field of view.
  • a segmented display of the virtual information is created in the field of view.
  • a large field of view or a large viewing angle can be created by combining several images of the spatial light modulator device as segments. For example, a certain number of segments can be used, such as more than 10 segments, more than 30 segments or even more than 50 segments, which enables virtual information to be displayed in a user's field of vision.
  • the number of images of the spatial light modulator device as segments can advantageously be varied in each frame between a minimum value, e.g. an image as a segment, and a maximum value, e.g. 10 to 50 images as segments, can be set differently and the position of the images of the spatial light modulator device as segments in the field of view can be set differently in each frame.
  • the determination of the number and the position of the images of the spatial light modulator device as segments in the field of view is dependent on the real environment of a user. This means that the number and position of the images of the spatial light modulator device can be adjusted as a function of the real environment.
  • the number and the position of the displayed images of the spatial light modulator device as segments is thus variable and can be adjusted depending on the virtual information required in the field of view. For this purpose, the user or viewer observes the displayed two-dimensional and / or three-dimensional information or the displayed two-dimensional and / or three-dimensional object through a virtual visibility area in a viewer plane.
  • this situation is to be interpreted in such a way that when the virtual information is generated and displayed holographically in the coding direction of a hologram encoded on the spatial light modulator device, a virtual viewer window is present as a virtual visibility area and, when the virtual information is displayed stereoscopically in the field of view, an optimal viewing area, also known as the “sweet spot”, is available as a virtual visibility area.
  • the virtual viewer window and the sweet spot thus each or together, depending on the way in which the virtual information is presented, form a virtual visibility area in a viewer plane in which a user, in particular one of the user's eyes, is to observe the information generated is located.
  • one or more segments of three-dimensional information to be displayed which should lie in the viewing direction of the eye of a user and thus fall on the retina in the center of the fovea of the eye, could be generated and displayed holographically.
  • one or more segments of the same or further three-dimensional information to be displayed which should not lie in the viewing direction of the user's eye and thus fall on the retina of the eye, but not in the center of the fovea, could be generated and displayed stereoscopically.
  • the individual segments for displaying the virtual information in the field of view should be generated purely holographically, as this provides a more realistic depth display of the reconstructed information or object compared to a stereoscopic display the virtual information can be achieved.
  • the at least one image of the spatial light modulator device is an image of the entire spatial light modulator device or an image of only a partial area of the spatial light modulator device.
  • the image of the spatial light modulator device generally forms a segment which is superimposed on the real environment or the real field of view of the user and is therefore a segment of the field of view of the user.
  • the segment in the field of view generated by the display device according to the invention which has the virtual information, can be created by mapping the entire spatial light modulator device, ie the total area of the spatial light modulator device, so that all pixels of the spatial light modulator device contribute to the generation of the segment.
  • the generated segment can also be created by mapping only a part or partial area of the spatial light modulator device, ie not all pixels of the spatial light modulator device contribute to the generation of the segment.
  • a single generated segment thus covers or covers only a small area of the field of view of the user of the device according to the invention.
  • an individual segment can only cover an area of approx. 3 ° x 3 ° or approx. 5 ° x 3 ° or approx. 7 ° x 7 ° of the entire field of view, the invention not being restricted to these figures.
  • the entire field of view can, for example, span an area of approx. 40 ° x 20 ° or approx. 60 ° x 30 ° or 60 ° x 60 °, whereby these figures should not have a restrictive effect here either.
  • the number of segments that have the virtual information and are superimposed on the real environment is smaller than the number of segments that would be required if the entire field of view were built up by segments or around the entire field of view by means of Generate segments. For example, if the total field of view encompasses an area of approximately 60 ° x 60 ° and the size of a single segment is approximately 5 ° x 5 °, then theoretically 12 x 12 segments, i.e. 144 segments are required in order to be able to generate the entire field of view. However, if only about 15% of the field of view with virtual information, i. with e.g. two-dimensional and / or three-dimensional objects, then only about 25 to 30 segments, depending on the size of the segments, could be selected and sufficient to display the required information (s) in the field of view. Thus, greater time savings and greater energy efficiency can be achieved.
  • the deflection device has at least one scanning mirror element which is movably mounted, or at least one grating element.
  • the device according to the invention preferably has at least one scanning mirror element for deflecting and directing the light. Due to its movable mounting, the at least one scanning mirror element can move or rotate and the image generated by the spatial light modulator device can be moved as a segment to a defined position in the field of view of the user. In this way, several images of the spatial light modulator device can be generated and directed to defined positions in the field of view.
  • a commercially available scanning mirror can be used as the scanning mirror element.
  • the deflection device can have at least one grating element, for example a switchable grating element or a polarization-selective grating element, such as a polarization grating in combination with a polarization switch.
  • the deflection device can, for example, have a stack of grating elements with different grating periods, so that different angles of deflection can be set by different combinations of N gratings 2 to the power N (2 N ).
  • the deflection device can also have a combination of at least one scanning mirror element and at least one grating element, for example a volume grating.
  • the at least one grating element or volume grating has an angle selectivity. If the scanning mirror element is set in such a way that light strikes it within the angular selectivity of the grating element or volume grating, the light is further deflected by the grating element or volume grating. The deflection angle of the scanning mirror element is thus increased by the grating element or volume grating.
  • the scanning mirror element is set in such a way that light strikes it outside the angular selectivity of a grating element or volume grating, it is not deflected by this grating element or volume grating.
  • the scanning mirror element can be used in order to select one of several grating elements or volume grids, whose angle selectivity and deflection angle are set differently, which then deflects the light further.
  • the optical system has at least one combiner.
  • the at least one combiner thus combines the information from the real environment of the user and the information generated with the device according to the invention in the user's field of vision, so that the user's eye can see and observe both information together in the field of vision.
  • the at least one combiner can be a partially reflective mirror element that at least partially reflects light emanating in the beam path from the light modulator device in the direction of a user's eye and at least partially transmits ambient light.
  • the at least one combiner can be, for example, a windshield of a means of transport, such as a vehicle.
  • the at least one combiner can also be a light guide from which light emanating from the light modulator device is decoupled in the beam path in the direction of a user's eye and at least partially allows ambient light to pass through.
  • the deflection device can be between the spatial and the spatial
  • Light modulator device and the combiner or between the lighting device and the spatial light modulator device are configured to be any suitable light modulator device.
  • the scanning mirror element can be arranged in a Fourier plane of the spatial light modulator device. This Fourier plane is then further mapped into the observer plane, in which an eye of the user is located, by means of the optical system, in which the virtual visibility region, i.e. a virtual viewer window or a sweet spot is generated through which the user must look in order to be able to view the virtual information displayed in the field of view.
  • the virtual visibility region i.e. a virtual viewer window or a sweet spot is generated through which the user must look in order to be able to view the virtual information displayed in the field of view.
  • the deflection device has two scanning mirror elements which can be rotated synchronized with one another.
  • These scanning mirror elements can be rotated or moved synchronized with one another.
  • This synchronized movement of the scanning mirror elements to one another can also move the image of the spatial light modulator device as a segment or the image plane of the spatial light modulator device to a defined position in the field of view without changing the position of the virtual visibility area in the observer plane.
  • the arrangement of the two scanning mirror elements in the device according to the invention can then be such that, for example, one scanning mirror element is arranged in the light direction in front of the Fourier plane of the spatial light modulator device and the further scanning mirror element in the light direction after the Fourier plane.
  • the deflection device has at least two grid elements, both of which are switched in a synchronized manner with one another.
  • the synchronized switching of both grating elements can also move the image of the spatial light modulator device as a segment or the image plane of the spatial light modulator device to a defined position in the field of view without changing the position of the virtual visibility area in the observer plane.
  • a grating element can be arranged in the light direction in front of the Fourier plane of the spatial light modulator device and the further grating element in the light direction after the Fourier plane.
  • the at least one combiner can preferably have at least one focusing element or at least one focusing function.
  • the at least one combiner can have at least one focusing element in order to direct or set the virtual information to be displayed in the field of view in the depth range to the required depth.
  • the focusing element is preferably designed in such a way that it does not impair or influence the perception of the real environment in the field of view.
  • the focusing element could be designed as a grating element with a limited acceptance angle, preferably as a volume grating with a limited acceptance angle.
  • the acceptance angle is adapted to the angle of incidence of the light carrying the information, but not to the range of the angle of incidence of light in which the light from the real environment strikes the grating element. As a result, the light that strikes the grid element from the real environment is not influenced by it and passes through it unhindered.
  • the combiner can, for example, be designed as a partially reflecting mirror or as a light guide, on the surface of which a focusing element, for example a grating element, is provided or applied.
  • the at least one combiner itself can have a focusing function in that it is curved or at least partially curved.
  • the curved design of the at least one combiner enables the light or the image of the spatial light modulator device to be focused as a segment at a z-position defined therewith (along the z-direction or along the optical axis of the optical system).
  • the at least one combiner can be designed to be at least partially curved. If the at least one combiner is designed, for example, as a partially reflecting mirror element, in one embodiment of the invention the mirror surface can be curved or arched, for example in the form of a concave mirror, and thus have a focusing function. Also a combination a curved surface with an additional grid element on this surface of the at least one combiner is possible, for example.
  • the at least one combiner could thus be designed as a type of spectacle lens or as a windshield. It can be designed flat or planar and have a focusing element.
  • the at least one combiner could, however, also be designed to be at least partially curved and thus itself act as a focusing element or additionally be combined with focusing elements.
  • a continuous movement of the at least one scanning mirror element or a step-by-step movement of the at least one scanning mirror element with a firmly defined step width is provided in the deflection device.
  • the at least one scanning mirror element can thus be moved continuously or in steps in order to direct the image of the spatial light modulator device as a segment to a required position in the field of view.
  • a step-by-step movement of the at least one scanning mirror element can take place, for example, in such a way that the scanning mirror element is moved by a defined angle and then stopped in order to control the control device of the device according to the invention at this defined fixed scanning mirror element position in such a way that the lighting device emits light, so that an image of the spatial light modulator device is generated as a segment and this segment is directed to the position in the field of view approached with the scanning mirror element.
  • control device controls the lighting device only when the scanning mirror element is stopped, so that the light emitted by it is modulated with the required information by means of the spatial light modulator device and an image of the spatial light modulator device is generated by the optical system, which is then sent to the is directed by the scanning mirror element predetermined position in the field of view.
  • the scanning mirror element is moved by a further defined angle by means of the control device, the movement of the scanning mirror element then being stopped again so that another image of the spatial light modulator device is generated and can be directed to another defined position in the field of view.
  • Such a start-stop movement of the scanning mirror element is possible at a high speed.
  • the lighting device of the device according to the invention should have at least one light source that can be operated in a pulsed manner.
  • the lighting device or the at least one light source is then located only as long as it is switched on as long as the scanning mirror element is in the stop state.
  • the scanning mirror element is in motion, the lighting device or the light source is in an OFF state.
  • the at least one scanning mirror element can also provide a continuous movement.
  • a continuous movement of the at least one scanning mirror element would, however, also cause a continuous displacement of the generated image of the spatial light modulator device. However, this is undesirable.
  • the at least one scanning mirror element is combined with a compensating mirror element that provides a synchronized movement for the movement of the at least one scanning mirror element assumes that when both mirror elements move in the same direction, an image of the spatial light modulator device can be generated at a fixed, constant position and when both mirror elements move in opposite directions, an image of the spatial light modulator device can be shifted in the field of view.
  • the image of the spatial light modulator device can be held at the same required position during its generation and thus directed to a defined position in the field of view.
  • the compensation control element can also be activated by the control device. Both movements, ie the movement of the at least one scanning mirror element and the movement of the compensation mirror element synchronized therewith, are thus combined with one another in order to direct an image of the spatial light modulator device as a segment to a required position in the field of view.
  • the at least one scanning mirror element could be combined with the compensation mirror element in such a way that, during the continuous movement of the scanning mirror element, the latter reaches a position at which an image of the spatial light modulator device is to be generated, but this image of the spatial light modulator device is not due to the continuous movement of the scanning mirror element can still be directed to the defined position as required.
  • the compensation mirror element can be controlled in such a way that it executes a movement synchronized with the movement of the scanning mirror element. As a result, the generated image of the spatial light modulator device is shifted or moved as a segment in the opposite direction to the direction of movement of the scanning mirror element, so that it is shifted to the required defined position in the field of view by this compensation movement of the compensation mirror element and can be judged.
  • a subsequently generated image of the spatial light modulator device is directed in the same way to its defined position in the field of view.
  • the synchronized movement of the compensation mirror element is only maintained by activating the control device as long as the lighting device or the at least one light source is in an ON state.
  • a movement of the scanning mirror element and the compensation mirror element in the same direction can be provided as long as the lighting device is in an ON state.
  • the compensation mirror element can move into its initial state when the lighting device or the at least one light source is in an OFF state.
  • a continuous movement of the at least one scanning mirror element at different predefined speeds or a step-by-step movement of the at least one scanning mirror element with different adjustable step widths is provided for generating at least two images of the spatial light modulator device as segments in the field of view within a frame.
  • the segments can be directed to the required defined position in the field of view by means of the at least one scanning mirror element at different speeds with a continuous movement or different step widths with a step-by-step movement.
  • the speed or the step width of the movement of the at least one scanning mirror element depends on the required position of the image to be generated by the spatial light modulator device as a segment in the user's field of view.
  • the at least one scanning mirror element can be operated at a lower speed between the two or more representations of virtual information.
  • the speed or the step width of the movement of the at least one scanning mirror element is adapted to the defined position of the respective image of the spatial light modulator device as a segment in the field of view.
  • the size and shape of the segments generated could vary with position in the field of view.
  • the speed or the step width of the movement of the at least one scanning mirror element could likewise be varied accordingly.
  • the size and / or shape of the at least one image of the spatial light modulator device can be varied as a segment in successive frames or the size and / or shape of the at least two images of the spatial light modulator device as segments with the defined position in the field of view within a frame or in successive frames can be varied.
  • a change in the size and / or shape of the at least one image of the spatial light modulator device as a segment in successive frames is particularly useful if the size and / or shape of the displayed scene or objects also changes in successive frames and is represented with a fixed number of segments shall be.
  • the size of an object changes so that it can be displayed in one frame with a single segment, but is slightly larger than the segment in the next frame, it can be more advantageous to use the size and / or shape of the at least one image to adapt the spatial light modulator device as a segment than to represent this object by two segments of fixed size.
  • a change in the size or shape of the at least one image of the spatial light modulator device as a segment with the defined position in the field of view within a frame can serve the same purpose, but can also be used if a higher resolution is required in certain areas of the field of view than in others Areas. For example, in the central area of the field of view, small segments with fine resolution and Edge area of the field of view large segments are generated with coarser resolution in their extension.
  • a change in the size or shape of the at least one image of the spatial light modulator device as a segment with the defined position in the field of view within a frame can also serve, for example, to simplify the optical system. This accepts that when the at least one image of the spatial light modulator device is generated as a segment in a simple optical system, there may be a change in magnification with the position in the field of view or changes in the optical distortions which influence the shape of the image.
  • the at least one combiner is designed as a partially reflective mirror element or as a light guide.
  • the at least one combiner could be designed as a partially reflecting mirror element.
  • This partially reflective mirror element could, for example, be a windshield in a means of locomotion or also a spectacle lens.
  • the at least one combiner could also be designed as a light guide, the light propagating in the light guide due to total reflection.
  • the light guide as a combiner is part of the optical system and also serves to generate the image of the spatial light modulator device as a segment.
  • the light of the real environment of the user can penetrate unhindered through the light guide as a combiner, whereby the at least one image of the spatial light modulator device generated by the device according to the invention is superimposed as the segment carrying the virtual information with the real environment of the user in the field of view.
  • the deflection device is designed as a switchable coupling element for coupling the light into the combiner designed as a light guide and / or as a decoupling element for decoupling the light from the combiner designed as a light guide.
  • the deflection device for directing the image of the spatial light modulator device to a defined position in the field of view can be designed as a switchable coupling element and / or also as a switchable decoupling element.
  • a switchable decoupling element by means of a switchable decoupling element, light can be decoupled from the light guide at different positions of the light guide and an image of the spatial light modulator device can be generated as a segment at different positions in the field of view.
  • a light guide like the one in the WO 2018/146326 A1 is described, the disclosure content of which is intended to be included here in its entirety.
  • the light propagates within the light guide via a reflection at the interfaces of the light guide, the coupling of the light from the light guide being provided after a predetermined number of reflections of the light at the interfaces of the light guide.
  • the light outcoupling device can be designed to be controllable, the light outcoupling device being controllable in such a way that in one control state of the light outcoupling device light is decoupled after a predetermined number of reflections and in another control state of the light outcoupling device the light propagates further in the light guide.
  • a display device is described in WO 2018/146326 A1, in particular a display device provided close to the eye, which has a lighting device that has at least one light source, at least one spatial light modulator device, an optical system and such a light guide device.
  • a lighting device that has at least one light source, at least one spatial light modulator device, an optical system and such a light guide device.
  • the decoupling of light coming from different pixels of the spatial light modulator device after entering the light guide device after an equal number of reflections at interfaces of the light guide for all pixels can be provided.
  • the number of reflections of the light at the interfaces of the light guide for the production of one segment can differ from the number of reflections of the light at the interfaces of the light guide for the production of another segment.
  • the number of reflections of the light at the boundary surfaces of the light guide can be the same, and the coupling point of the light into the light guide can be different for these segments.
  • a light deflection device can be provided in front of the light guide device in the light direction.
  • the light deflection device for shifting the light coupling point and / or the coupling-out element for coupling the light out of the light guide is only activated if an image of the spatial light modulator device is required as a segment at a position in the field of view associated with the coupling point.
  • the deflection device can have the at least one scanning mirror element already mentioned.
  • the optical system and the light guide are designed such that light beams emanating from the individual pixels of the spatial light modulator device impinge on the light guide at an average of different angles relative to the surface of the light guide and can be coupled in, whereby a coupling angle spectrum can be defined, the light beams propagating in the light guide being able to be coupled out of the light guide at different angles on average relative to a virtual visibility region, whereby a coupling angle spectrum can be defined.
  • the light guide could be designed as in WO 2019/012028 A1, the disclosure content of which is intended to be included here in its entirety.
  • a light guide is described which is designed in such a way that the coupling-out angle spectrum of the light is enlarged compared to the coupling-in angle spectrum of the light.
  • the coupling-out angle spectrum and the coupling-in angle spectrum of the light can also be of the same size.
  • the at least one scanning mirror element can then preferably be arranged as a combiner in the beam path between the spatial light modulator device and the light guide.
  • the coupling angle of the light into the light guide can be changed, whereby the propagation angle of the light in the light guide also changes.
  • the light guide as a combiner can have passive or active coupling-out elements. By means of these decoupling elements, the light can be decoupled from the light guide at different positions and / or at different decoupling angles and thus directed to defined positions in the field of view.
  • a spatial light modulator device instead of a spatial light modulator device that has a relatively large number of pixels (e.g. greater than 1000 pixels in one dimension), a spatial light modulator device in conjunction with a light guide as a combiner and at least one scanning mirror element that has a relatively small number of pixels (e.g. smaller than 1000 pixels in one dimension).
  • a spatial light modulator device with a large number of pixels would generate a specific coupling angle spectrum which would be coupled into the light guide, the field of view achieved with the device being proportional to the coupling angle spectrum.
  • a spatial light modulator device with a small number of pixels, for example several hundred pixels in one direction, is preferably used.
  • This spatial light modulator device generates a small coupling angle spectrum for each segment to be generated in the field of view.
  • the at least one scanning mirror element is designed in such a way that the central angle of the light to be coupled into the light guide is different for each segment to be generated and containing virtual information.
  • images of the spatial light modulator device as segments can be made with one and the same light guide at different positions in the field of view are generated in which virtual information is displayed to the user.
  • each generated segment has a field of view which is proportional to the small coupling angle spectrum, the combination of several segments in turn generating a large angle spectrum viewed as a whole.
  • the invention is not intended to be limited to any particular type of spatial light modulator device. Various types or combinations of more than one spatial light modulator device can also be used with the invention.
  • the spatial light modulator device can preferably have an LCoS-SLM or a MEMS-SLM.
  • An LCoS-SLM is a spatial light modulator device that has a relatively large number of pixels but a relatively low frame rate.
  • a MEMS SLM on the other hand, only has a small number of pixels, but has a relatively high frame rate.
  • the spatial light modulator device could be divided into virtual areas or partial areas.
  • Each pixel of the spatial light modulator device or, in another embodiment, all pixels that contribute to the representation of virtual information are assigned to at least one virtual area or sub-area.
  • the virtual areas or partial areas can also overlap on the spatial light modulator device. In the case of overlapping virtual areas or partial areas, a pixel of the spatial light modulator device can also be assigned to more than one virtual area or partial area.
  • the spatial light modulator device could be an LCoS-SLM with a number of pixels of 4000 x 2000 pixels, and by dividing the LCoS-SLM into virtual areas or sub-areas, images of these areas of the LCoS-SLM could be created as segments by illuminating only these virtual areas or sub-areas with a size of 400 x 400 pixels.
  • data is written into all pixels of the spatial light modulator device or just into those pixels that are intended to contribute to the representation of the virtual information.
  • data can be written by scanning lines on the spatial light modulator device.
  • the virtual areas or partial areas of the spatial light modulator device e.g. an LCoS, lit one after the other.
  • the deflection device which has at least one scanning mirror element, can be arranged in the beam path between the lighting device and the spatial light modulator device and direct the light onto the respective virtual areas or sub-areas of the spatial light modulator device by means of the control device by means of a defined movement of the at least one scanning mirror element.
  • the sequence for illuminating the virtual areas or partial areas of the spatial light modulator device can be adapted to the sequence of writing the data into the pixels of the spatial light modulator device.
  • the areas or partial areas of the spatial light modulator device can have the same size or also a different size.
  • the virtual regions or partial regions of the spatial light modulator device can also have a greater overlap.
  • virtual areas or partial areas provided adjacently can have an overlap of only one pixel or even a few pixels.
  • the lighting device is only in an ON state in the case of pixels or virtual areas that contribute to the display of virtual information in the field of view of a user. If pixels or virtual areas on the spatial light modulator device which do not contribute to the display of virtual information at this point in time are scanned, the lighting device is in an OFF state.
  • a spatial light modulator device with only a relatively small number of pixels such as a MEMS SLM, could also be used.
  • the number of pixels could be below typical resolutions for a display device or display, such as less than 640 x 480 pixels (VGA), e.g. 200 x 200 pixels or 300 x 200 pixels or also 400 x 400 pixels, the number of pixels of a spatial light modulator device for the device according to the invention not being limited to these disclosed numbers of pixels.
  • the deflection device can preferably be arranged in the beam path between the spatial light modulator device and the at least one combiner.
  • an image of the spatial light modulator device corresponds as a segment to an image of the entire area of the spatial light modulator device. Therefore, all segments generated are preferably of the same size.
  • the images of the spatial light modulator device as segments are time-sequential in the user's field of vision shown or displayed. This is done in each case by writing information, e.g.
  • the additional information in the field of view of the user of the device according to the invention is to be displayed stereoscopically.
  • a display device according to the invention should be provided for generating an image for the left eye
  • a display device according to the invention should be provided for generating an image for the right eye of the user.
  • Both display devices according to the invention can, for example, be combined with one another in the manner of a type of glasses.
  • a display device can also be provided for both eyes in such a way that, for example, a lighting device and a spatial light modulator device are used, an optical system being provided with which light is multiplexed in time or space to direct light to the left eye and light to the right eye of a user becomes.
  • a separate combiner can be assigned to each eye of the user, for example a separate light guide for the left eye and a separate light guide for the right eye, with light from the spatial light modulator device being coupled into one or the other light guide sequentially with a switching element .
  • a common combiner can also be provided for both eyes of a user, for example the combiner would then be the windshield of a means of transport or a vehicle.
  • the optical system has a variable focus system with which the distance of the at least one image of the spatial light modulator device can be set as a segment in the field of view to the user.
  • the device according to the invention can have a varifocal configuration.
  • This means that the virtual information generated can be adjusted in depth in the field of view along the optical axis of the optical system of the device.
  • the distance between the virtual information, ie the generated image of the spatial light modulator device as a segment, to the observer plane in which the user is with his eye is to be understood.
  • the distance between the segment having the virtual information can be adjusted by means of a variable focus system of the optical system according to a required depth position in the field of view.
  • the variable focus system can preferably have at least one grating element with a controllable grating period or a combination of active and passive imaging elements.
  • the grid element can for example be a liquid crystal grid element.
  • variable focus system can also have combinations of tunable grating elements and passive imaging elements, such as lens elements.
  • the variable focus system can also have a switchable grating element such as, for example, a switchable polarization grating or a passive grating in combination with a polarization switch.
  • variable focus system is preferably arranged in the vicinity of a Fourier plane or in a Fourier plane of the spatial light modulator device, other arrangements also being possible.
  • the Fourier plane of the spatial light modulator device is formed in the beam path, for example, between the spatial light modulator device and the at least one combiner.
  • variable focus system has at least one grating element with a controllable grating period
  • the invention can provide that the at least one grating element with a controllable grating period has prism functions and / or phase functions for correcting aberrations caused by the optical system.
  • the at least one grating element can also have other functions, such as prism functions or phase functions, for aberration correction. These functions can be written into the at least one grid element.
  • a gaze tracking system for detecting a direction of gaze of the user.
  • a gaze tracking system By providing a gaze tracking system, it can be determined where the user is looking at a certain point in time in the field of view or which part of the field of view and which part or object of the virtual information displayed or the real information in the field of view is currently of interest to the user and therefore is targeted by this. Then the depth position of that targeted object or objects is determined in the z-direction that the user is actively looking at or is aiming at. For real Information about their depth position, ie the distance to the user's eye, can be detected, for example, by means of an additional sensor.
  • a superimposed virtual information in the environment of or with content-related reference to the targeted real information in the field of vision or other important virtual information, such as warning notices, should then be displayed, for example, in the same depth as the real information that the user is aiming at.
  • the depth position of the image of the spatial light modulator device can be shifted as a segment to that depth position along the z-direction that the user is actively aiming at at that moment.
  • the virtual information in the field of vision, which the user does not look at or aim at could be influenced by means of software systems in such a way that this information would, for example, be displayed slightly blurred or slightly blurred or distorted, or can optionally not be displayed at all.
  • a detection device can also be provided for determining the area of the field of view in which virtual information is to be displayed.
  • the detection device determines in the field of vision of a user in which area of the field of vision one or more virtual information items are to be generated and displayed or represented.
  • the lighting device of the display device according to the invention can have at least one light source that can be controlled in pulsed form.
  • the method according to the invention has the following features:
  • a control device which is coupled to a lighting device for emitting light and a deflection device of an optical system of a display device, for operating the lighting device as a function of an activation of the deflection device in order to at least one image of a spatial light modulator device as a segment at a defined position in Direct a user's field of view,
  • the method according to the invention enables information to be presented in an energy-efficient manner in a user's field of vision, since information is only presented and displayed for the user when it is required.
  • the detection device can be used to determine which part or area of the field of view is to be filled or displayed with virtual information, for example with two-dimensional and / or three-dimensional objects or scenes and which part or area of the field of view should not have virtual information.
  • At least two images of the spatial light modulator device and, corresponding to the number of images of the spatial light modulator device, virtual visibility areas can be generated, the at least two images of the spatial light modulator device being formed as segments in the user's field of vision, preferably combined with one another or overlapping or by one Gap spaced.
  • At least one combiner of the optical system can superimpose real information in the field of view with virtual information which is additionally generated in the field of view by the representation of the at least one image of the spatial light modulator device as a segment.
  • the at least one image of the light modulator device as a segment can be generated in accordance with a required position in the field of view.
  • the at least one image of the spatial light modulator device can be generated dynamically for each frame in such a way that the generated image of the spatial light modulator device as a segment depends on the position of the virtual information to be displayed in the field of view for the respective frame.
  • the images of the spatial light modulator device can be generated as segments in particular in such a way that the virtual information in the form of objects is within a minimum number of images of the spatial light modulator device as segments for an individual frame or for an individual image. That is, to display virtual information in the form of, for example, a navigation instruction z. B. only three images of the spatial light modulator device required as segments.
  • the number of images to be generated by the spatial light modulator device for the display of virtual information in the form of an object also depends on the size of the object to be displayed.
  • the image of the spatial light modulator device can be generated in such a way that the entire object consists of only one image of the spatial light modulator device is generated as a segment and displayed in the field of view.
  • the center of the object can, for example, coincide as a segment with the center of the image of the spatial light modulator device.
  • the field of view is divided into grid fields, with a check being carried out for each frame to determine in which grid field of the field of view a virtual information item is to be displayed, the spatial light modulator device and at least one scanning mirror element of the deflection device being controlled in such a way that An image of the spatial light modulator device is generated as a segment only for the grid field in which the virtual information is to be displayed per frame and is directed to the defined position in the field of view.
  • the field of view can be designed as a type of grid arrangement which has several grid fields. This grid arrangement can be firmly defined and thus be the same for each frame. However, the number of segments to be generated as images of the spatial light modulator device for displaying virtual information is smaller than the total number of segments that would be required to generate the entire field of view.
  • the time for generating an individual image of the spatial light modulator device as a segment is 1 / M of the total image time, if M is the number of segments which contain the virtual information.
  • a segment in the left field of view area can be generated by a larger gap at a distance from a segment in the right field of view area.
  • a scanning mirror element of the deflection device would have to be moved at different speeds in order to bridge the gaps of different sizes.
  • the number of segments M which have virtual information can also vary from frame to frame.
  • the field of view is divided into grid fields, with all grid fields being scanned one after the other by means of at least one scanning mirror element of the deflection device, with a check being made for each frame to determine in which grid field of the field of view virtual information is to be displayed and only for the respective grid field in which the virtual information is also to be displayed, an image of the spatial light modulator device containing virtual information is generated and assigned as a segment by means of the optical system.
  • the field of view can be designed as a type of grid arrangement that has a plurality of grid fields.
  • This grid arrangement can be firmly defined and thus be the same for each frame.
  • the number of segments to be generated as images of the spatial light modulator device for displaying virtual information is also here smaller than the total number of segments that would be required to generate the entire field of view.
  • all grid fields of the grid arrangement are scanned one after the other, but an image of the spatial light modulator device is only generated by controlling the lighting device, the spatial light modulator device and the deflection device if virtual information is to be displayed in the respective grid field to be scanned.
  • the individual images of the spatial light modulator device as segments in which virtual information is to be displayed are generated sequentially.
  • the time for generating an individual image of the spatial light modulator device as a segment is 1 / N of the total image time, if N is the total number of segments.
  • the lighting device is therefore not activated, so that no image of the spatial light modulator device is generated. Thus, no data is transmitted to the spatial light modulator device either, whereby the data transfer is reduced. It would also be possible, should the lighting device still be switched on, that for all pixels that are assigned to a grid field in which no virtual information is to be displayed, a global reset to a level takes place in which the liquid crystal layer of the spatial light modulator device is activated in such a way that the liquid crystals move back into a kind of start state. Another possibility would be that these pixels are switched to an undefined state.
  • the at least one scanning mirror element of the deflection device can be moved continuously or in steps with a defined step width as a segment to a defined position in the field of view in order to direct the at least one image of the spatial light modulator device.
  • the lighting device is switched on when the at least one scanning mirror element is in a hold state or in a stop state after a defined step width and the spatial light modulator device for generating an image of the spatial Light modulator device is illuminated, whereby the generated image of the spatial light modulator device is directed as a segment to a defined position in the field of view.
  • the lighting device is switched off when the at least one scanning mirror element is in a state of motion.
  • the lighting device is thus activated in connection with the activation of the deflection device, in particular the at least one scanning mirror element, and brought into an ON state and an OFF state, depending on whether the at least one scanning mirror element is in a stop state or in motion.
  • the lighting device and the deflecting device are activated by the control device.
  • a compensation mirror element can be combined with the at least one scanning mirror element, the compensation mirror element performing a synchronized, preferably in the same direction, movement to the at least one scanning mirror element when the lighting device is in an ON state.
  • the synchronized movement of the compensating mirror element for moving the at least one scanning mirror element is only carried out when the lighting device is in an ON state or is switched on.
  • the lighting device is coupled to the deflecting device, the deflecting device also having the compensation mirror element in addition to the at least one scanning mirror element.
  • the compensation mirror element is not part of the deflection device. If this is the case, then the lighting device is not only coupled to the deflecting device, but also to the compensating mirror element.
  • the control device controls the lighting device and the deflection device and, if necessary, the compensation mirror element, if this is not part of the deflection device.
  • At least one scanning mirror element and at least one compensation mirror element can also be designed in such a way that they are movable in two dimensions, preferably horizontally and vertically.
  • a generated image of the spatial light modulator device is directed as a segment to a defined horizontal and vertical position in the field of view.
  • the position of the image of the spatial light modulator device is shifted as a segment in one direction, for example vertically, but in a direction perpendicular to it, for example horizontally, maintained.
  • the scanning mirror element can be continuously moved back and forth between a minimum setting and a maximum setting, for example a continuous movement from left to right and then a continuous movement back from right to left with a slow movement from top to bottom. After the end of a frame, the scanning mirror element can be moved back to its starting position.
  • a two-dimensional continuous movement of the at least one scanning mirror element can also take place, for example, in the form of Lissajous figures, so that the initial state of the scanning mirror element is reached again after a frame.
  • a one-time calibration can be carried out from which it is determined which settings of the scanning mirror element and, if applicable, of the compensation mirror element correspond to which position of the image of the spatial light modulator device as a segment in the field of view. If, for example, when the scanning mirror element moves step by step, it is provided with a stepping motor and controlled, a specific number of steps of the stepping motor can be assigned to a position in the field of view.
  • a calibration can be used to assign the speed of the movement and time interval to a position in the field of view.
  • the calibration data can, for example, be stored in a look-up table and this look-up table can be used by the control device for controlling the scanning mirror element.
  • the at least one combiner can be designed as a light guide, the spatial light modulator device being illuminated by the lighting device and the light modulated by the spatial light modulator device being directed onto the deflection device, which directs the light onto the combiner designed as a light guide, the light entering the combiner is coupled in and propagated in it, the light propagating in the combiner being coupled out according to the required defined position in the field of view and the at least one image of the spatial light modulator device being directed as a segment to this defined position.
  • the at least one image of the spatial light modulator device is shifted as a segment by means of a variable focus system in the z-direction along an optical axis of the optical system to a depth position in the field of view to which a user accommodates.
  • the shifting of the image of the spatial light modulator device as a segment to a depth position that a user of the device according to the invention is aiming at or at which the user looks, by means of the variable focus system can be done with a high degree of accuracy, especially for those segments that are in or in the direction of view Near the line of sight of the user are provided.
  • Those segments that are shown and displayed in the field of view further away from the viewing direction of the user can be arranged either at any fixed depth or at the same depth as the segments which are located in the viewing direction of the user.
  • these segments are provided with a lower accuracy in the firmly defined depth or the same depth as the segments in the direction of view of the user, ie with some tolerances.
  • the depth position of the image of the spatial light modulator device may vary as segments for different images of the spatial light modulator device due to aberrations, such as the curvature of the image field, of the optical system in the imaging of the spatial light modulator device.
  • Spatial light modulator device By setting the correct depth position for the images of the spatial light modulator device as segments according to the respective determined viewing depth of a user by means of a gaze tracking device in the viewing direction and allowing some tolerances in the depth position of the images Spatial light modulator device as segments further away from the direction of view of the user can advantageously be used a variable focus system with a low image frequency compared to the required image frequency of the deflection device.
  • the device according to the invention can be designed as a stereoscopic display device or as a varifocal stereoscopic display device in which an amplitude-modulating spatial light modulator device is used, into which two-dimensional amplitude data are written.
  • the spatial light modulator device can be designed as a complex-valued spatial light modulator device.
  • This can be, for example, a phase-modulating spatial light modulator device in combination with a beam combiner.
  • the two-dimensional information to be displayed is also written into the spatial light modulator device by means of amplitude data.
  • the ability of the spatial light modulator device to phase modulate the light can then be used, for example, to write in phase functions for an aberration correction.
  • At least one grating element with a relatively low frequency, e.g. 50 Hz - 200 Hz, and with a controllable, tunable grating period can be used in combination with a spatial light modulator device operated at a relatively high frequency, which can be designed as a MEMS SLM, and with static optical elements for aberration correction.
  • the static optical elements can undertake an aberration correction for the entire display device.
  • the at least one grating element with a controllable, tunable grating period can have the same lens function for all images of the spatial light modulator device as segments for shifting the depth position of all segments, but can also provide an aberration correction for this defined depth position of the segments.
  • the aberration correction is the same for all segments.
  • the fast MEMS-SLM can also carry out an individual aberration correction for the individual images of the spatial light modulator device as segments, since both the two-dimensional image information and the phase function are updated for an aberration correction in each segment.
  • a scattering device or a diffuser can be provided in a stereoscopic display device.
  • the scattering device can, for example, in the vicinity of the spatial light modulator device or in an intermediate image plane of the spatial Be arranged light modulator device. With the scattering device, the area of the sweet spot can be widened so that a large virtual visibility area can be created in the observer plane.
  • the virtual information is generated and displayed holographically in the field of view of a user.
  • the spatial light modulator device can be designed as an amplitude-modulating, phase-modulating or complex-valued (amplitude and phase) spatial light modulator device into which holographic data are written or a hologram is encoded.
  • the spatial light modulator means is complex valued, e.g. as a phase-modulating spatial light modulator device in combination with a beam combiner.
  • it can be designed as a phase-modulating spatial light modulator device into which holograms calculated iteratively, for example using a Gerchberg-Saxton method, are written.
  • a holographic display device normally does not require a variable focus system, since the three-dimensional information to be displayed can already be generated with the complete depth information by means of the hologram encoded in the spatial light modulator device.
  • At least one grating element with a controllable, tunable grating period can also be provided, which does not change the position of the image of the spatial light modulator device as a segment but is provided for aberration correction.
  • a holographic display device Similar to a varifocal system, it is again possible in a holographic display device to combine a correction of aberrations with a static optical element or to carry out an aberration correction by means of at least one grating element with a controllable, tunable grating period, whereby the grating period can be different for each frame and from the information to be displayed in the respective frame depends.
  • An aberration correction could also be carried out directly in the spatial light modulator device, so that the correction of aberrations is already taken into account when calculating a hologram and is included.
  • the hologram encoded in the spatial light modulator device can be different for each image to be generated by the spatial light modulator device as the segment carrying the virtual information.
  • a different aberration correction could also be carried out by the grating element for each image of the spatial light modulator device as a segment.
  • a static aberration correction could also be carried out by tilting the spatial light modulator device relative to the optical system of the display device according to the invention when imaging the spatial light modulator device .
  • Fig. 1 in a basic representation of an AR display device, shown in
  • Fig. 2 in a schematic representation of an inventive
  • 3 in a basic representation, a further embodiment of a display device according to the invention in plan view; 4: a basic illustration of a subdivision of the field of view of a
  • Fig. 5 a basic representation of images of a spatial
  • Light modulator device as segments in the field of view, each of which has virtual information for a user
  • Light modulator device as segments in the field of view, each of which has virtual information for a user
  • Fig. 7 a basic representation of an in an inventive
  • Display device provided deflection device according to the invention in different control states
  • FIG. 8 shows a basic representation of a light coupling into a light guide
  • FIG. 9 shows a basic representation of a display device according to the invention, which has a combiner designed as a light guide and is provided for generating at least two images of a spatial light modulator device as segments in the field of view, when using a spatial light modulator device with a relatively small number of pixels.
  • a display device which is designed here as an augmented reality display (AR).
  • the AR display device is designed here in the form of glasses, so that the display device is designed as an AR head-mounted display, which shows what a user B of the AR glasses can view through them in his field of view S.
  • user B is shown here only by two arms with two hands, for example, holding onto a bicycle handlebar.
  • the display device in the form of AR glasses is attached to the head of user B. The user B thus looks through the AR glasses and can use them to his natural or real Consider environment R. 1 thus shows only the field of view S of user B. In his field of view in FIG.
  • the virtual information C1, C2 and C3 shown therefore only fill a small part of the field of view S. This means that only a small percentage of the field of view S is formed by virtual information.
  • Most of the user's field of view S is formed by the content of the real environment R.
  • a possible embodiment of the display device is shown. This refinement could be used both for an AR head-mounted display and for a head-up display.
  • the display device should be designed as an AR head-mounted display in order to establish a connection with FIG. 1.
  • the display device has an illumination device 10 which can have at least one light source, three light sources according to the basic colors RGB (red-green-blue) being able to be provided for a colored representation of the virtual information.
  • the SLM 11 is designed here as an SLM with a relatively small number of pixels, for example fewer than 1000 pixels in one direction.
  • a deflection device 12 and a combiner 13 which are both components of an optical system of the display device.
  • the deflection device 12 here has a scanning mirror element 12-1 which is movably arranged and can move or rotate about its axis of rotation.
  • the deflection device 12 with the scanning mirror element 12-1 is in the beam path between the SLM 11 and the combiner arranged.
  • the scanning mirror element 12-1 can carry out a continuous movement or also a step-by-step movement with a firmly defined step width, with which the incident light can be directed in a specific direction.
  • the combiner 13, which is designed as a spectacle lens according to FIG. 1, is provided for superimposing virtual information generated by the display device with information in the real environment in the user's field of vision.
  • the combiner 13 is designed in such a way that light from the real environment can pass through the combiner unhindered, ie is not influenced by the combiner.
  • the combiner 13 can be flat or planar or also curved.
  • the optical system can have further imaging elements, such as, for example, an imaging element 14 which is designed here as a passive lens element.
  • the display device has a control device 15 which is coupled to the lighting device 10 and the deflection device 12.
  • the lighting device 10 can be controlled and switched accordingly as a function of an activation of the deflection device 12, here in particular the scanning mirror element 12-1, i.e. can be brought into an ON state and an OFF state.
  • the control device 15 could also be coupled to the SLM 11. However, it is also possible for the SLM 11 to be operated by its own control device for writing data.
  • the following describes the general procedure for generating virtual information, such as, for example, the virtual information C1 according to FIG. 1.
  • the virtual information should be generated holographically, with stereoscopic generation of course also being possible.
  • the lighting device 10 If the lighting device 10 controlled by the control device 15 has been switched to a corresponding ON state, the lighting device 10 emits light that is essentially sufficiently coherent and impinges on the SLM 11, with data of the virtual information being transmitted to the SLM 11 or transmitted.
  • the light emitted by the lighting device 10 and incident on the SLM 11 is shown here by an arrow.
  • the light now modulated by the SLM 11 with the virtual information to be displayed passes through the imaging element 14, whereby an image of the SLM 11 is generated on the scanning mirror element 12 - 1 of the deflection device 12.
  • the deflection device 12 is arranged here in a Fourier plane of the SLM 11.
  • the scanning mirror element 12-1 was already activated by the control device 15 prior to the activation of the lighting device 10 in such a way that it has moved into a position that is necessary for the display of this virtual information at a defined position in the field of view S of a user B, who is passing through here the eye should be represented is required.
  • a detection device 16 is used to determine for each frame before the generation of the virtual information which area of the field of view S with virtual information, for example a two-dimensional or three-dimensional object or scene, is to be filled and which area in the field of view S should not have any virtual information but only information about the real environment of the user B.
  • the image of the SLM 11 is now directed as segment S1 by means of the scanning mirror element 12-1 in the direction of the combiner 13, which superimposes the image of the SLM 11 as segment S1 with the real environment.
  • the image of the SLM 11 is mapped as segment S1 by the combiner 13 into an observer plane 17 in order to generate a virtual visibility area 18 there.
  • the virtual visibility area 18 can be a virtual viewer window in the case of a holographic display device or a sweet spot in the case of a stereoscopic display device. In this way, the virtual information is represented and displayed at the defined position in the field of view S.
  • images of the SLM 11 can be generated as segments S2 and S3, directed by means of the scanning mirror element 12-1 to the required and defined positions in the field of view S and by means of the combiner 13 these segments S2 and S3 are superimposed on the real environment and the user B in the field of view S are shown and displayed.
  • the images of the SLM 11 as segments S1, S2 and S3 are generated sequentially and shown and displayed in the field of view S. However, this takes place at such a high frequency that the eye of user B cannot recognize this successive generation of segments S1, S2 and S3 with the naked eye and thereby perceives them to be simultaneous.
  • the combiner 13 can also have a fixed (non-variable) focusing element, for example a grating element.
  • the display device in FIG. 2 also has a variable focus system 19.
  • the variable focus system 19 makes it possible to vary the distance of the image of the SLM 11 as a segment in the field of view towards the user B, ie to set the depth of the image of the SLM 11 as a segment in the field of view S.
  • variable focus system 19 is preferably arranged in the area of the Fourier plane of the SLM 11, ie in the Fourier plane of the SLM 11 or at least in the vicinity of the Fourier plane of the SLM 11, and can for example have at least one grating element have an adjustable, tunable grating period in which a lens function is written.
  • the setting of the depth of the image of the SLM 11 as a segment in connection with the detection of a viewing direction of the user B can preferably take place.
  • a gaze tracking device 20 determines the direction of view of user B and also the depth position in the field of view into which user B focuses or the depth that he is aiming at.
  • the image generated by the SLM 11 as a segment can then be shifted by means of the variable focus system 19 to that depth position towards user B that user B is aiming at or looking at at that moment.
  • variable focus system is not absolutely necessary in a holographic display device, since the virtual information can already be displayed holographically with its required depth. However, it could nevertheless be useful to use a variable focus system, for example in order to correct aberrations caused by the optical system by shifting the image of the SLM 11 as a segment in the depth or along the z-direction.
  • the variable focus system 19 can have at least one grating element with an adjustable, tunable grating period which, for example, has prism functions or phase functions.
  • variable focus system 19 In stereoscopic display devices, it makes sense to use such a variable focus system 19 in order to shift the image of the SLM as a segment in its depth and / or to correct aberrations of the optical system.
  • a further display device is shown, which can also be designed as an AR display device or AR display and can be used both as an AR head-mounted display and as an AR head-up display.
  • the display device has an illumination device 30, an SLM 31, a deflection device 32, a combiner 33 and imaging elements, only one imaging element 34 being shown here.
  • the deflection device 32, the combiner 33 and the imaging element 34 are components of an optical system of the display device.
  • the lighting device 30 is already followed by the deflection device 32, which here also has a scanning mirror element 32-1.
  • the imaging element 34, the SLM 31 and the combiner 33 are arranged. This means that the deflection device is provided here between the lighting device 30 and the SLM 31.
  • the SLM 31 is here as an SLM with a relatively large number of pixels, such as greater than 1000 pixels in one direction.
  • the scanning mirror element 32-1 of the deflection device 32 is movably arranged, as is to be made evident by the dashed lines, and can thus move or rotate about its axis of rotation.
  • the scanning mirror element 32-1 can perform a continuous or step-by-step movement with a firmly defined step width, with which the incident light can be directed in a specific direction.
  • the combiner 33 which can also be designed as a spectacle lens in this exemplary embodiment, but should not be restricted thereto, is provided for superimposing virtual information generated by the display device with information in the real environment in the field of view S of user B.
  • the combiner 33 is also designed here in such a way that light from the real environment can pass through the combiner 33 unhindered, ie is not influenced by the combiner 33.
  • the combiner 33 can be flat or even or also curved.
  • the display device has a control device 35 which is coupled to the lighting device 30 and the deflection device 32.
  • the lighting device 30 can also be controlled and switched accordingly in this exemplary embodiment as a function of an activation of the deflection device 32, here in particular the scanning mirror element 32-1. can be brought into an ON state and an OFF state.
  • the control device 35 could also be coupled to the SLM 31.
  • the display device can also have a gaze tracking device 39 which determines the viewing direction of the user B and also the depth position in the field of view into which the user B is focusing or the depth that he is aiming at. The generated image of the SLM 31 as a segment can then, if necessary, be shifted to that depth position towards user B by means of a variable focus system that user B is aiming at or looking at at that moment.
  • the following describes the general procedure for generating virtual information, such as the virtual information C1 according to FIG. 1, in connection with the display device shown in FIG. 3.
  • virtual information should be generated holographically, with stereoscopic generation of course also being possible.
  • the lighting device 30 controlled by the control device 35 If the lighting device 30 controlled by the control device 35 has been switched to a corresponding ON state, the lighting device 30 emits light which is essentially sufficiently coherent and which strikes the deflection device 32, in particular the scanning mirror element 32-1.
  • the deflection device 32 is now arranged in front of the SLM 31 in the direction of light.
  • the scanning mirror element 32-1 has already been before the control of the lighting device 30 is controlled by the control device 35 in such a way that it has moved into a position necessary for the display of the required virtual information at a defined position in the field of view S of a user B, who is to be shown here by the eye, is required.
  • a detection device 36 determines which area of the field of view S should be filled with virtual information, for example a two-dimensional or three-dimensional object or scene, and which area in the field of view S should not have any virtual information but only information about the real environment of user B.
  • the light emitted by the lighting device 30 and impinging on the scanning mirror element 32-1 is also shown here by an arrow.
  • the light L1 reflected and directed by the scanning mirror element 32-1 of the deflection device 32 in accordance with a defined position in the field of view S then strikes the imaging element 34, which collimates the light L1.
  • This collimated light L1 now strikes the SLM 31, only a partial area of the SLM 31 being illuminated in this case.
  • FIG. 3 only a left sub-area of the SLM 31 is illuminated by means of the light L1, this sub-area being the entire left-hand area of the SLM 31 or only a sub-area in the left-hand area of the SLM 31.
  • the illustration is only shown as an example .
  • data of the virtual information are transmitted or transmitted to the corresponding sub-area of the SLM 31, here the left-hand sub-area.
  • the information for the virtual information to be displayed with the light L1 is therefore only located in the field of view S in this partial area that is illuminated on the SLM 31.
  • the light incident on this partial area of the SLM 31 is modulated with the information to be displayed and then hits as Segment S1 on the combiner 33.
  • the combiner 33 now serves as an imaging element for generating an image of the SLM 31, here an image of the partial area of the SLM 31, and also superimposes this image of the SLM 31 as segment S1 with the real environment of the user B.
  • the image of the SLM 31 as a segment S1 is mapped into a viewer plane 37, as a result of which a virtual visibility area 38 is formed.
  • the virtual visibility area 38 can be a virtual viewer window in the case of a holographic display device or a sweet spot in the case of a stereoscopic display device. In this way, the virtual information is represented and displayed at the defined position in the field of view S.
  • the user B In order to be able to observe the virtual information in the field of view S, the user B must arrange his eye in the observer plane 37 and look through the virtual visibility area 38.
  • the same procedure as described can be used.
  • Different positions of the scanning mirror element 32-1 of the deflecting device 32 create different directions of light bundles L2, L3 corresponding to required positions of the virtual information in the field of view S, which then impinge on different partial areas of the SLM 31.
  • Images of the SLM 31 are thus generated as segments S2 and S3, directed to the required and defined positions in the field of view S and shown and displayed to the user B in the field of view S.
  • the images of the SLM 11 as segments S1, S2 and S3 are generated sequentially and shown and displayed in the field of view S. However, this takes place at such a high frequency that the eye of user B cannot recognize this successive generation of segments S1, S2 and S3 with the naked eye and thereby perceives them to be simultaneous.
  • the combiner 33 can also have a fixed focusing element, for example a grating element.
  • the display device according to FIG. 3 can also have a variable focus system.
  • the variable focus system can be designed in accordance with the variable focus system 19 according to FIG. 2, so that the same should apply to the display device according to FIG. 3.
  • the display devices according to FIGS. 2 and 3 can be used for the following embodiments and configurations according to FIGS. 4 to 7 and 9, in which special procedures of a method for generating virtual information are described.
  • FIG. 4 shows the AR glasses according to FIG. 1, which a user B wears on his head in order to additionally receive virtual information that can be faded in and displayed in his real environment in the field of vision.
  • the field of view S of user B is divided into individual grid fields RF, which are arranged as a type of grid or form a grid arrangement.
  • the grid fields RF here all have the same shape and size. They are square in this embodiment.
  • the grid fields RF can also have a different shape and size.
  • the size and shape of the grid fields can vary across the field of view S.
  • the field of view S is scanned or rasterized with the grid fields RF and determined by the detection device where in the field of view the virtual information C1, C2 and C3 useful for the user B are to be displayed or are to be displayed.
  • each raster field RF of the field of view S is now approached one after the other line by line by moving the scanning mirror element of the deflection device step by step with a defined step width and only the raster field is assigned an image of the SLM as a segment in which virtual information is also to be displayed.
  • the moving scanning mirror element is put into a stop state by means of the control device, so that the lighting device is also activated by means of the control device and brought into an ON state, whereupon in connection with the SLM and the combiner and the at least one imaging element of the optical system, an image of the SLM is generated as a segment and assigned to the raster field RF1. Part of the virtual information C1 is thereby displayed.
  • the control device now controls the scanning mirror element and the lighting device again, so that the scanning mirror element is put into an ON state and the lighting device is put into an OFF state.
  • the scanning mirror element now moves a defined step width, so that a grid field RF2 is approached, from which it was also determined that this grid field RF2 contributes to the display of the virtual information C1.
  • the control device now controls the scanning mirror element and the lighting device again accordingly, so that the scanning mirror element is put into the stop state and the lighting device is put into the ON state.
  • an image of the SLM corresponding to the virtual information part to be displayed is generated as a segment by means of the SLM, the combiner and the at least one imaging element of the optical system and assigned to the grid field RF2 so that the corresponding virtual information is displayed there.
  • the two subsequent grid fields RF3 and RF4 are approached with the scanning mirror element in accordance with what has been disclosed above and an image of the SLM is generated as a segment that carries the virtual information. These two images of the SLM as segments are then assigned to the two grid fields RF3 and RF4, as can be seen in FIG.
  • the scanning mirror element is then moved further step by step with a defined step width along this upper line of the raster grid and in each case moved into a stop state and an ON state during the scanning of the further raster fields.
  • the control device Since it was determined for the other grid fields RF5 to RF15 of this line that no virtual information is to be provided and displayed for these grid fields, the control device will not control the lighting device, so that the lighting device remains in an OFF state for these grid fields RF5 to RF15 and no images of the SLM are generated as segments.
  • the second line of the raster grid is then approached by means of the scanning mirror element, with no image of the SLM being generated as a segment for the first raster field RF16 since no virtual information is to be displayed in this raster field.
  • each grid field of the grid is approached one after the other by means of the scanning mirror element and an image of the SLM is generated as a segment for the other grid fields RF35 and RF48 to RF51 and RF63, RF64 and assigned to the associated grid field and displayed.
  • the grid fields RF1, RF2, RF3, RF4, RF17, RF18 and RF19 thus contribute to the representation of the virtual information C1.
  • the grid fields RF20 to RF26 and RF35 contribute to the display of the virtual information C2 and the grid fields RF48 to RF51 and RF63, RF64 to the display of the virtual information C3.
  • the procedure described above is used for each frame.
  • the individual images of the SLM are generated and displayed as segments in a time-sequential manner.
  • the method has been described with a step-by-step movement of the scanning mirror element. However, it is also possible for the scanning mirror element to move continuously. 7 describes this in detail later.
  • the procedure can also be slightly modified.
  • the field of view is first divided into grid fields RF in the manner of a grid, which are then scanned or scanned and by means of the detection device it is determined where in the field of view the virtual information C1, C2 and C3 useful for the user B should or should be displayed. This means that it is checked and determined in which grid fields RF of the field of view S the virtual information C1, C2 and C3 are to be displayed. Because only these grid fields RF of the field of view S have to be filled with corresponding virtual information that is superimposed on the real information present there.
  • the scanning or rastering of the field of view can also take place in this procedure line by line or column by column grid field per grid field.
  • FIG. 6 shows a further exemplary embodiment for the procedure for generating and displaying virtual information.
  • the positioning of the images of the SLM as segments for displaying the virtual information does not take place on a grid or a fixed grid, as explained in the exemplary embodiments according to FIGS. 4 and 5, but can be freely selected in the field of view of user B of the display device. In this way, it is possible to reduce the number of images of the SLM as segments for displaying the same virtual information C1, C2 and C3 or the same content as in FIGS. 4 and 5.
  • the virtual information C1, C2 and C3 can be generated in FIG. 6 with a smaller number of images of the SLM as segments, namely with only 17 images of the SLM as segments instead of 21 images of the SLM as segments according to FIG.
  • the images of the SLM as segments for the respective virtual information C1, C2 or C3 are thus only generated for each frame at those positions in the field of view at which the information is necessary.
  • the images of the SLM are generated as segments in such a way that the virtual information as an object takes up the entire image of the SLM as far as possible if the object is larger than the image of the SLM, or the virtual information as an object is completely in the image of the SLM is provided when the size of the object is smaller than the image of the SLM.
  • the center of the object can coincide as a segment with the center of the image of the SLM. This means that the required virtual information can be displayed as segments with only a minimal number of images from the SLM.
  • the virtual information C1 is generated and displayed in the field of view as follows.
  • the detection device is used to determine at which position in the field of view the virtual information C1 is to be represented and displayed. It is then determined with what number of images of the SLM as segments the information C1 to be displayed must be generated and can be displayed with as few images as possible or even with only one image of the SLM as a segment. If a suitable number and also the required position of the respective image of the SLM as a segment in the field of view S is determined, the scanning mirror element of the deflection device is moved by the control device to the relevant position for an image of the SLM as a segment in the field of view S and then into a stop Condition kept.
  • data of the virtual information to be displayed in this segment are transmitted to the SLM or generated by the SLM itself and encoded on it.
  • the control device controls the lighting device so that it is switched to the ON state, whereupon data of the virtual to be displayed Information in this segment is displayed in such a way that the virtual information is located completely in the image of the SLM as total information or as partial information, so that only a few images of the SLM are required as segments to display the virtual information in the field of view S.
  • the lighting device now illuminates the SLM in order to modulate the light according to the virtual information and, in conjunction with the combiner and the optical system, to generate an image of the SLM as segment BS1 and to direct this to the determined position in the field of view S by means of the scanning mirror element. Thereafter, to display the virtual information C1, another image of the SLM is generated and displayed as segment BS2 in the same way. This procedure continues until the virtual information C1 is completely displayed in the field of view S for the user.
  • the generation and display of the images of the SLM as segments is therefore also time-sequential in this exemplary embodiment.
  • the individual images of the SLM can also overlap as segments in order to display the virtual information C1 according to FIG. 1.
  • the generation and presentation of the virtual information C2 and C3 takes place in the same way as the generation and presentation of the virtual information C1.
  • the scanning mirror element can move at a higher speed can be moved from the position of the image of the SLM as segment BS6 to, for example, a position for the still to be generated image of the SLM as segment BS7 for the virtual information C2 in order to pass the existing gap between these two segments BS6 and BS7 more quickly.
  • the speed of the movement of the scanning mirror element should be higher than when approaching the respective position for the image of the SLM as a segment for the virtual information C1.
  • the respective positions of the SLM images to be generated and displayed can be approached as segments for the virtual information C2 in the field of view S with a lower speed of movement of the scanning mirror element, similar to the speed as when displaying the virtual information C1.
  • the generation and display of the respective images of the SLM as segments for the virtual information C2 is carried out in the same way as for the generation and display of the virtual information C1.
  • the same procedure can be used to display the virtual information C3.
  • the transition from the last generated image of the SLM as segment BS 13 for the virtual information C2 to the still-to-be generated image of the SLM as segment BS 14 of the virtual information C3 can take place at a higher speed of movement of the scanning mirror element around the large gap to run faster in time.
  • This sequence of approaching positions and generating images of the SLM as segments in the field of view S is only intended to be exemplary. A different order is of course also possible. For example, after the last image of the SLM as segment BS13, the image of the SLM that is still to be generated could also be generated and displayed as segment BS17, since the gap between the two segments BS13 and BS17 is not as large as between the segments BS13 and BS14, and thus this one Position of segment BS17 can be approached faster.
  • the images of the SLM are displayed as segments freely in the field of view, can overlap and can also have different shapes and / or sizes.
  • FIGS. 4 to 6 the generation and display of virtual information was described with the aid of a step-by-step movement of the scanning mirror element with a defined step width.
  • a deflector 50 includes a scanning mirror element 51 and a Compensation mirror element 52.
  • the scanning mirror element 51 is the element of the deflector 50 that performs continuous movement.
  • the compensation mirror element 52 is also movably mounted.
  • the scanning mirror element 51 and the compensation mirror element 52 are arranged at an angle to one another, as can be seen in FIG. 7. In illustration (a) in FIG. 7, this angle is approximately 90 degrees.
  • control device 53 which also controls a lighting device (not shown) and possibly also an SLM.
  • segment BS1 the generation of a first image of the SLM is shown as segment BS1.
  • both mirror elements 51 and 51 form at the moment the image of the SLM is generated as segment BS1 at a previously defined position in the user's field of vision
  • the compensation mirror element 52 a defined angle to one another, the compensation mirror element 52 remaining fixed, i.e. is not moving.
  • the scanning mirror element 51 continues to move.
  • the light L impinging on the deflection device 50 thus strikes the scanning mirror element 51 first and is reflected by the latter in the direction of the compensation mirror element 52 in accordance with its alignment.
  • the light impinging on the compensation mirror element 52 is also reflected by the latter in accordance with its orientation, hits the combiner and is then directed to a corresponding position in the user's field of vision.
  • This embodiment of the deflection device 50 could occur, for example, if a first image of the SLM is generated as a segment at a defined position in the field of view, so that at the moment when the scanning mirror element 51 is first activated by the control device 53 for continuous movement, the Lighting device is controlled by means of control device 53 and emits light in order to generate and display an image of the SLM as a segment for virtual information precisely at this first position of the scanning mirror element in the field of view.
  • the compensation mirror element 52 is rotated in the same direction by the same amount as the scanning mirror element 51, so that at the point in time at which the lighting device is controlled by the control device 53 of the display device and placed in an ON state, the SLM is illuminated and the Image of the SLM is generated and displayed as a segment at the same position in the field of view as in illustration a).
  • the image of the SLM is thus at the same position in the field of view displayed as segment BS1.
  • the compensation mirror element 52 thus compensates for the movement of the scanning mirror element 51.
  • the dashed lines and arrows are intended to show the incident light beam on the two mirror elements 51 and 52 according to illustration a), the solid lines and arrows being intended to illustrate the incident, offset light beam.
  • the advantage of such an arrangement of scanning mirror element and compensation mirror element in the deflection device is that continuously scanning or moving mirror elements are often faster in their speed of movement than mirror elements which move step by step from point to point and are then stopped.
  • the image of the SLM as Segment BS1 are displayed.
  • the compensation mirror element 52 is moved to its initial state, no image of the SLM is generated as a segment until the required new position of the compensation mirror element 52 is reached.
  • the lighting device When the compensation mirror element 52 moves into its initial state, the lighting device is switched off or is in the OFF state. Only when the compensation mirror element 52 has reached its new required position is the lighting device switched back to the ON state by means of the control device 53. Thereafter, both mirror elements 51 and 52 or only one of the two could move on and another or further image of the SLM could be generated as a segment and displayed to the user in the field of view.
  • FIG. 1 A general generation of information in connection with a coupling of light into a light guide according to the prior art is shown in FIG.
  • An SLM 60 is used here, which has a relatively large number of pixels and thus an HD (high definition) TV resolution or higher.
  • an imaging element 62 for example a lens element, arranged in the beam path between the SLM 60 and a light guide 61, a coupling angle spectrum 63 of the light modulated and emitted by the SLM 60 is generated in such a way that the light rays emanating from the individual pixels of the SLM 60 under im Means of different angles relative to the surface of the light guide 61 impinge on the light guide 61.
  • This coupling angle spectrum 63 hits the light guide 61 and is coupled into the light guide 61 by means of a mirror surface 64.
  • the mirror surface 64 is fixedly arranged within the light guide 61 at a defined angle.
  • the light rays that strike the mirror surface 64 are reflected by the latter and propagate with total reflection in the light guide 61.
  • a decoupling device 65 which has corresponding decoupling elements, for example decoupling grating elements, the light can be emitted from the light guide 61 in the direction of a user's eye B, whereby a decoupling angle spectrum 66 can be defined.
  • An image of the SLM 60 is mapped into an observer plane 67 in order to generate a virtual visibility area 68 there.
  • WO 2019/012028 A1 the disclosure of WO 2019/012028 A1 to be included here in its entirety.
  • a light guide is described which is designed such that the coupling-out takes place after a fixed number of reflections in the light guide and that the coupling-out angle spectrum is enlarged compared to the coupling-in angle spectrum.
  • the decoupled light propagates further to a visibility area and the decoupling angle spectrum corresponds to the field of view.
  • the propagation and decoupling of light should not be limited to these possibilities.
  • FIG. 9 shows the generation of images of the SLM as segments by means of a display device according to the invention.
  • This display device of FIG. 9 can in particular be designed as an AR display device, such as, for example, an AR head-mounted display or also an AR head-up display.
  • this display device can generate the virtual information holographically or stereoscopically and present it in the field of view of a user.
  • Representation a) shows the display device when a first image of an SLM is generated as a segment and representation b) in FIG. 9 shows generation of a second image of an SLM as a segment.
  • the display device of FIG. 9 has an illumination device 70, an SLM 71, a combiner 72, a deflection device 73 and at least one imaging element 74 of an optical system.
  • the SLM 71 now has a relatively small number of pixels, e.g. less than 1000 pixels in one direction, on.
  • the deflection device 73 here has a scanning mirror element 73-1 for deflecting the incident light, which is movably and thus rotatably mounted.
  • the scanning mirror element 73-1 is arranged in the vicinity of a light coupling surface of the combiner 72 so that coupling can take place with high accuracy.
  • the optical system of the display device should be represented here by the imaging element 74, the combiner 72 and the deflection device 73, it being understood that several imaging elements or other optical elements can also be provided.
  • the imaging element 74 is provided between the SLM 71 and the deflection device 73 in the beam path.
  • the combiner 72 is designed as a light guide which can be designed to be planar or flat or also curved.
  • a control device 75 is provided which is coupled to the illumination device 70 and the deflection device 73, in particular the scanning mirror element 73-1. It can also be additionally coupled to the SLM 71, whereby the SLM 71 itself can also be operated via its own control device.
  • the lighting device 70 If the lighting device 70 is now in an ON state due to activation by means of the control device 75, it sends light to the SLM 71, modulates this light from the SLM 71 and hits the deflection device 73 via the imaging element 74.
  • the imaging element 74 generates a coupling angle spectrum of the light which is smaller in its extent than the coupling angle spectrum of the light according to FIG.
  • This coupling angle spectrum is then coupled into the combiner 72 designed as a light guide, for example by means of a coupling device which e.g. may have a mirror element or at least one grating element, for example a volume grating.
  • the light can be decoupled from the combiner 72 via a decoupling device 77 which has at least one decoupling element, e.g. a decoupling grating element, such as a volume grating, so that the decoupled light is directed towards a user B in a viewer plane 78 and there forms a virtual visibility area 79 through which the user B can then view the virtual information (s) generated in the field of view .
  • a decoupling device 77 which has at least one decoupling element, e.g. a decoupling grating element, such as a volume grating, so that the decoupled light is directed towards a user B in a viewer plane 78 and there forms a virtual visibility area 79 through which the user B can then view the virtual information (s) generated in the field of view .
  • a first image of the SLM 71 is generated and represented as a segment which has virtual information in the field of view.
  • a detection device is used to determine where in the field of view virtual information is to be displayed. If this is known, the control device 75 controls the scanning mirror element 73-1 in order to move it into a defined position that is required to display at least part of the virtual information. In addition, the control device 75 puts the lighting device 70 in an ON state, so that the SLM 71 illuminates with light is transmitted to the SLM 71 data to represent the virtual information.
  • the light incident on the SLM 71 is modulated by the latter in accordance with the virtual information and is incident on the imaging element 74, whereby an image of the SLM 71 is generated on the scanning mirror element 73-1, which is arranged in the Fourier plane of the SLM 71.
  • An angular spectrum of the light 76 generated with the imaging of the SLM 71 by means of the imaging element 74 is coupled by means of the scanning mirror element 73-1 into the combiner 72 in the form of a light guide at a first central angle ⁇ and propagates further in the combiner 72 with total reflection.
  • the decoupling device 77 If the light propagating in the combiner 72 hits the decoupling device 77 at a defined angle, it is decoupled from the combiner 72 and the image from the SLM 71 is directed as a segment into the observer plane 78, in which a virtual visibility area 79 is formed. In this way, a first image of the SLM 71 is generated and displayed as a segment in the form of virtual information at a defined position in the field of view.
  • a second image of the SLM 71 is generated and displayed as a segment at a second defined position in the field of view of user B that is different from the first defined position.
  • the scanning mirror element 73-1 has been moved or rotated to a different position by the control device 75, i. from the position shown in dotted lines to the position with the solid line along the arrow.
  • the central angle of the light bundle that is coupled into the combiner 72 is changed.
  • the angular spectrum of the light 76 generated with the image of the SLM 71 is then at a different central angle by means of the scanning mirror element 73-1, i.e.
  • the light now propagating in the combiner 72 at different angles compared to illustration a) can, however, be coupled out in the same way as described for illustration a).
  • a second image of the SLM 71 is generated and displayed as a segment at a position in the field of view that differs from the first image of the SLM 71 as a segment for displaying further virtual information.
  • the scanning mirror element 73-1 is rotated by further defined step widths by means of the control device 75 in order to display the images of the SLM 71 as segments in the field of view at the respective defined position.
  • a step-by-step movement of the scanning mirror element 73-1 was assumed.
  • the deflection device 73 of FIG. 9 can also be designed according to FIG. 7, whereby a continuous movement of the scanning mirror element is provided.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

Die Erfindung betrifft eine Anzeigevorrichtung, die eine Beleuchtungseinrichtung (10) zum Aussenden von Licht, eine räumliche Lichtmodulationseinrichtung (19) zum Modulieren von auftreffendem Licht, ein optisches System und eine Steuereinrichtung aufweist. Das optische System ist zum Erzeugen wenigstens eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment vorgesehen, wobei das optische System ferner eine Ablenkeinrichtung (12) zum Richten des Bildes der räumlichen Lichtmodulationseinrichtung an eine definierte Position im Sichtfeld (18) eines Benutzers aufweist. Die Steuereinrichtung ist mit der Beleuchtungseinrichtung und der Ablenkeinrichtung gekoppelt und zur Schaltung der Beleuchtungseinrichtung in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung ausgebildet.

Description

Anzeigevorrichtung mit reduziertem Energieverbrauch
Die Erfindung betrifft eine Anzeigevorrichtung zur Darstellung von zweidimensionalen und/oder dreidimensionalen Informationen, wie Objekte oder Szenen, die einen geringen Energieverbrauch vorsieht. Die Erfindung bezieht sich vorzugsweise auf Augmented Reality (AR; Erweiterte Realität) - Anzeigevorrichtungen bzw. Displays. Hierunter fallen beispielsweise Head-Mounted-Displays als auch Head-Up-Displays. Es soll jedoch darauf hingewiesen werden, dass die Erfindung auf derartige Displays nicht beschränkt sein soll. Ferner betrifft die Erfindung auch ein Verfahren zur Darstellung von zweidimensionalen und/oder dreidimensionalen Informationen, mit dem ein reduzierter Energieverbrauch bei einer Anzeigevorrichtung bewirkt werden soll.
In Anzeigevorrichtungen zur Darstellung von zweidimensionalen und/oder dreidimensionalen Szenen werden häufig sogenannte räumliche Lichtmodulatoren eingesetzt, mit denen das auftreffende Licht entsprechend der geforderten und darzustellenden Information moduliert werden kann. Hierbei sind verschiedene Arten von räumlichen Lichtmodulatoren, die auch als SLM bezeichnet werden, bekannt. Ein hierfür gebräuchlicher räumlicher Lichtmodulator ist beispielsweise ein LCoS-SLM (Liquid Crystal on Silicon), der das einfallende Licht reflektiert anstatt zu transmittieren. LCoS-SLM sind in ihrer Ausdehnung üblicherweise sehr klein, z.B. mit Diagonalen von kleiner 20 mm, können jedoch eine sehr große Anzahl an Pixel aufweisen, z.B. 4000 x 2000 Pixel. LCoS-SLM existieren sowohl zur Modulation von Amplitude als auch zur Modulation von Phase des Lichts als kommerzielles Produkt. Der Vorteil eines LCoS-SLM liegt eindeutig in seiner Reflektivität. Jedoch gibt es auch kleinere Nachteile, wie beispielsweise dessen Geschwindigkeit, die durch die Reaktionszeit der Flüssigkristalle im SLM begrenzt wird. Ein LCoS-SLM kann eine Bildfrequenz von z.B. 60 Hz erreichen, in einigen Fällen auch wenige Hundert Hertz, z.B. 180 Hz oder 240 Hz. Jedoch kann eine Bildfrequenz von größer 500 Hz nicht erzielt werden.
Ein weiterer SLM-Typ ist ein MEMS-SLM (Micro Electro-Mechanical Mirror Systems), dessen wesentlicher Vorteil gegenüber einem LCoS-SLM seine höhere Geschwindigkeit ist. Ein weiterer Vorteil liegt in den Modulationswerten, Phasenwerten oder Amplitudenwerten, die stabiler einstellbar und weniger fehleranfällig sind als jene eines LCoS-SLM. Zum Beispiel lassen sich bei einem MEMS-SLM die Modulationswerte benachbarter Pixel besser unabhängig voneinander einstellen, während bei einem LCoS-SLM die Modulationswerte benachbarter Pixel sich ungewünscht gegenseitig beeinflussen können. Auf der anderen Seite sind kommerziell erhältliche amplitudenmodulierende MEMS-SLM zurzeit auf binäre Typen begrenzt, wobei phasenmodulierende MEMS-SLM zurzeit nicht auf dem Displaymarkt zu finden sind, sondern vielmehr beispielsweise im Bereich der Lithographie eingesetzt werden. Zudem weisen derartige MEMS-SLM eine relativ geringe Pixelanzahl auf, z.B. weniger als VGA (640 x 480 Pixel).
Im Allgemeinen erhöhen sich der Aufwand und die Kosten für die Herstellung eines neuen räumlichen Lichtmodulators (SLM) mit der Anzahl an Pixeln. Zudem spielt der Energieverbrauch bzw. Stromverbrauch in einer Anzeigevorrichtung eine wichtige Rolle. Hierzu muss auch der Stromverbrauch des räumlichen Lichtmodulators betrachtet werden. Ein wesentlicher Teil des Stromverbrauchs eines räumlichen Lichtmodulators ist auf die Datenübertragung zu den Pixeln des räumlichen Lichtmodulators zurückzuführen. Der Energieverbrauch hängt jedoch auch von der Länge der Datenleitungen vom Rand des räumlichen Lichtmodulators zu den einzelnen Pixeln ab. Ein in seiner Ausdehnung kleiner räumlicher Lichtmodulator mit einer im Durchschnitt geringeren Pixelanzahl hat kürzere Datenleitungen und damit meist einen geringeren Energieverbrauch. Daher kann ein derartiger räumlicher Lichtmodulator energieeffizienter sein, selbst wenn er mit hohen Bildraten bzw. Bildfrequenzen betrieben wird, d.h. wenn dieselbe Anzahl an Pixeln pro Zeiteinheit beschrieben wird im Vergleich zu einem räumlichen Lichtmodulator mit einer hohen Anzahl an Pixeln aber geringerer Bildrate.
Für eine mobile Anzeigevorrichtung, wie z.B. ein Head-Mounted-Display, das an einem Kopf eines Betrachters oder Benutzers angebracht ist und nicht über ein Kabel mit einem Stromnetz verbunden werden kann, ist der Energieverbrauch ein besonders wichtiger Faktor.
Hierbei wäre eine Anzeigevorrichtung als vorteilhaft anzusehen, die die Verwendung eines räumlichen Lichtmodulators mit einer kleinen Anzahl an Pixeln ermöglicht. Andererseits ist zur Erzeugung eines großen Sichtfelds (FoV - Field of View) mit einer guten Auflösung für ein Head-Mounted-Display (HMD) eine große Anzahl an Pixeln erforderlich. Ein typischer Wert liegt bei 60 Pixel/Grad Sichtfeld für die Darstellung eines flachen zweidimensionalen (2D) Bildes, da dieser Wert (60 Pixel/Grad Sichtfeld) der Auflösung des menschlichen Auges entspricht. Für eine holographische Darstellung einer dreidimensionalen (3D) Szene ist jedoch eine größere Anzahl an Pixeln pro Grad Sichtfeld erforderlich.
Ein Sichtfeld von beispielsweise 60 Grad x 30 Grad erfordert dann 3600 Pixel x 1800 Pixel bei der Erzeugung eines flachen zweidimensionalen Bildes, jedoch werden viel mehr Pixel, zum Beispiel 15000 Pixel x 7500 Pixel, für die Erzeugung eines holographischen Bildes gefordert. Es existieren bereits LCoS-SLM mit einer Auflösung von ca. 4000 Pixel x 2000 Pixel als kommerzielle Produkte. Diese weisen jedoch immer noch wesentliche Nachteile auf. Häufig wird eine höhere Auflösung durch Verwendung kleinerer Pixel erreicht, zum Beispiel 3 bis 5 Mikrometer große Pixel, wodurch sich bei einem LCoS-SLM die Fehleranfälligkeit der Modulationswerte, beispielsweise die ungewünschte Beeinflussung der Modulationswerte durch benachbarte Pixel, verstärkt. Werden jedoch größere Pixel, zum Beispiel 8 bis 10 Mikrometer große Pixel, verwendet, so werden bei der Auflösung von 4000 x 2000 Pixel beispielsweise eine Größe und ein Gewicht des LCoS-SLM erhalten, die für das Bauvolumen und das Gesamtgewicht eines Head-Mounted-Displays immer noch nachteilig sind. Die Größe würde sich dann auch nachteilig auf die Herstellungskosten des LCoS-SLM auswirken.
Beispielsweise sind aus Dokumenten der Anmelderin, wie z.B. WO 2018/146326 A1 , WO 2019/012028 A1 , WO 2018/21 1074 A1 , WO 2019/076963A, Anzeigevorrichtungen in Form von Head-Mounted-Displays bekannt, die jeweils einen Lichtleiter, eine Einkopplungseinrichtung und eine Auskopplungseinrichtung sowie zusätzliche optische Elemente aufweist, die vor dem Einkoppeln des Lichts in den Lichtleiter im Lichtweg angeordnet sind. Head-Mounted-Displays, die keinen Lichtleiter aufweisen, sondern eine Anordnung von Fokussiermitteln, wie beispielsweise Linsenelemente und/oder gekrümmte Spiegelelemente, sind beispielsweise aus der US 2010/0097671 oder der US 2013/0222384 bekannt.
In der US 2013/0222384 wird eine segmentierte Mehrfachabbildung eines räumlichen Lichtmodulators beschrieben. Hierbei wird ein großes Sichtfeld erzeugt, indem zeitsequentiell durch Abbildung des räumlichen Lichtmodulators verschiedene Segmente erzeugt werden, wobei jeweils eine Abbildung des räumlichen Lichtmodulators an eine andere Position im Sichtfeld durchgeführt wird. In einer Ausführungsform der US 2013/0222384 wird zum Erzeugen der Segmente eine Anordnung von zwei Spiegeln verwendet, die gleichsinnig gedreht werden.
Während in Anzeigevorrichtungen, wie z.B. Fernseher, Notebooks oder Tablets oder auch VR (Virtual Reality) -Head-Mounted-Displays, normalerweise das gesamte Sichtfeld oder zumindest der größte Teil davon mit Inhalten oder Informationen gefüllt ist, ist dies bei einer AR (Augmented Reality) - Anzeigevorrichtung bzw. AR-Display nicht der Fall. Derartige AR- Displays werden auch als Mixed-Reality-Displays bezeichnet und befähigen einer Person durch ein transparentes oder halbtransparentes System hindurchsehen, um seine reale Umgebung zu betrachten und zusätzlich auch Bilder von virtuellen Objekten, wie z. B. Text, Grafiken, Videos usw., zu sehen, die erzeugt werden, um als ein Teil der realen Umgebung durch Überlagerung mit dieser zu erscheinen. Die Einblendung oder Darstellung oder Überlagerung von zusätzlichen Informationen mit der natürlichen Wahrnehmung oder Umgebung einer Person wird daher als erweiterte Realität (Augmented Reality; AR) bezeichnet. Diese zusätzlich dargestellten Informationen, wie z.B., genauer angegeben als, Geschwindigkeitsanzeigen, Temperaturanzeigen, Schilder, Warnungen, oder auch Assistenzfunktionen, Navigationssystemfunktionen, Radiofunktionen oder Shoppinganzeigen, werden dabei in das Sichtfeld einer Person eingeblendet, ohne dass die Person dadurch in ihrem Verhalten oder Bedienverhalten störend beeinflusst wird. Für ein AR-Display ist es daher wichtig, dass ein Benutzer neben den virtuell erzeugten Objekten weiterhin seine reale Umgebung beobachten kann. Daher darf nur ein kleiner Teil der realen Umgebung durch den Inhalt der Objekte verdeckt werden, der dem Benutzer durch das AR-Display angezeigt wird. Ein AR-Display erfordert jedoch im Vergleich zu Anwendungen einer Anzeigevorrichtung als Fernseher oder VR-HMD eine höhere Helligkeit, da der Benutzer die Information bzw. virtuellen Objekte auch in einer Umgebung mit hellem Sonnenlicht in etwa auf derselben Helligkeitsstufe wie in der realen Umgebung sehen sollte. Für ein AR-Display, z.B. ein AR- Head-Mounted-Display (AR-HMD), als mobiles Gerät besteht zudem gleichzeitig die Notwendigkeit eines geringen Energieverbrauchs.
Daher ist es Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zu schaffen, die/das eine dreidimensionale Darstellung von Informationen erlaubt. Ferner soll die Vorrichtung kompakt und ein geringes Gewicht aufweisen und zudem energieeffizient sein.
Die Aufgabe wird erfindungsgemäß durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 gelöst.
Erfindungsgemäß ist eine Anzeigevorrichtung vorgesehen, die insbesondere als AR (Augmented Realityj-Anzeigevorrichtung bzw. AR-Display ausgebildet ist. Vorzugsweise ist das AR-Display als AR-Head-Mounted-Display oder als AR-Head-Up-Display ausgebildet. Die Vorrichtung weist eine Beleuchtungseinrichtung, eine räumliche Lichtmodulationseinrichtung, ein optisches System und eine Steuereinrichtung auf. Die Beleuchtungseinrichtung ist zum Aussenden von Licht, z.B. von im Wesentlichen kohärentem Licht, vorgesehen. Die räumliche Lichtmodulationseinrichtung ist zum Modulieren von, von der Beleuchtungseinrichtung ausgesandtem Licht vorgesehen und kann wenigstens einen räumlichen Lichtmodulator aufweisen. Das optische System wiederum ist zum Erzeugen wenigstens eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment vorgesehen und weist neben wenigstens einem Abbildungselement eine Ablenkeinrichtung zum Richten des Bildes der räumlichen Lichtmodulationseinrichtung an eine definierte Position im Sichtfeld eines Benutzers auf. Die Steuereinrichtung ist mit der Beleuchtungseinrichtung und der Ablenkeinrichtung gekoppelt und zur Steuerung oder Schaltung der Beleuchtungseinrichtung in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung ausgebildet.
Die Erfindung soll anhand eines AR-Displays, insbesondere eines AR-Head-Mounted- Displays, näher erläutert werden, jedoch nicht auf diese Art von Displays beschränkt sein, wie bereits dargelegt. Ein AR-Display ist eine Anzeigevorrichtung, bei der virtuelle Informationen oder Objekte der realen Umgebung einer das AR-Display verwendenden Person oder Benutzers überlagert werden, so dass der Benutzer zusätzliche Informationen erhalten kann, die ihm bei der Betrachtung seiner realen Umgebung von Nutzen sind oder sein können. Beispielsweise könnten dem Benutzer der erfindungsgemäßen Anzeigevorrichtung bzw. Vorrichtung bei einem Stadtrundgang Informationen hinsichtlich einer Sehenswürdigkeit oder Navigationshinweise eingeblendet werden, die dann der realen Umgebung im Sichtfeld des Benutzers überlagert werden. Um eine derartige Überlagerung von virtuellen Informationen mit realen Informationen im Sichtfeld eines Benutzers zu erreichen, weist das optische System der erfindungsgemäßen Anzeigevorrichtung eine Ablenkeinrichtung auf, mit der ein vom optischen System erzeugtes Bild der räumlichen Lichtmodulationseinrichtung an eine im Sichtfeld des Benutzers definierte Position oder Ort gerichtet ist, um dort die geforderte Information oder das geforderte Objekt mit der realen Umgebung zu überlagern und dem Benutzer anzuzeigen. Hierfür ist die Steuereinrichtung der erfindungsgemäßen Anzeigevorrichtung mit der Beleuchtungseinrichtung und der Ablenkeinrichtung gekoppelt, um die Beleuchtungseinrichtung wie auch die Ablenkeinrichtung entsprechend ansteuern zu können. Die Beleuchtungseinrichtung wird von der Steuereinrichtung in Abhängigkeit von der Ansteuerung der Ablenkeinrichtung angesteuert bzw. geschaltet. Das bedeutet, dass die Ablenkeinrichtung des optischen Systems angesteuert wird und die Position im Sichtfeld einstellt, an der die virtuelle Information oder das virtuelle Objekt angezeigt bzw. dargestellt werden soll. Ist die geforderte Position im Sichtfeld erreicht, wird die Beleuchtungseinrichtung mittels der Steuereinrichtung angesteuert, so dass die Beleuchtungseinrichtung entsprechend Licht aussendet, das auf die räumliche Lichtmodulationseinrichtung auftrifft und ein Bild von dieser mittels des optischen Systems erzeugt wird. Dieses Bild der räumlichen Lichtmodulationseinrichtung wird als Segment somit an die definierte Position im Sichtfeld des Benutzers gerichtet und mit der realen Umgebung im Sichtfeld überlagert, so dass der Benutzer die damit dargestellte Information betrachten kann.
Auf diese Weise kann eine, eine geringe Anzahl an Komponenten aufweisende und somit kompakte und ein geringes Gewicht aufweisende Anzeigevorrichtung zur Darstellung von zweidimensionalen und/oder dreidimensionalen Informationen geschaffen werden. Zudem kann erreicht werden, dass die erfindungsgemäße Anzeigevorrichtung energieeffizient dem Benutzer eine geforderte Information oder Informationen darstellt, da nur dann Daten zur Erzeugung der darzustellenden virtuellen Information an die räumliche Lichtmodulationseinrichtung gesendet bzw. übertragen oder von der räumlichen Lichtmodulationseinrichtung selbst erzeugt werden, wenn die Steuereinrichtung die Beleuchtungseinrichtung entsprechend ansteuert, um Licht auszusenden. Das bedeutet, dass eine Berechnung der darzustellenden virtuellen Information, wie beispielsweise eine Berechnung und Aufsummieren von Subhologrammen für ein Gesamthologramm zur Darstellung einer holographischen dreidimensionalen Information oder Objekt oder auch eine Art von Bildbearbeitung wie Unschärfe von Objekten, die außerhalb des Fokus eines Benutzers liegen, für die Darstellung einer stereoskopischen Szene, und deren Anzeige nur für jene Bereiche im Sichtfeld erfolgt, in denen eine virtuelle Information mittels der erfindungsgemäßen Anzeigevorrichtung auch dargestellt bzw. angezeigt werden soll. Für andere Bereiche im Sichtfeld, in denen keine virtuelle Information angezeigt werden soll, werden keine Daten berechnet oder in einer anderen Ausführung keine Daten berechnet und an die räumliche Lichtmodulationseinrichtung übertragen. Auf diese Weise kann somit der Energieverbrauch, allein für eine Datenübertragung, erheblich reduziert werden.
Die erfindungsgemäße Anzeigevorrichtung kann somit vorteilhaft als Augmented-Reality- Display zur Kombination von realer Umgebung und dargestellter bzw. eingeblendeter virtueller Information, wie z.B. zweidimensionalen und/oder dreidimensionalen Objekten, ausgebildet sein. Das erzeugte wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung als Segment, das eine virtuelle Information aufweist, nimmt dabei nur einen Bruchteil, beispielsweise 2% bis 30% oder auch nur 5% bis 20%, des Sichtfeldes ein. Das bedeutet, das Sichtfeld wird nur mit wenig virtueller Information gefüllt. Mit anderen Worten, das dargestellte Bild der räumlichen Lichtmodulationseinrichtung als Segment oder auch die dargestellten Bilder der räumlichen Lichtmodulationseinrichtung als Segmente füllen das Sichtfeld nicht komplett aus bzw. bilden nur einen Teil des Sichtfelds, so dass zwischen dargestellten virtuellen Informationen, die jeweils eine komplette virtuelle Information bilden, Lücken oder Bereiche im Sichtfeld vorliegen, die mit der realen Information gefüllt sind bzw. in denen ein Benutzer seine reale Umgebung betrachten kann. Ein Bild der räumlichen Lichtmodulationseinrichtung als Segmente oder auch mehrere Bilder der räumlichen Lichtmodulationseinrichtung als Segmente zusammen können somit eine virtuelle Information bilden, die wiederum von einer anderen dargestellten virtuellen Information im Sichtfeld durch eine Lücke getrennt ist, in der der Betrachter die reale Umgebung wahrnimmt.
Die darzustellende virtuelle Information kann holographisch oder stereoskopisch erzeugt werden. Ferner kann die virtuelle Information als zweidimensionale oder dreidimensionale Darstellung angezeigt werden. Auch Kombinationen von zweidimensionalen und dreidimensionalen Darstellungen sind möglich. Unter dem Begriff „virtuelle Information“ soll gemäß der Erfindung nicht nur die komplett erzeugte virtuelle Information, wie z.B. ein Objekt oder eine Szene, verstanden werden, sondern auch nur ein Teil der virtuellen Information, wie z.B. ein Teil eines Objekts oder ein Teil einer Szene. Weitere vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den weiteren Unteransprüchen.
In einer besonders vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass das optische System zur Erzeugung von wenigstens zwei Bildern der räumlichen Lichtmodulationseinrichtung und entsprechend der Anzahl der Bilder der räumlichen Lichtmodulationseinrichtung zur Erzeugung von virtuellen Sichtbarkeitsbereichen vorgesehen ist, wobei die wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld vorliegen.
Vorteilhafterweise können die wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld miteinander kombiniert sein und/oder sich einander teilweise überlappen oder über eine Lücke voneinander beabstandet sein.
Die Bilder der räumlichen Lichtmodulationseinrichtung werden vorzugsweise zeitsequentiell im Sichtfeld erzeugt.
Durch die Erzeugung von wenigstens zwei Bildern der räumlichen Lichtmodulationseinrichtung und deren Darstellung im Sichtfeld eines Benutzers der erfindungsgemäßen Anzeigevorrichtung wird eine segmentierte Darstellung der virtuellen Informationen im Sichtfeld geschaffen. Durch eine Kombination von mehreren Bildern der räumlichen Lichtmodulationseinrichtung als Segmente kann ein großes Sichtfeld bzw. ein großer Betrachtungswinkel geschaffen werden. Beispielsweise kann eine bestimmte Anzahl an Segmenten genutzt werden, wie beispielsweise mehr als 10 Segmente, mehr als 30 Segmente oder auch mehr als 50 Segmente, die eine Darstellung von virtuellen Informationen im Sichtfeld eines Benutzers ermöglicht.
Die Anzahl der Bilder der räumlichen Lichtmodulationseinrichtung als Segmente kann vorteilhaft in jedem Frame zwischen einem minimalen Wert, z.B. ein Bild als Segment, und einem maximalen Wert, z.B. 10 bis 50 Bilder als Segmente, unterschiedlich einstellbar sein und die Position der Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld kann in jedem Frame unterschiedlich einstellbar sein.
Die Bestimmung der Anzahl und der Position der Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld ist dabei von einer realen Umgebung eines Benutzers abhängig ist. Das bedeutet, dass die Anzahl und Position der Bilder der räumlichen Lichtmodulationseinrichtung in Abhängigkeit von der realen Umgebung eingestellt werden kann. Die Anzahl und die Position der dargestellten Bilder der räumlichen Lichtmodulationseinrichtung als Segmente ist somit variabel und je nach geforderter virtueller Information im Sichtfeld einstellbar. Hierzu beobachtet der Benutzer bzw. Betrachter die dargestellte zweidimensionale und/oder dreidimensionale Information oder das dargestellte zweidimensionale und/oder dreidimensionale Objekt durch einen virtuellen Sichtbarkeitsbereich in einer Betrachterebene.
Das bedeutet, bei der Erzeugung jedes einzelnen Bildes der räumlichen Lichtmodulationseinrichtung als Segment wird ein virtueller Sichtbarkeitsbereich in der Betrachterebene erzeugt, wobei alle erzeugten virtuellen Sichtbarkeitsbereiche für ein Auge des Betrachters an einer gleichen Position in der Betrachterebene entstehen und sich miteinander überlagern sollen.
Dieser Sachverhalt soll gemäß der Erfindung so ausgelegt werden, dass bei einer holographischen Erzeugung und Darstellung der virtuellen Information in Kodierungsrichtung eines auf der räumlichen Lichtmodulationseinrichtung kodierten Hologramms ein virtuelles Betrachterfenster als virtueller Sichtbarkeitsbereich vorliegt und bei einer stereoskopischen Darstellung der virtuellen Information im Sichtfeld ein optimaler Sichtbereich, der auch„Sweet- Spot“ genannt wird, als virtueller Sichtbarkeitsbereich vorliegt. Das virtuelle Betrachterfenster und der Sweet-Spot bilden somit jeweils oder auch zusammen, je nachdem auf welche Weise die virtuelle Information dargestellt wird, einen virtuellen Sichtbarkeitsbereich in einer Betrachterebene, in der sich ein Benutzer, insbesondere ein Auge des Benutzers, zum Beobachten der erzeugten Information befindet.
So könnten beispielsweise ein oder auch mehrere Segmente einer darzustellenden dreidimensionalen Information, die in Blickrichtung des Auges eines Benutzers liegen sollen und somit auf die Netzhaut in das Zentrum der Fovea des Auges fallen, holographisch erzeugt und dargestellt werden. Jedoch könnten ein oder mehrere Segmente derselben oder einer weiteren darzustellenden dreidimensionalen Information, die nicht in Blickrichtung des Auges des Benutzers liegen sollen und somit zwar auf die Netzhaut des Auges fallen, jedoch nicht in das Zentrum der Fovea, stereoskopisch erzeugt und dargestellt werden.
Um einen möglichen Vergenz-Akkommodation-Konflikt im Wesentlichen oder komplett zu vermeiden, sollten die einzelnen Segmente zur Darstellung der virtuellen Information im Sichtfeld rein holographisch erzeugt werden, da auf diese Weise eine realistischere Tiefendarstellung der rekonstruierten Information bzw. Objekt im Vergleich zu einer stereoskopischen Darstellung der virtuellen Information erreicht werden kann.
Ferner kann vorgesehen sein, dass das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung eine Abbildung der gesamten räumlichen Lichtmodulationseinrichtung oder eine Abbildung nur eines Teilbereichs der räumlichen Lichtmodulationseinrichtung ist. Das Bild der räumlichen Lichtmodulationseinrichtung bildet allgemein ein Segment, das der realen Umgebung bzw. dem realen Sichtfeld des Benutzers überlagert ist und daher ein Segment des Sichtfelds des Benutzers ist. Das durch die erfindungsgemäße Anzeigevorrichtung erzeugte Segment im Sichtfeld, das die virtuelle Information aufweist, kann durch eine Abbildung der gesamten räumlichen Lichtmodulationseinrichtung, d.h. der Gesamtfläche der räumlichen Lichtmodulationseinrichtung, so dass alle Pixel der räumlichen Lichtmodulationseinrichtung zur Erzeugung des Segments beitragen, geschaffen werden. Oder das erzeugte Segment kann auch durch eine Abbildung nur eines Teiles oder Teilbereiches der räumlichen Lichtmodulationseinrichtung geschaffen werden, d.h. es tragen nicht alle Pixel der räumlichen Lichtmodulationseinrichtung zur Erzeugung des Segments bei.
Ein einzelnes erzeugtes Segment bedeckt bzw. überdeckt somit nur einen kleinen Bereich des Sichtfelds des Benutzers der erfindungsgemäßen Vorrichtung. Beispielsweise kann ein einzelnes Segment nur einen Bereich von ca. 3° x 3° oder ca. 5° x 3° oder ca. 7° x 7° des gesamten Sichtfelds bedecken, wobei die Erfindung nicht auf diese Zahlenangaben beschränkt sein soll. Das gesamte Sichtfeld kann dabei beispielsweise einen Bereich von ca. 40° x 20° oder ca. 60° x 30° oder 60° x 60° aufspannen, wobei auch hier diese Zahlenangaben nicht beschränkend wirken sollen. Das bedeutet auch, dass die Anzahl an Segmenten, die die virtuelle Information aufweisen und der realen Umgebung überlagert werden, kleiner ist als eine Anzahl an Segmenten, die benötigt werden würde, wenn das gesamte Sichtfeld durch Segmente aufgebaut würde bzw. um das gesamte Sichtfeld mittels Segmenten zu erzeugen. Wenn zum Beispiel das gesamte Sichtfeld einen Bereich von ca. 60° x 60° umfasst und die Größe eines einzelnen Segments ca. 5° x 5° ist, dann würden theoretisch gesehen 12 x 12 Segmente, d.h. 144 Segmente, gefordert werden, um das gesamte Sichtfeld erzeugen zu können. Wenn jedoch nur ca. 15% des Sichtfelds mit virtueller Information, d.h. mit z.B. zweidimensionalen und/oder dreidimensionalen Objekten, gefüllt werden müsste, dann könnten ungefähr nur 25 bis 30 Segmente, je nach Größe der Segmente, ausgewählt und ausreichend sein, um die geforderte Information(en) im Sichtfeld darzustellen. Somit können eine höhere Zeitersparnis und eine höhere Energieeffizienz erreicht werden.
In einer vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass die Ablenkeinrichtung wenigstens ein Abtastspiegelelement, das beweglich gelagert ist, oder wenigstens ein Gitterelement aufweist.
Vorzugsweise weist die erfindungsgemäße Vorrichtung zur Ablenkung und zum Richten des Lichts wenigstens ein Abtastspiegelelement auf. Durch seine bewegliche Lagerung kann das wenigstens eine Abtastspiegelelement sich bewegen oder rotieren und das von der räumlichen Lichtmodulationseinrichtung erzeugte Bild als Segment an eine definierte Position im Sichtfeld des Benutzers richten. Auf diese Weise können mehrere Bilder der räumlichen Lichtmodulationseinrichtung erzeugt und an definierte Positionen im Sichtfeld gerichtet werden. Als Abtastspiegelelement kann ein handelsüblicher Abtastspiegel verwendet werden. In einer anderen Ausgestaltung der Erfindung kann die Ablenkeinrichtung wenigstens ein Gitterelement aufweisen, beispielsweise ein schaltbares Gitterelement oder ein polarisationsselektives Gitterelement, wie beispielsweise ein Polarisationsgitter in Kombination mit einem Polarisationsumschalter. Die Ablenkeinrichtung kann zum Beispiel einen Stapel von Gitterelementen mit unterschiedlicher Gitterperiode aufweisen, so dass sich durch unterschiedliche Kombinationen von N Gittern 2 hoch N (2N) unterschiedliche Ablenkwinkel einstellen lassen.
In einer weiteren Ausgestaltung der Erfindung kann die Ablenkeinrichtung auch eine Kombination von wenigstens einem Abtastspiegelelement und wenigsten einem Gitterelement, zum Beispiel einem Volumengitter, aufweisen. Das wenigstens eine Gitterelement oder Volumengitter weist dabei eine Winkelselektivität auf. Wird das Abtastspiegelelement so eingestellt, dass Licht innerhalb der Winkelselektivität des Gitterelements oder Volumengitters auf dieses auftrifft, wird das Licht vom Gitterelement oder Volumengitter weiter abgelenkt. Der Ablenkwinkel des Abtastspiegelelements wird so durch das Gitterelement oder Volumengitter verstärkt. Wird das Abtastspiegelelement so eingestellt, dass Licht außerhalb der Winkelselektivität eines Gitterelements oder Volumengitters auf dieses auftrifft, wird es von diesem Gitterelement oder Volumengitter nicht abgelenkt. Das Abtastspiegelelement kann genutzt werden, um von mehreren Gitterelementen oder Volumengittern, deren Winkelselektivität und Ablenkwinkel unterschiedlich eingestellt sind, eines auszuwählen, welches dann das Licht weiter ablenkt.
Die Erfindung soll jedoch nicht auf eine bestimmte Art der Ablenkeinrichtung beschränkt sein.
Um die mit der erfindungsgemäßen Vorrichtung erzeugte virtuelle Information mit der realen Information im Sichtfeld zu überlagern, kann vorteilhaft vorgesehen sein, dass das optische System wenigstens einen Kombinierer aufweist.
Der wenigstens eine Kombinierer kombiniert somit die Information aus der realen Umgebung des Benutzers und die mit der erfindungsgemäßen Vorrichtung erzeugte Information im Sichtfeld des Benutzers, damit das Auge des Benutzers beide Informationen zusammen im Sichtfeld sehen und beobachten kann.
In einer Ausgestaltung der Erfindung kann der wenigstens eine Kombinierer ein teilreflektierendes Spiegelelement sein, das Licht, das im Strahlengang von der Lichtmodulationseinrichtung ausgeht zumindest teilweise in Richtung eines Auges eines Benutzers reflektiert und Umgebungslicht wenigstens teilweise durchlässt. Im Falle eines Head-Up-Displays kann es sich bei dem wenigstens einen Kombinierer beispielsweise um eine Windschutzscheibe eines Fortbewegungsmittels, wie z.B. eines Fahrzeugs, handeln.
In einer anderen Ausgestaltung der Erfindung kann der wenigstens eine Kombinierer auch ein Lichtleiter sein, aus dem im Strahlengang Licht, welches von der Lichtmodulationseinrichtung ausgeht, Richtung Auge eines Benutzers ausgekoppelt wird und der Umgebungslicht zumindest teilweise durchlässt.
Vorteilhafterweise kann die Ablenkeinrichtung zwischen der räumlichen
Lichtmodulationseinrichtung und dem Kombinierer oder zwischen der Beleuchtungseinrichtung und der räumlichen Lichtmodulationseinrichtung angeordnet sein. Beispielsweise kann die Ablenkeinrichtung und somit das wenigstens eine
Abtastspiegelelement in einer Fourier-Ebene der räumlichen Lichtmodulationseinrichtung angeordnet sein. Diese Fourier-Ebene wird dann weiter in die Betrachterebene, in der sich ein Auge des Benutzers befindet, mittels des optischen Systems abgebildet, in der der virtuelle Sichtbarkeitsbereich, d.h. ein virtuelles Betrachterfenster oder ein Sweet-Spot, erzeugt wird, durch das der Benutzer hindurchblicken muss, um die dargestellte virtuelle Information im Sichtfeld betrachten zu können. Wenn sich das wenigstens eine Abtastspiegelelement der Ablenkeinrichtung bewegt, bleibt die Position des virtuellen Sichtbarkeitsbereichs in der Betrachterebene fest, wobei sich jedoch das erzeugte Bild der räumlichen Lichtmodulationseinrichtung als Segment an die definierte Position im Sichtfeld bewegt.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass die Ablenkeinrichtung zwei Abtastspiegelelemente aufweist, die synchronisiert zueinander rotierbar sind.
Es ist auch möglich, eine Kombination von zwei Abtastspiegelelementen zum Richten des Bildes der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld einzusetzen. Diese Abtastspiegelelemente können synchronisiert zueinander rotiert oder bewegt werden. Durch diese synchronisierte Bewegung der Abtastspiegelelemente zueinander kann ebenso ein Bewegen des Bildes der räumlichen Lichtmodulationseinrichtung als Segment bzw. der Bildebene der räumlichen Lichtmodulationseinrichtung an eine definierte Position im Sichtfeld erreicht werden, ohne dass sich die Position des virtuellen Sichtbarkeitsbereichs in der Betrachterebene verändert. Die Anordnung der beiden Abtastspiegelelemente in der erfindungsgemäßen Vorrichtung kann dann derart sein, dass beispielsweise ein Abtastspiegelelement in Lichtrichtung vor der Fourier-Ebene der räumlichen Lichtmodulationseinrichtung und das weitere Abtastspiegelelement in Lichtrichtung nach der Fourier-Ebene angeordnet ist. Ebenso kann in einer weiteren Ausgestaltung der Erfindung auch vorgesehen sein, dass die Ablenkeinrichtung wenigstens zwei Gitterelemente aufweist, die beide synchronisiert zueinander geschaltet werden. Durch das synchronisierte Schalten beider Gitterelemente kann ebenso ein Bewegen des Bildes der räumlichen Lichtmodulationseinrichtung als Segment bzw. der Bildebene der räumlichen Lichtmodulationseinrichtung an eine definierte Position im Sichtfeld erreicht werden, ohne dass sich die Position des virtuellen Sichtbarkeitsbereichs in der Betrachterebene verändert. Beispielsweise kann ein Gitterelement in Lichtrichtung vor der Fourier-Ebene der räumlichen Lichtmodulationseinrichtung und das weitere Gitterelement in Lichtrichtung nach der Fourier- Ebene angeordnet sein.
Bevorzugt kann der wenigstens eine Kombinierer wenigstens ein Fokussierelement oder wenigstens eine Fokussierfunktion aufweisen.
Der wenigstens eine Kombinierer kann wenigstens ein Fokussierelement aufweisen, um die darzustellende virtuelle Information im Sichtfeld im Tiefenbereich in die geforderte Tiefe zu richten bzw. einzustellen. Dabei ist bevorzugt das Fokussierelement derart ausgebildet, dass es die Wahrnehmung der realen Umgebung im Sichtfeld nicht beeinträchtigt bzw. beeinflusst. Beispielsweise könnte hierfür das Fokussierelement als Gitterelement mit einem begrenzten Akzeptanzwinkel ausgebildet sein, vorzugsweise als Volumengitter mit einem begrenzten Akzeptanzwinkel. Der Akzeptanzwinkel ist dabei an den Einfallswinkel des die Information tragenden Lichts angepasst, jedoch nicht an den Lichteinfallswinkelbereich, in dem das Licht der realen Umgebung auf das Gitterelement auftrifft. Dadurch wird das Licht, das von der realen Umgebung auf das Gitterelement auftrifft von diesem nicht beeinflusst und tritt durch dieses ungehindert hindurch.
Der Kombinierer kann beispielsweise als teilreflektierender Spiegel oder als Lichtleiter ausgebildet sein, auf dessen Oberfläche ein Fokussierelement, beispielsweise ein Gitterelement, vorgesehen oder aufgebracht ist.
Alternativ dazu kann der wenigstens eine Kombinierer selbst eine Fokussierfunktion aufweisen, in dem er gekrümmt oder wenigstens teilweise gekrümmt ausgebildet ist. Durch die gekrümmte Ausführung des wenigstens einen Kombinierers kann eine Fokussierung des Lichts bzw. des Bilds der räumlichen Lichtmodulationseinrichtung als Segment an eine damit definierte z-Position (entlang der z-Richtung bzw. entlang der optischen Achse des optischen Systems) erreicht werden. Mit anderen Worten, der wenigstens eine Kombinierer kann wenigstens teilweise gekrümmt ausgebildet sein. Ist der wenigstens eine Kombinierer beispielsweise als teilreflektierendes Spiegelelement ausgebildet, so kann in einer Ausgestaltung der Erfindung die Spiegeloberfläche gekrümmt bzw. gewölbt sein, zum Beispiel in Form eines Hohlspiegels, und so eine Fokussierfunktion aufweisen. Auch eine Kombination einer gekrümmten Oberfläche mit einem zusätzlichen Gitterelement auf dieser Oberfläche des wenigstens einen Kombinierers ist beispielsweise möglich.
Der wenigstens eine Kombinierer könnte somit als eine Art Brillenglas oder auch als Windschutzscheibe ausgebildet sein. Hierbei kann er flach bzw. eben ausgebildet sein und ein Fokussierelement aufweisen. Der wenigstens eine Kombinierer könnte aber auch wenigstens teilweise gekrümmt ausgebildet sein und somit selbst als Fokussierelement wirken oder zusätzlich mit Fokussierelementen kombiniert werden.
In einer vorteilhaften Ausgestaltung der Erfindung kann ferner vorgesehen sein, dass in der Ablenkeinrichtung eine kontinuierliche Bewegung des wenigstens einen Abtastspiegelelements oder eine schrittweise Bewegung des wenigstens einen Abtastspiegelelement mit einer fest definierten Schrittbreite vorgesehen ist.
Das wenigstens eine Abtastspiegelelement kann somit kontinuierlich oder schrittweise bewegt werden, um das Bild der räumlichen Lichtmodulationseinrichtung als Segment an eine geforderte Position im Sichtfeld zu richten.
Eine schrittweise Bewegung des wenigstens einen Abtastspiegelelements kann beispielsweise derart erfolgen, dass das Abtastspiegelelement um einen definierten Wnkel bewegt wird und dann gestoppt wird, um in diesem Moment an dieser definierten festen Abtastspiegelelementposition die Steuereinrichtung der erfindungsgemäßen Vorrichtung entsprechend derart anzusteuern, dass die Beleuchtungseinrichtung Licht aussendet, damit ein Bild der räumlichen Lichtmodulationseinrichtung als Segment erzeugt wird und dieses Segment an die mit dem Abtastspiegelelement angefahrene Position im Sichtfeld gerichtet wird. Das bedeutet, nur im Stopp-Zustand des Abtastspiegelelements steuert die Steuereinrichtung die Beleuchtungseinrichtung an, so dass das von dieser ausgesandte Licht mittels der räumlichen Lichtmodulationseinrichtung mit der geforderten Information moduliert und ein Bild der räumlichen Lichtmodulationseinrichtung mittels des optischen Systems erzeugt wird, das dann an die vom Abtastspiegelelement vorgegebene Position im Sichtfeld gerichtet wird. Nachdem das Bild der räumlichen Lichtmodulationseinrichtung erzeugt und an die geforderte Position im Sichtfeld gerichtet wurde, wird das Abtastspiegelelement mittels der Steuereinrichtung um einen weiteren definierten Winkel bewegt, wobei das Abtastspiegelelement dann wieder in seiner Bewegung gestoppt wird, damit ein weiteres Bild der räumlichen Lichtmodulationseinrichtung erzeugt und an eine andere definierte Position im Sichtfeld gerichtet werden kann. Eine derartige Start-Stopp-Bewegung des Abtastspiegelelements ist mit einer hohen Geschwindigkeit möglich. Hierfür sind bereits geeignete Spiegelelemente bekannt. Die Beleuchtungseinrichtung der erfindungsgemäßen Vorrichtung sollte hierfür wenigstens eine Lichtquelle aufweisen, die gepulst betrieben werden kann. Die Beleuchtungseinrichtung bzw. die wenigstens eine Lichtquelle befindet sich dann nur solange im eingeschalteten Zustand solange sich das Abtastspiegelelement im Stopp- Zustand befindet. Wenn sich das Abtastspiegelelement in Bewegung befindet, ist die Beleuchtungseinrichtung bzw. die Lichtquelle in einem AUS-Zustand.
Alternativ zu einer schrittweisen Bewegung des wenigstens einen Abtastspiegelelements kann dieses auch eine kontinuierliche Bewegung vorsehen. Eine kontinuierliche Bewegung des wenigstens einen Abtastspiegelelements würde jedoch auch eine kontinuierliche Verschiebung des erzeugten Bildes der räumlichen Lichtmodulationseinrichtung bewirken. Dies ist jedoch unerwünscht. Um einer derartigen kontinuierlichen Bewegung des Bildes der räumlichen Lichtmodulationseinrichtung nach dessen Erzeugung entgegenzuwirken, kann vorteilhaft vorgesehen sein, dass bei einer kontinuierlichen Bewegung des wenigstens einen Abtastspiegelelements das wenigstens eine Abtastspiegelelement mit einem Kompensationsspiegelelement kombiniert ist, das eine synchronisierte Bewegung zur Bewegung des wenigstens einen Abtastspiegelelements derart vornimmt, dass bei gleichsinniger Bewegung beider Spiegelelemente ein Bild der räumlichen Lichtmodulationseinrichtung an einer festen gleichbleibenden Position erzeugbar ist und bei gegensinniger Bewegung beider Spiegelelemente ein Bild der räumlichen Lichtmodulationseinrichtung im Sichtfeld verschiebbar ist. Durch das Vorsehen eines Kompensationsspiegelelements, das steuerbar ausgebildet ist, kann das Bild der räumlichen Lichtmodulationseinrichtung während seiner Erzeugung an der gleichen geforderten Position gehalten und somit an eine definierte Position im Sichtfeld gerichtet werden. Das Kompensationssteuerelement kann ebenfalls von der Steuereinrichtung angesteuert werden. Beide Bewegungen, d.h. die Bewegung des wenigstens einen Abtastspiegelelements und die dazu synchronisierte Bewegung des Kompensationsspiegelelements, werden somit miteinander kombiniert, um ein Bild der räumlichen Lichtmodulationseinrichtung als Segment an eine geforderte Position im Sichtfeld zu richten. Beispielsweise könnte das wenigstens eine Abtastspiegelelement mit dem Kompensationsspiegelelement derart kombiniert sein, dass während der kontinuierlichen Bewegung des Abtastspiegelelements dieser eine Position erreicht, an der ein Bild der räumlichen Lichtmodulationseinrichtung erzeugt werden soll, dieses Bild der räumlichen Lichtmodulationseinrichtung nun jedoch aufgrund der kontinuierlichen Bewegung des Abtastspiegelelement nicht weiterhin an die definierte Position richtbar ist wie gefordert. Das Kompensationsspiegelelement ist dabei derart ansteuerbar, dass dieses eine Bewegung synchronisiert zur Bewegung des Abtastspiegelelements ausführt. Dadurch wird das erzeugte Bild der räumlichen Lichtmodulationseinrichtung als Segment in entgegengesetzter Richtung zur Bewegungsrichtung des Abtastspiegelelements verschoben bzw. bewegt, so dass es durch diese Kompensationsbewegung des Kompensationsspiegelelements an die geforderte definierte Position im Sichtfeld verschoben und gerichtet werden kann. Ein nachfolgend erzeugtes Bild der räumlichen Lichtmodulationseinrichtung wird auf dieselbe Art und Weise an seine definierte Position im Sichtfeld gerichtet. Die synchronisierte Bewegung des Kompensationsspiegelelements wird jedoch nur solange durch Ansteuerung der Steuereinrichtung aufrechterhalten, solange sich die Beleuchtungseinrichtung bzw. die wenigstens eine Lichtquelle in einem AN-Zustand befindet. Mit anderen Worten, eine gleichsinnige Bewegung des Abtastspiegelelements und des Kompensationsspiegelelements kann, solange sich die Beleuchtungseinrichtung in einem AN-Zustand befindet, vorgesehen sein. Eine Bewegung des Kompensationsspiegelelements in seinen Ausgangszustand kann dann erfolgen, wenn sich die Beleuchtungseinrichtung bzw. die wenigstens eine Lichtquelle in einem AUS-Zustand befindet.
Vorteilhafterweise kann dabei vorgesehen sein, dass eine kontinuierliche Bewegung des wenigstens einen Abtastspiegelelements mit unterschiedlichen vordefinierten Geschwindigkeiten oder eine schrittweise Bewegung des wenigstens einen Abtastspiegelelements mit unterschiedlichen anpassbaren Schrittbreiten zur Erzeugung von wenigstens zwei Bildern der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld innerhalb eines Frames vorgesehen ist.
Bei der Erzeugung von zwei oder mehreren Bildern der räumlichen Lichtmodulationseinrichtung als Segmente kann das Richten der Segmente an die geforderte definierte Position im Sichtfeld mittels des wenigstens einen Abtastspiegelelements mit unterschiedlichen Geschwindigkeiten bei einer kontinuierlichen Bewegung oder unterschiedlichen Schrittbreiten bei einer schrittweisen Bewegung erfolgen. Die Geschwindigkeit oder die Schrittbreite der Bewegung des wenigstens einen Abtastspiegelelements hängt dabei von der geforderten Position des zu erzeugenden Bildes der räumlichen Lichtmodulationseinrichtung als Segment im Sichtfeld des Benutzers ab. Soll beispielsweise eine virtuelle Information für den Benutzer der erfindungsgemäßen Vorrichtung im linken Bereich des Sichtfelds dargestellt bzw. angezeigt werden und ebenfalls eine virtuelle Information im rechten Bereich des Sichtfelds, so wird beispielsweise zum Richten und Anzeigen des Bildes der räumlichen Lichtmodulationseinrichtung als Segment im linken Bereich des Sichtfeldes eine normaldefinierte Geschwindigkeit gefordert, während zum Richten und Anzeigen des Bildes der räumlichen Lichtmodulationseinrichtung als Segment für den rechten Bereich des Sichtfeldes danach eine größere Geschwindigkeit des wenigstens einen Abtastspiegelelements erforderlich ist, da beide virtuelle Informationen im Sichtfeld weit auseinander liegen, jedoch der Benutzer diese Informationen möglichst gleichzeitig betrachten möchte. Um dies zu gewährleisten, muss das Abtastspiegelelement mit einer größeren Geschwindigkeit betrieben werden, damit das Bild der räumlichen Lichtmodulationseinrichtung als Segment im rechten Bereich des Sichtfelds möglichst zeitnah mit dem Bild der räumlichen Lichtmodulationseinrichtung im linken Bereich des Sichtfelds angezeigt werden kann. Würden jedoch virtuelle Informationen nur im linken Bereich des Sichtfeldes notwendig sein und eng beieinander liegen, so kann das wenigstens eine Abtastspiegelelement mit einer geringeren Geschwindigkeit zwischen den beiden oder mehreren Darstellungen von virtuellen Informationen betrieben werden. Mit anderen Worten, es kann vorteilhaft vorgesehen sein, dass die Geschwindigkeit oder die Schrittbreite der Bewegung des wenigstens einen Abtastspiegelelements an die definierte Position des jeweiligen Bildes der räumlichen Lichtmodulationseinrichtung als Segment im Sichtfeld angepasst ist.
Aufgrund von Aberrationen, die durch das optische System erzeugt werden könnten, könnte die Größe und die Form der erzeugten Segmente mit der Position im Sichtfeld variieren. Um derartige Größenänderungen und Formänderungen von Segmenten im Sichtfeld zu korrigieren, könnte die Geschwindigkeit oder die Schrittbreite der Bewegung des wenigstens einen Abtastspiegelelements ebenfalls entsprechend variiert werden.
Ferner kann in einer weiteren Ausgestaltung der Erfindung vorgesehen sein, dass die Größe und/oder Form des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment in aufeinanderfolgenden Frames variierbar ist oder die Größe und/oder Form der wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente mit der definierten Position im Sichtfeld innerhalb eines Frames oder in aufeinanderfolgenden Frames variierbar ist.
Eine Änderung der Größe und/oder Form des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment in aufeinanderfolgenden Frames ist insbesondere sinnvoll, wenn sich auch die Größe und/oder Form der dargestellten Szene oder Objekte in aufeinanderfolgenden Frames ändert und mit einer festen Zahl von Segmenten dargestellt werden soll.
Ändert sich beispielsweise die Größe eines Objektes, so dass es in einem Frame mit einem einzelnen Segment dargestellt werden kann, im nächsten Frame aber geringfügig größer ist als das Segment, so kann es vorteilhafter sein, eher die Größe und/oder Form des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment anzupassen als dieses Objekt durch zwei Segmente fester Größe darzustellen. Eine Änderung der Größe oder Form des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment mit der definierten Position im Sichtfeld innerhalb eines Frames kann dem gleichen Zweck dienen, kann aber auch verwendet werden, wenn in bestimmten Bereichen des Sichtfeldes eine höhere Auflösung benötigt wird als in anderen Bereichen. Beispielsweise könnten im mittleren Bereich des Sichtfeldes in ihrer Ausdehnung kleine Segmente mit feiner Auflösung und im Randbereich des Sichtfeldes in ihrer Ausdehnung große Segmente mit gröberer Auflösung erzeugt werden.
Eine Änderung der Größe oder Form des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment mit der definierten Position im Sichtfeld innerhalb eines Frames kann aber auch beispielsweise zur Vereinfachung des optischen Systems dienen. Dies nimmt in Kauf, dass sich bei der Erzeugung des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment bei einem einfachen optischen System eine Änderung der Vergrößerung mit der Position im Sichtfeld oder Änderungen der optischen Verzeichnungen, die die Form des Bildes beeinflussen, ergeben können.
In einer besonders vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass der wenigstens eine Kombinierer als teilreflektierendes Spiegelelement oder als Lichtleiter ausgebildet ist.
Der wenigstens eine Kombinierer könnte als teilreflektierendes Spiegelelement ausgebildet sein. Dieses teilreflektierende Spiegelelement könnte beispielsweise eine Windschutzscheibe in einem Fortbewegungsmittel oder auch ein Brillenglas sein.
Auch könnte der wenigstens eine Kombinierer als Lichtleiter ausgebildet sein, wobei das Licht im Lichtleiter aufgrund von Totalreflexion propagiert. Der Lichtleiter als Kombinierer ist Teil des optischen Systems und dient auch zur Erzeugung des Bildes der räumlichen Lichtmodulationseinrichtung als Segment. Das Licht der realen Umgebung des Benutzers kann dabei ungehindert durch den Lichtleiter als Kombinierer hindurchdringen, wodurch das wenigstens eine, von der erfindungsgemäßen Vorrichtung erzeugte Bild der räumlichen Lichtmodulationseinrichtung als die virtuelle Information tragende Segment mit der realen Umgebung des Nutzers im Sichtfeld überlagert wird.
Vorteilhafterweise kann in einer Ausgestaltung der Erfindung vorgesehen sein, dass die Ablenkeinrichtung als schaltbares Einkopplungselement zur Einkopplung des Lichts in den als Lichtleiter ausgebildeten Kombinierer und/oder als Auskopplungselement zur Auskopplung des Lichts aus dem als Lichtleiter ausgebildeten Kombinierer ausgebildet ist.
In einer Ausgestaltung der erfindungsgemäßen Vorrichtung, in der der Kombinierer als Lichtleiter ausgebildet ist, kann die Ablenkeinrichtung zum Richten des Bildes der räumlichen Lichtmodulationseinrichtung an eine definierte Position im Sichtfeld als schaltbares Einkopplungselement und/oder auch als schaltbares Auskopplungselement ausgeführt sein. Beispielsweise kann mittels eines schaltbares Auskopplungselements Licht an unterschiedlichen Positionen des Lichtleiters aus dem Lichtleiter ausgekoppelt werden und so an verschiedenen Positionen im Sichtfeld ein Bild der räumlichen Lichtmodulationseinrichtung als Segment erzeugt werden. Als Lichtleiter könnte beispielsweise ein Lichtleiter wie er in der WO 2018/146326 A1 beschrieben ist, wobei deren Offenbarungsgehalt hier vollumfänglich mitaufgenommen sein soll, verwendet werden. Das Licht breitet sich innerhalb des Lichtleiters über eine Reflexion an den Grenzflächen des Lichtleiters aus, wobei die Auskopplung des Lichts aus dem Lichtleiter nach einer vorher festgelegten Anzahl an Reflexionen des Lichts an Grenzflächen des Lichtleiters vorgesehen ist. Die Lichtauskopplungseinrichtung kann steuerbar ausgebildet sein, wobei die Lichtauskopplungseinrichtung derart ansteuerbar ist, dass in einem Ansteuerzustand der Lichtauskopplungseinrichtung Licht nach einer vorher festgelegten Anzahl an Reflexionen ausgekoppelt wird und in einem anderen Ansteuerzustand der Lichtauskopplungseinrichtung das Licht weiter im Lichtleiter propagiert. Ferner ist in der WO 2018/146326 A1 eine Anzeigevorrichtung beschrieben, insbesondere eine nah am Auge vorgesehene Anzeigevorrichtung, die eine Beleuchtungseinrichtung, die wenigstens eine Lichtquelle aufweist, wenigstens eine räumliche Lichtmodulationseinrichtung, ein optisches System und eine derartige Lichtleitvorrichtung aufweist. Für eine Abbildung oder für ein einzelnes Segment einer Mehrfachabbildung der räumlichen Lichtmodulationseinrichtung kann die Auskopplung von Licht kommend von verschiedenen Pixeln der räumlichen Lichtmodulationseinrichtung nach Eintritt in die Lichtleitvorrichtung nach einer für alle Pixel jeweils gleichen Anzahl an Reflexionen an Grenzflächen des Lichtleiters vorgesehen sein. Für unterschiedliche Segmente der Mehrfachabbildung kann sich die Anzahl der Reflexionen des Lichts an den Grenzflächen des Lichtleiters für die Erzeugung eines Segments von der Anzahl der Reflexionen des Lichts an den Grenzflächen des Lichtleiters für die Erzeugung eines anderen Segments unterscheiden. Für unterschiedliche Segmente einer Mehrfachabbildung kann die Anzahl der Reflexionen des Lichts an den Grenzflächen des Lichtleiters gleich sein, und der Einkoppelort des Lichts in den Lichtleiter sich für diese Segmente unterscheiden. Zur Verschiebung des Einkoppelorts des Lichts in den Lichtleiter kann eine Lichtablenkeinrichtung in Lichtrichtung vor der Lichtleitvorrichtung vorgesehen sein.
Hierbei wird die Lichtablenkeinrichtung zur Verschiebung des Lichteinkoppelorts und/oder das Auskopplungselement zur Auskopplung des Lichts aus dem Lichtleiter nur angesteuert, wenn ein Bild der räumlichen Lichtmodulationseinrichtung als Segment an einer mit dem Ort der Auskopplung in Verbindung stehenden Position im Sichtfeld gefordert wird.
In einer weiteren Ausgestaltung der Erfindung, in der der wenigstens eine Kombinierer ebenfalls als Lichtleiter ausgebildet ist, kann die Ablenkeinrichtung das bereits erwähnte wenigstens eine Abtastspiegelelement aufweisen.
Das optische System und der Lichtleiter sind so ausgebildet, dass von den einzelnen Pixeln der räumlichen Lichtmodulationseinrichtung ausgehende Lichtstrahlen unter im Mittel unterschiedlichen Winkeln relativ zur Oberfläche des Lichtleiter auf den Lichtleiter auftreffen und einkoppelbar sind, wodurch ein Einkoppelwinkelspektrum definierbar ist, wobei die im Lichtleiter propagierenden Lichtstrahlen unter im Mittel unterschiedlichen Winkeln relativ zu einem virtuellen Sichtbarkeitsbereich aus dem Lichtleiter auskoppelbar sind, wodurch ein Auskoppelwinkelspektrum definierbar ist.
Insbesondere könnte in einer bevorzugten Ausgestaltung der Erfindung der Lichtleiter wie in der WO 2019/012028 A1 ausgebildet sein, wobei deren Offenbarungsgehalt hier vollumfänglich mitaufgenommen sein soll. Dort wird ein Lichtleiter beschrieben, der derart ausgebildet ist, dass das Auskoppelwinkelspektrum des Lichts im Vergleich zum Einkoppelwinkelspektrum des Lichts vergrößert ist. In einer anderen Ausgestaltung der Erfindung können aber auch das Auskoppelwinkelspektrum und das Einkoppelwinkelspektrum des Lichts gleich groß sein.
Vorzugsweise kann dann das wenigstens eine Abtastspiegelelement im Strahlengang zwischen der räumlichen Lichtmodulationseinrichtung und dem Lichtleiter als Kombinierer angeordnet sein. Auf diese Weise kann beispielsweise durch Bewegung oder Rotation des Abtastspiegelelements der Einkopplungswinkel des Lichts in den Lichtleiter verändert werden, wodurch sich der Propagationswinkel des Lichts im Lichtleiter ebenfalls ändert. Der Lichtleiter als Kombinierer kann passive oder aktive Auskopplungselemente aufweisen. Mittels diesen Auskopplungselementen kann das Licht aus dem Lichtleiter entsprechend an verschiedenen Positionen und/oder unter unterschiedlichen Auskopplungswinkeln ausgekoppelt und somit an definierte Positionen im Sichtfeld gerichtet werden.
Beispielsweise könnte anstatt einer räumlichen Lichtmodulationseinrichtung, die eine relativ große Pixelanzahl aufweist (z.B. größer als 1000 Pixel in einer Dimension), eine räumliche Lichtmodulationseinrichtung in Verbindung mit einem Lichtleiter als Kombinierer und wenigstens einem Abtastspiegelelement verwendet werden, die eine relativ geringe Anzahl an Pixeln aufweist (z.B. kleiner als 1000 Pixel in einer Dimension). In einer Vorrichtung nach dem Stand der Technik würde eine räumliche Lichtmodulationseinrichtung mit einer großen Anzahl an Pixeln ein bestimmtes Einkoppelwinkelspektrum erzeugen, das in den Lichtleiter eingekoppelt werden würde, wobei das mit der Vorrichtung erzielte Sichtfeld proportional zum Einkoppelwinkelspektrum sein würde.
Vorzugsweise wird erfindungsgemäß eine räumliche Lichtmodulationseinrichtung mit einer geringen Pixelanzahl, z.B. mehrere Hundert Pixel in einer Richtung, verwendet. Diese räumliche Lichtmodulationseinrichtung erzeugt ein kleines Einkoppelwinkelspektrum für jedes zu erzeugende Segment im Sichtfeld. Das wenigstens eine Abtastspiegelelement ist dabei derart ausgebildet, dass der Zentralwinkel des in den Lichtleiter einzukoppelnden Lichts jeweils unterschiedlich für jedes zu erzeugende, eine virtuelle Information enthaltende Segment ist. Auf diese Weise können mit ein und demselben Lichtleiter an unterschiedlichen Positionen im Sichtfeld Bilder der räumlichen Lichtmodulationseinrichtung als Segmente erzeugt werden, in denen virtuelle Informationen dem Benutzer angezeigt werden. Hierbei weist jedes erzeugte Segment ein Sichtfeld an sich auf, das proportional zu dem kleinen Einkoppelwinkelspektrum ist, wobei die Kombination von mehreren Segmenten wiederum im Ganzen gesehen ein großes Winkelspektrum erzeugt.
Die Erfindung soll nicht auf einen bestimmten Typ von räumlicher Lichtmodulationseinrichtung beschränkt sein. Verschiedene Typen oder Kombinationen von mehr als einer räumlichen Lichtmodulationseinrichtung können ebenfalls für die Erfindung genutzt werden. Vorzugsweise kann die räumliche Lichtmodulationseinrichtung einen LCoS-SLM oder einen MEMS-SLM aufweisen.
Ein LCoS-SLM ist eine räumliche Lichtmodulationseinrichtung, die eine relativ große Pixelanzahl, jedoch eine relativ niedrige Bildfrequenz aufweist. Ein MEMS-SLM hingegen weist nur eine geringe Anzahl an Pixeln auf, besitzt jedoch eine relativ hohe Bildfrequenz.
Hinsichtlich einer räumlichen Lichtmodulationseinrichtung mit einer relativ großen Pixelanzahl könnte die räumliche Lichtmodulationseinrichtung in virtuelle Bereiche oder Teilbereiche unterteilt sein. Zur Erzeugung eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment, das eine virtuelle Information für den Benutzer enthält, wird nur ein derartiger virtueller Bereich oder Teilbereich der räumlichen Lichtmodulationseinrichtung beleuchtet und nicht die komplette räumliche Lichtmodulationseinrichtung. Jedes Pixel der räumlichen Lichtmodulationseinrichtung oder in einer anderen Ausführung alle Pixel, die zur Darstellung einer virtuellen Information beitragen, werden wenigstens einem virtuellen Bereich oder Teilbereich zugeordnet. Die virtuellen Bereiche oder Teilbereiche können sich auch auf der räumlichen Lichtmodulationseinrichtung überlappen. Im Falle von überlappenden virtuellen Bereichen oder Teilbereichen kann ein Pixel der räumlichen Lichtmodulationseinrichtung auch mehr als einem virtuellen Bereich oder Teilbereich zugeordnet sein. Beispielsweise könnte die räumliche Lichtmodulationseinrichtung ein LCoS-SLM mit einer Pixelanzahl von 4000 x 2000 Pixeln sein und durch die Unterteilung des LCoS-SLM in virtuelle Bereiche oder Teilbereiche könnten jeweils durch Beleuchtung nur dieser virtuellen Bereiche oder Teilbereiche Bilder dieser Bereiche des LCoS-SLM als Segmente mit einer Größe von 400 x 400 Pixel erzeugt werden.
Für ein Einzelbild werden Daten in alle Pixel der räumlichen Lichtmodulationseinrichtung oder eben nur in jene Pixel, die zur Darstellung der virtuellen Information beitragen sollen, geschrieben. Hierbei kann beispielsweise das Datenschreiben durch Zeilenabtastung auf der räumlichen Lichtmodulationseinrichtung erfolgen. Zur Erzeugung jeweils eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment des Sichtfelds werden die virtuellen Bereiche oder Teilbereiche der räumlichen Lichtmodulationseinrichtung, z.B. eines LCoS, nacheinander beleuchtet. Hierfür kann die Ablenkeinrichtung, die wenigstens ein Abtastspiegelelement aufweist, im Strahlengang zwischen der Beleuchtungseinrichtung und der räumlichen Lichtmodulationseinrichtung angeordnet sein und das Licht durch definierte Bewegung des wenigstens einen Abtastspiegelelements mittels der Steuereinrichtung auf die jeweiligen virtuellen Bereiche oder Teilbereiche der räumlichen Lichtmodulationseinrichtung richten. Hierzu kann der Ablauf zur Beleuchtung der virtuellen Bereiche oder Teilbereiche der räumlichen Lichtmodulationseinrichtung an den Ablauf des Schreibens der Daten in die Pixel der räumlichen Lichtmodulationseinrichtung angepasst sein. Die Bereiche bzw. Teilbereiche der räumlichen Lichtmodulationseinrichtung können die gleiche Größe oder auch eine unterschiedliche Größe aufweisen.
Bei einer kontinuierlichen Bewegung des wenigstens einen Abtastspiegelelements können die virtuellen Bereiche oder Teilbereiche der räumlichen Lichtmodulationseinrichtung auch eine größere Überlappung aufweisen. Beispielsweise können benachbart vorgesehene virtuelle Bereiche oder Teilbereiche einen Überlapp von nur einem Pixel oder auch um ein paar wenige Pixel aufweisen. Während des Abtastens der räumlichen Lichtmodulationseinrichtung befindet sich die Beleuchtungseinrichtung nur in einem AN-Zustand bei Pixeln oder virtuellen Bereichen, die zur Darstellung einer virtuellen Information im Sichtfeld eines Benutzers beitragen. Werden eventuell Pixel oder virtuelle Bereiche auf der räumlichen Lichtmodulationseinrichtung abgetastet, die nicht zur Darstellung einer virtuellen Information zu diesem Zeitpunkt beitragen, ist die Beleuchtungseinrichtung in einem AUS-Zustand.
Es könnte jedoch auch eine räumliche Lichtmodulationseinrichtung mit nur einer relativ kleinen Anzahl an Pixeln, wie beispielsweise ein MEMS-SLM, verwendet werden. Hierbei könnte die Pixelanzahl unterhalb von typischen Auflösungen für eine Anzeigevorrichtung bzw. Display liegen, wie beispielsweise weniger als 640 x 480 Pixel (VGA), z.B. 200 x 200 Pixel oder 300 x 200 Pixel oder auch 400 x 400 Pixel, wobei die Pixelanzahl einer räumlichen Lichtmodulationseinrichtung für die erfindungsgemäße Vorrichtung nicht auf diese offenbarten Pixelanzahlen beschränkt sein soll.
Für räumliche Lichtmodulationseinrichtungen mit einer relativ geringen Pixelanzahl kann bevorzugt die Ablenkeinrichtung im Strahlengang zwischen der räumlichen Lichtmodulationseinrichtung und dem wenigstens einen Kombinierer angeordnet sein. In einer derartigen Ausgestaltung der Erfindung kann bevorzugt vorgesehen sein, dass ein Bild der räumlichen Lichtmodulationseinrichtung als Segment einer Abbildung der gesamten Fläche der räumlichen Lichtmodulationseinrichtung entspricht. Daher haben vorzugsweise alle erzeugten Segmente die gleiche Größe. Die Bilder der räumlichen Lichtmodulationseinrichtung als Segmente werden zeitsequentiell im Sichtfeld des Benutzers dargestellt bzw. angezeigt. Dies erfolgt jeweils durch ein Einschreiben von Information, z.B. durch ein Kodieren eines Hologramms, in die räumliche Lichtmodulationseinrichtung und Abbilden der räumlichen Lichtmodulationseinrichtung mittels des optischen Systems, wobei das jeweilige Bild der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte, jeweils unterschiedliche, Position im Sichtfeld mittels der Ablenkeinrichtung, z.B. mittels des wenigstens einen Abtastspiegelelements, gerichtet wird.
In einer besonderen Ausgestaltung der Erfindung kann vorgesehen sein, dass die im Sichtfeld des Benutzers der erfindungsgemäßen Vorrichtung zusätzliche Information stereoskopisch dargestellt werden soll. Das bedeutet, dass flache bzw. ebene zweidimensionale Bilder erzeugt und dargestellt werden, wobei für das linke Auge und für das rechte Auge des Benutzers jeweils ein Bild der darzustellenden Information erzeugt wird. Das bedeutet wiederum, dass eine erfindungsgemäße Anzeigevorrichtung für die Erzeugung eines Bildes für das linke Auge und eine erfindungsgemäße Anzeigevorrichtung für die Erzeugung eines Bildes für das rechte Auge des Benutzers vorgesehen sein sollte. Beide erfindungsgemäßen Anzeigevorrichtungen können beispielsweise gemäß einer Art Brille miteinander kombiniert werden.
Es kann eine erfindungsgemäße Anzeigevorrichtung auch für beide Augen so vorgesehen sein, dass zum Beispiel eine Beleuchtungseinrichtung und eine räumliche Lichtmodulationseinrichtung verwendet werden, wobei ein optisches System vorgesehen ist, mit dem zeitlich oder räumlich gemultiplext Licht zum linken Auge und Licht zum rechten Auge eines Benutzers gelenkt wird. Zum Beispiel kann dabei auch jedem Auge des Benutzers ein separater Kombinierer zugewiesen werden, zum Beispiel ein separater Lichtleiter für linkes Auge und ein separater Lichtleiter für rechtes Auge, wobei Licht von der räumlichen Lichtmodulationseinrichtung mit einem Umschaltelement zeitsequentiell in den einen oder den anderen Lichtleiter eingekoppelt wird. Bei anderen Anwendungen, wie zum Beispiel einem Head-Up-Display, kann auch ein gemeinsamer Kombinierer für beide Augen eines Benutzers vorgesehen sein, beispielsweise wäre dann der Kombinierer die Windschutzscheibe eines Fortbewegungsmittels oder Fahrzeugs.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass das optische System ein variables Fokussystem aufweist, mit dem der Abstand des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment im Sichtfeld zum Benutzer einstellbar ist.
Die erfindungsgemäße Vorrichtung kann eine varifokale Ausgestaltung aufweisen. Das bedeutet, dass die erzeugte virtuelle Information im Sichtfeld entlang der optischen Achse des optischen Systems der Vorrichtung in seiner Tiefe einstellbar ist. Als Tiefe oder Tiefenposition soll der Abstand der virtuellen Information, d.h. des erzeugten Bildes der räumlichen Lichtmodulationseinrichtung als Segment, zur Betrachterebene, in der sich der Benutzer mit seinem Auge befindet, verstanden werden. Somit kann der Abstand des die virtuelle Information aufweisenden Segments mittels eines variablen Fokussystems des optischen Systems entsprechend einer geforderten Tiefenposition im Sichtfeld eingestellt werden. Vorzugsweise kann das variable Fokussystem wenigstens ein Gitterelement mit einer steuerbaren Gitterperiode oder eine Kombination von aktiven und passiven Abbildungselementen aufweisen. Das Gitterelement kann beispielsweise ein Flüssigkristallgitterelement sein. Auch kann das variable Fokussystem Kombinationen aus abstimmbaren Gitterelementen und passiven Abbildungselementen, wie z.B. Linsenelementen, aufweisen. Das variable Fokussystem kann auch ein schaltbares Gitterelement wie zum Beispiel ein schaltbares Polarisationsgitter aufweisen oder ein passives Gitter in Kombination mit einem Polarisationsumschalter.
Das variable Fokussystem ist vorzugsweise in der Nähe einer Fourier-Ebene oder in einer Fourier-Ebene der räumlichen Lichtmodulationseinrichtung angeordnet, wobei auch andere Anordnungen möglich sind. Die Fourier-Ebene der räumlichen Lichtmodulationseinrichtung wird im Strahlengang beispielsweise zwischen der räumlichen Lichtmodulationseinrichtung und dem wenigstens einen Kombinierer gebildet.
Wenn das variable Fokussystem wenigstens ein Gitterelement mit einer steuerbaren Gitterperiode aufweist, dann kann erfindungsgemäß vorgesehen sein, dass das wenigstens eine Gitterelement mit einer steuerbaren Gitterperiode Prismenfunktionen und/oder Phasenfunktionen zur Korrektur von Aberrationen, verursacht durch das optische System, aufweist.
Zusätzlich zu einer Linsenfunktion kann das wenigstens eine Gitterelement auch andere Funktionen, wie Prismenfunktionen oder Phasenfunktionen, zur Aberrationskorrektur aufweisen. Diese Funktionen können in das wenigstens eine Gitterelement eingeschrieben werden.
In einer besonders vorteilhaften Ausgestaltung der Erfindung kann vorgesehen sein, dass ein Blickverfolgungssystem zur Detektion einer Blickrichtung des Benutzers vorgesehen ist.
Durch Vorsehen eines Blickverfolgungssystems kann ermittelt werden, wohin der Benutzer zu einem bestimmten Zeitpunkt im Sichtfeld seinen Blick hinwendet bzw. welcher Teil des Sichtfelds und welcher Teil oder Objekt der dargestellten virtuellen Information oder der realen Information im Sichtfeld für den Benutzer gerade von Interesse ist und daher von diesem anvisiert wird. Daraufhin wird die Tiefenposition desjenigen/derjenigen anvisierten Objekts oder Objekte in z-Richtung bestimmt, die der Benutzer aktiv anblickt bzw. anvisiert. Für reale Informationen kann deren Tiefenposition, d.h. der Abstand zum Auge des Benutzers, zum Beispiel mittels eines zusätzlichen Sensors detektiert werden. Eine eingeblendete virtuelle Information im Umfeld von oder mit inhaltlichem Bezug zu der anvisierten realen Information im Sichtfeld oder andere wichtige virtuelle Informationen, wie zum Beispiel Warnhinweise, sollten dann zum Beispiel in der gleichen Tiefe dargestellt werden wie die reale Information, die der Benutzer anvisiert. Mittels des variablen Fokussystems kann die Tiefenposition des Bildes der räumlichen Lichtmodulationseinrichtung als Segment an diejenige Tiefenposition entlang der z-Richtung verschoben werden, die der Benutzer in diesem Moment aktiv anvisiert. Die virtuelle Information im Sichtfeld, die der Benutzer nicht anblickt oder anvisiert, könnte derart mittels Software-Systeme beeinflusst werden, dass diese Information beispielsweise leicht unscharf oder leicht verschwommen bzw. verzerrt dargestellt werden würde., oder kann wahlweise gar nicht angezeigt werden.
Zudem kann zusätzlich oder alternativ zum Blickverfolgungssystem eine Detektionseinrichtung zur Ermittlung, in welchem Bereich des Sichtfelds eine virtuelle Information darzustellen ist, vorgesehen sein.
Die Detektionseinrichtung ermittelt im Sichtfeld eines Benutzers, in welchem Bereich des Sichtfelds eine oder auch mehrere virtuelle Informationen erzeugt und angezeigt bzw. dargestellt werden sollen.
Die Beleuchtungseinrichtung der erfindungsgemäßen Anzeigevorrichtung kann wenigstens eine in gepulster Form ansteuerbare Lichtquelle aufweisen.
Ferner wird die Aufgabe der Erfindung auch durch ein Verfahren mit den Merkmalen des Anspruchs 28 gelöst.
Das erfindungsgemäße Verfahren weist folgende Merkmale auf:
- Ansteuern einer Steuereinrichtung, die mit einer Beleuchtungseinrichtung zum Aussenden von Licht und einer Ablenkeinrichtung eines optischen Systems einer Anzeigevorrichtung gekoppelt ist, zum Betreiben der Beleuchtungseinrichtung in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung, um wenigstens ein Bild einer räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld eines Benutzers zu richten,
- Richten des Lichts auf die räumliche Lichtmodulationseinrichtung und Erzeugen wenigstens eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment mittels des optischen Systems, - Richten des Bildes der räumlichen Lichtmodulationseinrichtung als Segment mittels der Ablenkeinrichtung an die definierte Position im Sichtfeld des Benutzers, und
- Darstellung einer virtuellen Information im Segment im Sichtfeld des Benutzers.
Das erfindungsgemäße Verfahren ermöglicht eine energieeffiziente Darstellung von Informationen in einem Sichtfeld eines Benutzers, da nur dann Informationen für den Benutzer dargestellt und angezeigt werden, wenn diese erforderlich sind.
Vorzugsweise kann für jeden Frame einer Bildabfolge, die mittels einer Anzeigevorrichtung dargestellt werden soll, eine Bestimmung mittels der Detektionseinrichtung erfolgen, welcher Teil oder Bereich des Sichtfelds mit virtueller Information, beispielsweise mit zweidimensionalen und/oder dreidimensionalen Objekten oder Szenen, gefüllt bzw. angezeigt werden soll und welcher Teil oder Bereich des Sichtfelds keine virtuelle Informationen aufweisen soll.
Mit dem optischen System können dabei wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung und entsprechend der Anzahl der Bilder der räumlichen Lichtmodulationseinrichtung virtuelle Sichtbarkeitsbereiche erzeugt werden, wobei die wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld des Benutzers gebildet, vorzugsweise miteinander kombiniert oder überlappt oder durch eine Lücke beabstandet, werden.
Vorteilhafterweise kann wenigstens ein Kombinierer des optischen Systems eine reale Information im Sichtfeld mit virtueller Information, die durch die Darstellung des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment zusätzlich im Sichtfeld erzeugt wird, überlagern.
Das wenigstens eine Bild der Lichtmodulationseinrichtung als Segment kann entsprechend einer geforderten Position im Sichtfeld erzeugt werden. Das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung kann dynamisch für jeden Frame derart erzeugt werden, dass das erzeugte Bild der räumlichen Lichtmodulationseinrichtung als Segment von der Position der darzustellenden virtuellen Information im Sichtfeld für den jeweiligen Frame abhängt. Hierbei können die Bilder der räumlichen Lichtmodulationseinrichtung als Segmente insbesondere derart erzeugt werden, dass für einen einzelnen Frame bzw. für ein Einzelbild die virtuelle Information in Form von Objekten innerhalb einer minimalen Anzahl von Bildern der räumlichen Lichtmodulationseinrichtung als Segmente liegen. Das heißt, zur Darstellung einer virtuellen Information in Form von beispielsweise eines Navigationshinweises werden z. B. nur drei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente benötigt. Für die Darstellung eines anderen Objektes als virtuelle Information können jedoch beispielsweise sieben Bilder der räumlichen Lichtmodulationseinrichtung als Segmente erforderlich sein. Somit hängt auch die Anzahl der zu erzeugenden Bilder der räumlichen Lichtmodulationseinrichtung für die Darstellung einer virtuellen Information in Form eines Objekts von der Größe des anzuzeigenden Objekts ab. Zum Beispiel kann für eine virtuelle Information in Form eines Objekts, bei der das Objekt in seiner Größe kleiner als die Ausdehnung des Bildes der räumlichen Lichtmodulationseinrichtung ist, das Bild der räumlichen Lichtmodulationseinrichtung derart erzeugt werden, dass das gesamte Objekt von nur einem Bild der räumlichen Lichtmodulationseinrichtung als Segment erzeugt und im Sichtfeld dargestellt wird. Hierfür kann der Mittelpunkt des Objekts beispielsweise mit dem Mittelpunkt des Bildes der räumlichen Lichtmodulationseinrichtung als Segment zusammenfallen.
In einer Ausgestaltung der Erfindung kann vorgesehen sein, dass das Sichtfeld in Rasterfelder unterteilt wird, wobei für jeden Frame geprüft wird, in welchem Rasterfeld des Sichtfelds eine virtuelle Information darzustellen ist, wobei die räumliche Lichtmodulationseinrichtung und wenigstens ein Abtastspiegelelement der Ablenkeinrichtung derart angesteuert werden, dass jeweils nur für das Rasterfeld, in dem die virtuelle Information pro Frame dargestellt werden soll, ein Bild der räumlichen Lichtmodulationseinrichtung als Segment erzeugt und an die definierte Position im Sichtfeld gerichtet wird.
Das Sichtfeld kann als eine Art Gitteranordnung ausgebildet sein, das mehrere Rasterfelder aufweist. Diese Gitteranordnung kann fest definiert und somit für jeden Frame dieselbe sein. Die Anzahl der zu erzeugenden Segmente als Bilder der räumlichen Lichtmodulationseinrichtung zur Darstellung von virtuellen Informationen ist jedoch kleiner als die Gesamtanzahl an Segmenten, die benötigt würde, um das gesamte Sichtfeld zu erzeugen. Bei dieser Ausgestaltung der Erfindung beträgt die Zeit zur Erzeugung eines einzelnen Bildes der räumlichen Lichtmodulationseinrichtung als Segment 1/M der Gesamtbildzeit, wenn M die Anzahl an Segmenten ist, die die virtuelle Information aufweisen. In dem bereits erwähnten Beispiel von einem Sichtfeld von 60° x 60°, in dem 144 Segmente erzeugt werden müssten, um das gesamte Sichtfeld zu erzeugen, läge die Anzahl an Segmenten als Bilder der räumlichen Lichtmodulationseinrichtung, die jeweils eine virtuelle Information aufweisen, bei M = 30. Dies wiederum würde das Ansteuern der räumlichen Lichtmodulationseinrichtung mit einer niedrigeren Bildfrequenz erlauben. Jedoch wäre es erforderlich, dass das optische System flexibler ausgestaltet sein müsste. Beispielsweise könnten die Bilder der räumlichen Lichtmodulationseinrichtung als Segmente an verschiedenen Positionen im Sichtfeld mit Lücken oder Abständen dazwischen erzeugt werden oder erzeugt werden müssen. Die Größe der Lücken oder Abstände kann dabei jeweils von Frame zu Frame verschieden sein. Dies ist somit von den jeweiligen Positionen der Segmente im Sichtfeld abhängig, so dass ein Segment im linken Sichtfeldbereich durch eine größere Lücke beabstandet von einem Segment im rechten Sichtfeldbereich erzeugbar ist. Dazu müsste beispielsweise ein Abtastspiegelelement der Ablenkeinrichtung mit unterschiedlicher Geschwindigkeit bewegt werden, um die unterschiedlich großen Lücken zu überbrücken. Die Anzahl der Segmente M, die eine virtuelle Information aufweisen kann auch von Frame zu Frame variieren.
In einer alternativen Ausgestaltung der Erfindung kann vorgesehen sein, dass das Sichtfeld in Rasterfelder unterteilt wird, wobei alle Rasterfelder mittels wenigstens eines Abtastspiegelelements der Ablenkeinrichtung nacheinander abgetastet werden, wobei für jeden Frame geprüft wird, in welchem Rasterfeld des Sichtfelds eine virtuelle Information darzustellen ist und nur für das jeweilige Rasterfeld, in dem auch die virtuelle Information dargestellt werden soll, ein virtuelle Information aufweisendes Bild der räumlichen Lichtmodulationseinrichtung als Segment mittels des optischen Systems erzeugt und zugeordnet wird.
Auch in dieser alternativen Ausgestaltung kann das Sichtfeld kann als eine Art Gitteranordnung ausgebildet sein, das mehrere Rasterfelder aufweist. Diese Gitteranordnung kann fest definiert und somit für jeden Frame dieselbe sein. Die Anzahl der zu erzeugenden Segmente als Bilder der räumlichen Lichtmodulationseinrichtung zur Darstellung von virtuellen Informationen ist auch hier kleiner als die Gesamtanzahl an Segmenten, die benötigt würde, um das gesamte Sichtfeld zu erzeugen. Hier werden jedoch alle Rasterfelder der Gitteranordnung nacheinander abgetastet, wobei jedoch nur dann ein Bild der räumlichen Lichtmodulationseinrichtung durch Ansteuerung der Beleuchtungseinrichtung, der räumlichen Lichtmodulationseinrichtung und der Ablenkeinrichtung erzeugt wird, wenn in dem jeweiligen gerade abzutastenden Rasterfeld eine virtuelle Information darzustellen ist. Die einzelnen Bilder der räumlichen Lichtmodulationseinrichtung als Segmente, in den eine virtuelle Information angezeigt werden soll, werden zeitsequentiell erzeugt. Die Zeit zur Erzeugung eines einzelnen Bildes der räumlichen Lichtmodulationseinrichtung als Segment beträgt in dieser Ausgestaltung der Erfindung 1/N der Gesamtbildzeit, wenn N die Gesamtanzahl an Segmenten ist.
Für Rasterfelder, in denen keine virtuelle Information dargestellt werden soll, wird die Beleuchtungseinrichtung somit nicht angesteuert, so dass kein Bild der räumlichen Lichtmodulationseinrichtung erzeugt wird. Somit werden auch keine Daten an die räumliche Lichtmodulationseinrichtung übertragen, wodurch der Datentransfer reduziert wird. Es wäre auch möglich, sollte die Beleuchtungseinrichtung dennoch eingeschaltet sein, dass für alle Pixel, die einem Rasterfeld zugeordnet sind, in dem keine virtuelle Information anzuzeigen ist, ein globales Zurücksetzen auf ein Level erfolgt, in dem die Flüssigkristallschicht der räumlichen Lichtmodulationseinrichtung derart angesteuert wird, dass sich die Flüssigkristalle zurück in eine Art Startzustand bewegen. Eine weitere Möglichkeit bestände darin, dass diese Pixel in einen Undefinierten Zustand geschalten werden.
Das wenigstens eine Abtastspiegelelement der Ablenkeinrichtung kann zum Richten des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld kontinuierlich oder schrittweise mit einer definierten Schrittbreite bewegt werden.
Bei einer schrittweisen Bewegung des wenigstens einen Abtastspiegelelements kann vorgesehen sein, dass die Beleuchtungseinrichtung jeweils eingeschaltet wird, wenn sich das wenigstens eine Abtastspiegelelement nach einer definierten Schrittbreite in einem Haltezustand bzw. in einem Stopp-Zustand befindet und die räumliche Lichtmodulationseinrichtung zur Erzeugung eines Bildes der räumlichen Lichtmodulationseinrichtung beleuchtet wird, wodurch das erzeugte Bild der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld gerichtet wird. Die Beleuchtungseinrichtung wird ausgeschaltet, wenn sich das wenigstens eine Abtastspiegelelement in einem Bewegungszustand befindet.
Die Beleuchtungseinrichtung wird somit in Verbindung mit der Ansteuerung der Ablenkeinrichtung, insbesondere des wenigstens einen Abtastspiegelelement, angesteuert und in einen AN-Zustand und einen AUS-Zustand gebracht, je nachdem ob sich das wenigstens eine Abtastspiegelelement in einem Stopp-Zustand oder in Bewegung befindet. Die Beleuchtungseinrichtung und die Ablenkeinrichtung werden dabei von der Steuereinrichtung angesteuert.
Bei einer kontinuierlichen Bewegung des wenigstens einen Abtastspiegelelements kann ein Kompensationsspiegelelement mit dem wenigstens einen Abtastspiegelelement kombiniert werden, wobei das Kompensationsspiegelelement eine synchronisierte, vorzugsweise gleichsinnige, Bewegung zum wenigstens einen Abtastspiegelelement vornimmt, wenn sich die Beleuchtungseinrichtung in einem AN-Zustand befindet.
Die synchronisierte Bewegung des Kompensationsspiegelelements zur Bewegung des wenigstens einen Abtastspiegelelements wird nur vorgenommen, wenn sich die Beleuchtungseinrichtung in einem AN-Zustand bzw. eingeschaltet ist. Auch bei dieser erfindungsgemäßen Ausgestaltung der Erfindung ist die Beleuchtungseinrichtung mit der Ablenkeinrichtung gekoppelt, wobei die Ablenkeinrichtung neben dem wenigstens einen Abtastspiegelelement auch das Kompensationsspiegelelement aufweist. Es wäre auch möglich, dass das Kompensationsspiegelelement nicht Bestandteil der Ablenkeinrichtung ist. Ist dies der Fall, dann ist die Beleuchtungseinrichtung nicht nur mit der Ablenkeinrichtung gekoppelt, sondern zusätzlich noch mit dem Kompensationsspiegelelement. Die Steuereinrichtung steuert wiederum die Beleuchtungseinrichtung und die Ablenkeinrichtung und gegebenenfalls das Kompensationsspiegelelement an, sollte dieses nicht Bestandteil der Ablenkeinrichtung sein.
Wenigstens ein Abtastspiegelelement und wenigstens ein Kompensationsspiegelelement können auch derart ausgebildet sein, dass sie in zwei Dimensionen, vorzugsweise horizontal und vertikal, beweglich sind. Durch eine gleichsinnige Bewegung des Abtastspiegelelements und des Kompensationsspiegelelements, sowohl in horizontaler Richtung als auch in vertikaler Richtung, wird ein erzeugtes Bild der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte horizontale und vertikale Position im Sichtfeld gerichtet. Durch eine gleichsinnige Bewegung in einer Richtung, zum Beispiel horizontal, aber gegensinnige Bewegung in der dazu senkrechten Richtung, zum Beispiel vertikal, wird die Position des Bildes der räumlichen Lichtmodulationseinrichtung als Segments in einer Richtung, zum Beispiel vertikal, verschoben aber in dazu senkrechten Richtung, zum Beispiel horizontal, beibehalten.
Das Abtastspiegelelement kann zwischen einer minimalen Einstellung und einer maximalen Einstellung kontinuierlich hin und her bewegt werden, beispielsweise eine kontinuierliche Bewegung von links nach rechts und anschließend eine kontinuierliche Bewegung zurück von rechts nach links bei einer langsamen Bewegung von oben nach unten. Nach Ende eines Frames kann das Abtastspiegelelement in seine Ausgangsposition zurückbewegt werden. Eine zweidimensionale kontinuierliche Bewegung des wenigstens einen Abtastspiegelelements kann aber zum Beispiel auch in Form von Lissajous-Figuren erfolgen, so dass nach einem Frame der Ausgangszustand des Abtastspiegelelements wieder erreicht ist.
Es kann eine einmalige Kalibration erfolgen, aus der ermittelt wird, welche Einstellungen des Abtastspiegelelements und gegebenenfalls des Kompensationsspiegelelements welcher Position des Bildes der räumlichen Lichtmodulationseinrichtung als Segment im Sichtfeld entsprechen. Wird beispielsweise bei einer schrittweisen Bewegung des Abtastspiegelelements dieses mit einem Schrittmotor versehen und angesteuert, so kann eine Zuordnung einer bestimmten Zahl von Schritten des Schrittmotors zu einer Position im Sichtfeld erfolgen.
Bei einer kontinuierlichen Bewegung des Abtastspiegelelements kann mittels einer Kalibration eine Zuordnung über die Geschwindigkeit der Bewegung und Zeitintervall zu einer Position im Sichtfeld erfolgen. Die Kalibrationsdaten können beispielsweise in einer Look-Up-Tabelle gespeichert und diese Look-Up-Tabelle von der Steuereinrichtung für die Ansteuerung des Abtastspiegelelements verwendet werden.
Vorzugsweise kann der wenigstens eine Kombinierer als Lichtleiter ausgebildet sein, wobei die räumliche Lichtmodulationseinrichtung durch die Beleuchtungseinrichtung beleuchtet und das von der räumlichen Lichtmodulationseinrichtung modulierte Licht auf die Ablenkeinrichtung gerichtet wird, die das Licht auf den als Lichtleiter ausgebildeten Kombinierer lenkt, wobei das Licht in den Kombinierer eingekoppelt wird und in diesem propagiert, wobei das im Kombinierer propagierende Licht entsprechend der geforderten definierten Position im Sichtfeld ausgekoppelt wird und an diese definierte Position das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung als Segment gerichtet wird.
In einer besonders vorteilhaften Ausgestaltung der Erfindung kann vorgesehen, dass das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung als Segment mittels eines variablen Fokussystems in z-Richtung entlang einer optischen Achse des optischen Systems an eine Tiefenposition im Sichtfeld verschoben wird, auf die ein Benutzer akkommodiert.
Das Verschieben des Bildes der räumlichen Lichtmodulationseinrichtung als Segment an eine Tiefenposition, die ein Benutzer der erfindungsgemäßen Vorrichtung anvisiert bzw. in diese der Benutzer blickt, mittels des variablen Fokussystems kann mit einer hohen Genauigkeit erfolgen, insbesondere für jene Segmente, die in Blickrichtung oder in der Nähe der Blickrichtung des Benutzers vorgesehen sind. Diejenigen Segmente, die im Sichtfeld weiter entfernt von der Blickrichtung des Benutzers dargestellt und angezeigt werden, können entweder in irgendeiner fest definierten Tiefe oder in der gleichen Tiefe wie die Segmente, die sich in Blickrichtung des Benutzers befinden, angeordnet sein. Jedoch werden diese Segmente mit einer geringeren Genauigkeit in der fest definierten Tiefe oder der gleichen Tiefe wie die Segmente der Blickrichtung des Benutzers vorgesehen, d.h. mit einigen Toleranzen. Dies kann relevant sein im Fall der Verwendung der gleichen Einstellparameter des variablen Fokussystems für alle erzeugten Bilder der räumlichen Lichtmodulationseinrichtung als Segmente. In diesem Fall kann die Tiefenposition des Bildes der räumlichen Lichtmodulationseinrichtung aufgrund von Aberrationen, wie beispielsweise der Bildfeldkrümmung, des optischen Systems bei der Abbildung der räumlichen Lichtmodulationseinrichtung für verschiedene Bilder der räumlichen Lichtmodulationseinrichtung als Segmente variieren. Durch Einstellung der korrekten Tiefenposition für die Bilder der räumlichen Lichtmodulationseinrichtung als Segmente gemäß der jeweils ermittelten Blicktiefe eines Benutzers mittels einer Blickverfolgungseinrichtung in Blickrichtung und dem Zulassen einiger Toleranzen in der Tiefenposition von Bildern der räumlichen Lichtmodulationseinrichtung als Segmente weiter weg von der Blickrichtung des Benutzers kann vorteilhaft ein variables Fokussystem mit einer geringen Bildfrequenz verwendet werden, verglichen mit der erforderlichen Bildfrequenz der Ablenkeinrichtung.
In einer Ausgestaltung der Erfindung kann die erfindungsgemäße Vorrichtung als stereoskopische Anzeigevorrichtung oder als varifokale stereoskopische Anzeigevorrichtung ausgebildet sein, in der eine amplitudenmodulierende räumliche Lichtmodulationseinrichtung verwendet wird, in die zweidimensionale Amplitudendaten eingeschrieben werden.
In einer anderen Ausführung einer stereoskopischen Anzeigevorrichtung oder varifokalen stereoskopischen Anzeigevorrichtung kann die räumliche Lichtmodulationseinrichtung als komplexwertige räumliche Lichtmodulationseinrichtung ausgebildet sein. Dies kann beispielsweise eine phasenmodulierende räumliche Lichtmodulationseinrichtung in Kombination mit einem Strahlvereiniger sein. In diesem Fall wird die darzustellende zweidimensionale Information ebenfalls mittels Amplitudendaten in die räumliche Lichtmodulationseinrichtung eingeschrieben. Die Fähigkeit der räumlichen Lichtmodulationseinrichtung zur Phasenmodulation des Lichts kann dann genutzt werden, um beispielsweise Phasenfunktionen für eine Aberrationskorrektur einzuschreiben.
Wenigstens ein Gitterelement mit einer relativ geringen Frequenz, z.B. 50 Hz - 200 Hz, und mit einer steuerbaren abstimmbaren Gitterperiode kann in Kombination mit einer, mit einer relativ hohen Frequenz betriebenen räumlichen Lichtmodulationseinrichtung, die als MEMS- SLM ausgebildet sein kann, und mit statischen optischen Elementen für eine Aberrationskorrektur verwendet werden. Auf diese Weise können die statischen optischen Elemente eine Aberrationskorrektur für die gesamte Anzeigevorrichtung vornehmen. Das wenigstens eine Gitterelement mit einer steuerbaren abstimmbaren Gitterperiode kann die gleiche Linsenfunktion für alle Bilder der räumlichen Lichtmodulationseinrichtung als Segmente zum Verschieben der Tiefenposition aller Segmente aufweisen, kann jedoch auch eine Aberrationskorrektur für diese definierte Tiefenposition der Segmente vorsehen. Die Aberrationskorrektur ist dabei für alle Segmente die gleiche. Der schnelle MEMS-SLM kann auch eine individuelle Aberrationskorrektur für die einzelnen Bilder der räumlichen Lichtmodulationseinrichtung als Segmente vornehmen, da sowohl die zweidimensionale Bildinformation als auch die Phasenfunktion für eine Aberrationskorrektur in jedem Segment aktualisiert werden.
In einer stereoskopischen Anzeigevorrichtung kann eine Streueinrichtung bzw. ein Diffusor vorgesehen sein. Die Streueinrichtung kann beispielsweise in der Nähe der räumlichen Lichtmodulationseinrichtung oder in einer Zwischenbildebene der räumlichen Lichtmodulationseinrichtung angeordnet sein. Mit der Streueinrichtung kann der Bereich des Sweet-Spots aufgeweitet werden, so dass ein großer virtueller Sichtbarkeitsbereich in der Betrachterebene geschaffen werden kann.
In einer weiteren Ausgestaltung der Erfindung kann vorgesehen sein, dass die virtuellen Informationen Im Sichtfeld eines Benutzers holographisch erzeugt und dargestellt werden. Hierfür kann die räumliche Lichtmodulationseinrichtung als eine amplitudenmodulierende, eine phasenmodulierende oder eine komplexwertige (Amplitude und Phase) räumliche Lichtmodulationseinrichtung ausgebildet sein, in die holographische Daten eingeschrieben werden bzw. ein Hologramm kodiert wird. Vorzugsweise ist die räumliche Lichtmodulationseinrichtung komplexwertig ausgebildet, z.B. als phasenmodulierende räumliche Lichtmodulationseinrichtung in Kombination mit einem Strahlvereiniger. In einer anderen Ausgestaltung kann sie als phasenmodulierende räumliche Lichtmodulationseinrichtung ausgebildet sein, in die iterativ, zum Beispiel mit einem Gerchberg-Saxton-Verfahren, berechnete Hologramme eingeschrieben werden.
Eine holographische Anzeigevorrichtung benötigt normalerweise kein variables Fokussystem, da die darzustellende dreidimensionale Information mit der vollständigen Tiefeninformation bereits mittels des in der räumlichen Lichtmodulationseinrichtung kodierten Holograms erzeugt werden kann. Jedoch kann es unter bestimmten Umständen sinnvoll sein, in einer holographischen Anzeigevorrichtung eine Blickverfolgungseinrichtung und/oder ein variables Fokussystem vorzusehen, um die Tiefenposition des Bildes der räumlichen Lichtmodulationseinrichtung zu verschieben bzw. an eine definierte Position zu setzen. Beispielsweise kann durch eine geeignete Wahl der Tiefenposition des Bildes der räumlichen Lichtmodulationseinrichtung der Aufwand für die Hologrammberechnung reduziert werden.
In einer Ausgestaltung einer holographischen Anzeigevorrichtung kann auch wenigstens ein Gitterelement mit einer steuerbaren abstimmbaren Gitterperiode vorgesehen sein, das nicht die Position des Bildes der räumlichen Lichtmodulationseinrichtung als Segment verändert sondern zur Aberrationskorrektur vorgesehen ist.
Ähnlich eines varifokalen Systems ist es in einer holographischen Anzeigevorrichtung wieder möglich, eine Korrektion von Aberrationen mit einem statischen optischen Element zu kombinieren oder auch eine Aberrationskorrektur mittels wenigstens eines Gitterelements mit einer steuerbaren abstimmbaren Gitterperiode durchzuführen, wobei die Gitterperiode für jeden Frame verschieden sein kann und von der darzustellenden Information in dem jeweiligen Frame abhängt. Auch könnte eine Aberrationskorrektur direkt in der räumlichen Lichtmodulationseinrichtung vorgenommen werden, so dass die Korrektur von Aberrationen bereits bei der Berechnung eines Hologramms berücksichtigt wird und miteinfließt. Das in der räumlichen Lichtmodulationseinrichtung kodierte Hologramm kann dabei für jedes zu erzeugende Bild der räumlichen Lichtmodulationseinrichtung als die virtuelle Information tragendes Segment verschieden sein.
Wenn ein Gitterelement mit einer steuerbaren abstimmbaren Gitterperiode mit einer ausreichend hohen Frequenz betrieben werden kann, könnte auch eine unterschiedliche Aberrationskorrektur durch das Gitterelement für jedes Bild der räumlichen Lichtmodulationseinrichtung als Segment durchgeführt werden.
Wenn das von der räumlichen Lichtmodulationseinrichtung ausgehende Licht auf den wenigstens einen Kombinierer unter einem relativ großen schrägen Winkel auftrifft, dann könnte eine statische Aberrationskorrektur auch vorgenommen werden, in dem die räumliche Lichtmodulationseinrichtung relativ zum optischen System der erfindungsgemäßen Anzeigevorrichtung bei der Abbildung der räumlichen Lichtmodulationseinrichtung verkippt wird.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und/oder die beschriebenen Ausführungsbeispiele bzw. Ausgestaltungen miteinander zu kombinieren. Dazu ist einerseits auf die den nebengeordneten Patentansprüchen nachgeordneten Patentansprüche und andererseits auf die nachfolgende Erläuterung der bevorzugten Ausführungsbeispiele der Erfindung anhand der Zeichnungen zu verweisen, in denen auch im Allgemeinen bevorzugte Ausgestaltungen der Lehre erläutert werden. Die Erfindung wird dabei anhand der beschriebenen Ausführungsbeispiele prinzipmäßig erläutert, soll jedoch nicht auf diese beschränkt sein.
Die Figuren zeigen:
Fig. 1 : in einer prinzipmäßigen Darstellung eine AR-Anzeigevorrichtung, dargestellt in
Form einer Brille, bei der nur das Sichtfeld eines Benutzers gezeigt ist;
Fig. 2: in einer prinzipmäßigen Darstellung eine erfindungsgemäße
Anzeigevorrichtung in der Draufsicht;
Fig. 3: in einer prinzipmäßigen Darstellung eine weitere Ausführungsform einer erfindungsgemäßen Anzeigevorrichtung in der Draufsicht; Fig. 4: eine prinzipmäßige Darstellung einer Unterteilung des Sichtfelds eines
Benutzers nach Fig. 1 in Rasterfelder;
Fig. 5: eine prinzipmäßige Darstellung von Bildern einer räumlichen
Lichtmodulationseinrichtung als Segmente im Sichtfeld, die jeweils eine virtuelle Information für einen Benutzer aufweisen;
Fig. 6: eine weitere prinzipmäßige Darstellung von Bildern einer räumlichen
Lichtmodulationseinrichtung als Segmente im Sichtfeld, die jeweils eine virtuelle Information für einen Benutzer aufweisen;
Fig. 7: eine prinzipmäßige Darstellung einer in einer erfindungsgemäßen
Anzeigevorrichtung vorgesehenen erfindungsgemäßen Ablenkeinrichtung in verschiedenen Ansteuerzuständen;
Fig. 8: eine prinzipmäßige Darstellung einer Lichteinkopplung in einen Lichtleiter bei
Verwendung einer räumlichen Lichtmodulationseinmrichtung mit einer relativ großen Pixelanzahl, nach dem Stand der Technik; und
Fig. 9: eine prinzipmäßige Darstellung einer erfindungsgemäßen Anzeigevorrichtung, die einen als Lichtleiter ausgebildeten Kombinierer aufweist und zur Erzeugung von wenigstens zwei Bildern einer räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld vorgesehen ist, bei Verwendung einer räumlichen Lichtmodulationseinrichtung mit einer relativ geringen Anzahl an Pixeln.
Es soll kurz erwähnt werden, dass gleiche Elemente/Bauteile/Komponenten auch die gleichen Bezugszeichen in den Figuren aufweisen können.
In Fig. 1 ist eine erfindungsgemäße Anzeigevorrichtung dargestellt, die hier als Augmented- Reality-Display (AR) ausgebildet ist. Die AR-Anzeigevorrichtung ist hier in Form einer Brille ausgeführt, so dass die Anzeigevorrichtung als AR-Head-Mounted-Display ausgebildet ist, wobei dargestellt ist, was ein Benutzer B der AR-Brille durch diese in seinem Sichtfeld S betrachten kann. Der Benutzer B ist hier aus Übersichtlichkeitsgründen nur durch zwei Arme mit zwei sich beispielsweise an einem Fahrradlenker festhaltenden Händen dargestellt. Die Anzeigevorrichtung in Form einer AR-Brille ist am Kopf des Benutzers B befestigt. Der Benutzer B blickt somit durch die AR-Brille und kann durch diese seine natürliche bzw. reale Umgebung R betrachten. Fig. 1 zeigt somit nur das Sichtfeld S des Benutzers B. Der Benutzer B sieht in seinem Sichtfeld in Fig. 1 eine Straßenszene mit Gebäuden, Straßen und Verkehrsmitteln, wobei er diese Straßenszene mit jedem von seinen beiden Augen sieht. Die dargestellte Form des Brillenglases soll sich hier nicht auf eine bestimmte Art von AR-Brille beziehen, sondern nur als Beispiel dienen, wie die Form einer AR-Brille ausgestaltet sein könnte. Es sind daher selbstverständlich auch andere Formen einer AR-Brille möglich. Zudem bedeutet dies, dass hier in den dargestellten Figuren die Anzeigevorrichtung zwar in Form einer Brille ausgebildet ist, jedoch auch andere Anwendungen möglich sind, wie beispielsweise als Head-Up-Display.
Ferner sind im Sichtfeld S des Benutzers B virtuelle Informationen C1 , C2 und C3 mittels der Anzeigevorrichtung dargestellt bzw. angezeigt, die der realen Umgebung R überlagert sind und dem Benutzer B zusätzlich zu seiner realen Umgebung R angezeigt werden können. Dargestellt sind im Sichtfeld S als virtuelle Informationen ein Verkehrszeichen C1 , Informationen über einen Einkaufs-Shop C2, der sich in einem Gebäude befindet und Pfeile C3 als Navigationshilfe, die eine Straßenrichtung anzeigen sollen. Die dargestellten virtuellen Informationen C1 , C2 und C3 füllen somit nur einen kleinen Teil des Sichtfelds S aus. Das bedeutet, nur ein kleiner Prozentsatz des Sichtfeld S wird von virtuellen Informationen gebildet. Der größte Teil des Sichtfelds S des Benutzers wird vom Inhalt der realen Umgebung R gebildet.
In Fig. 2 ist eine mögliche Ausgestaltung der Anzeigevorrichtung dargestellt. Diese Ausgestaltung könnte sowohl für ein AR-Head-Mounted-Display als auch für ein Head-Up- Display Verwendung finden. Im Folgenden soll die Anzeigevorrichtung als AR-Head-Mounted- Display ausgebildet sein, um eine Verbindung zu Fig. 1 herzustellen.
Die Anzeigevorrichtung weist eine Beleuchtungseinrichtung 10 auf, die wenigstens eine Lichtquelle aufweisen kann, wobei für eine farbige Darstellung der virtuellen Information drei Lichtquellen gemäß der Grundfarben RGB (rot-grün-blau) vorgesehen sein können. Eine räumliche Lichtmodulationseinrichtung 1 1 , die im Nachfolgenden als SLM bezeichnet wird, folgt der Beleuchtungseinrichtung 10 in Lichtrichtung, so dass die Beleuchtungseinrichtung den SLM beleuchtet. Der SLM 1 1 ist hier als SLM mit einer relativ geringen Anzahl an Pixeln, wie beispielsweise weniger als 1000 Pixel in einer Richtung, ausgebildet. In Lichtrichtung nach dem SLM 11 folgt nun eine Ablenkeinrichtung 12 und ein Kombinierer 13, die beide Komponenten eines optischen Systems der Anzeigevorrichtung sind. Die Ablenkeinrichtung 12 weist hier ein Abtastspiegelelement 12-1 auf, das beweglich angeordnet ist und sich um seine Rotationsachse bewegen bzw. drehen kann. Die Ablenkeinrichtung 12 mit dem Abtastspiegelelement 12-1 ist im Strahlengang zwischen dem SLM 11 und dem Kombinierer angeordnet. Das Abtastspiegelelement 12-1 kann eine kontinuierliche oder aber auch eine schrittweise Bewegung mit einer fest definierten Schrittbreite ausführen, mit der auftreffendes Licht in eine bestimmte Richtung gelenkt werden kann. Der Kombinierer 13, der gemäß Fig. 1 dann als Brillenglas ausgebildet ist, ist zur Überlagerung von mit der Anzeigevorrichtung erzeugten virtuellen Informationen mit Informationen in der realen Umgebung im Sichtfeld des Benutzers vorgesehen. Hierfür ist der Kombinierer 13 derart ausgebildet, dass Licht der realen Umgebung ungehindert durch den Kombinierer treten kann, d.h. vom Kombinierer nicht beeinflusst wird. Der Kombinierer 13 kann flach bzw. eben oder auch gekrümmt ausgebildet sein. Das optische System kann, wie in Fig. 2 dargestellt, weitere Abbildungselemente aufweisen, wie z.B. ein Abbildungselement 14, das hier als passives Linsenelement ausgebildet ist.
Zudem weist die Anzeigevorrichtung eine Steuereinrichtung 15 auf, die mit der Beleuchtungseinrichtung 10 und der Ablenkeinrichtung 12 gekoppelt ist. Hierdurch kann die Beleuchtungseinrichtung 10 in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung 12, hier insbesondere des Abtastspiegelelements 12-1 , angesteuert und entsprechend geschaltet werden, d.h. in einen AN-Zustand und einen AUS-Zustand gebracht werden. Die Steuereinrichtung 15 könnte auch mit dem SLM 11 gekoppelt sein. Es ist jedoch auch möglich, dass der SLM 1 1 von einer eigenen Steuereinrichtung zum Einschreiben von Daten betrieben wird.
Im Folgenden wird die allgemeine Vorgehensweise bei der Erzeugung einer virtuellen Information, wie beispielsweise der virtuellen Information C1 gemäß Fig. 1 , beschrieben. Hierfür soll die virtuelle Information holographisch erzeugt werden, wobei selbstverständlich auch eine stereoskopische Erzeugung möglich ist.
Ist die von der Steuereinrichtung 15 angesteuerte Beleuchtungseinrichtung 10 in einen entsprechenden AN-Zustand versetzt worden, sendet die Beleuchtungseinrichtung 10 Licht aus, das im Wesentlichen hinreichend kohärent ist und auf den SLM 1 1 auftrifft, wobei Daten der virtuellen Information an den SLM 1 1 übertragen bzw. übermittelt werden. Das von der Beleuchtungseinrichtung 10 ausgesandte und auf den SLM 1 1 auftreffende Licht ist hier durch einen Pfeil dargestellt. Das nun vom SLM 11 mit der darzustellenden virtuellen Information modulierte Licht durchläuft das Abbildungselement 14, wodurch ein Bild des SLM 11 auf dem Abtastspiegelelement 12-1 der Ablenkeinrichtung 12 erzeugt wird. Die Ablenkeinrichtung 12 ist hier in einer Fourier-Ebene des SLM 1 1 angeordnet. Das Abtastspiegelelement 12-1 wurde bereits vor der Ansteuerung der Beleuchtungseinrichtung 10 von der Steuereinrichtung 15 derart angesteuert, dass es sich in eine Position bewegt hat, die für die Darstellung dieser virtuellen Information an einer definierten Position im Sichtfeld S eines Benutzers B, der hier durch das Auge dargestellt sein soll, erforderlich ist. Um festzustellen, an welche Position sich das Abtastspiegelelement 12-1 bewegen muss, damit eine virtuelle Information im Sichtfeld S auch an der richtigen Position dargestellt wird, wird für jeden Frame vor der Erzeugung der virtuellen Information mittels einer Detektionseinrichtung 16 ermittelt, welcher Bereich des Sichtfelds S mit virtueller Information, beispielsweise eine zweidimensionale oder dreidimensionales Objekt oder Szene, gefüllt werden soll und welcher Bereich im Sichtfeld S keine virtuellen Informationen sondern nur Informationen der realen Umgebung des Benutzers B aufweisen soll. Das Bild des SLM 1 1 wird nun als Segment S1 mittels des Abtastspiegelelements 12-1 in Richtung des Kombinierers 13 gerichtet, der das Bild des SLM 1 1 als Segment S1 mit der realen Umgebung überlagert. Zudem wird das Bild des SLM 11 als Segment S1 vom Kombinierer 13 in eine Betrachterebene 17 abgebildet, um dort einen virtuellen Sichtbarkeitsbereich 18 zu erzeugen. Der virtuelle Sichtbarkeitsbereich 18 kann im Falle einer holographischen Anzeigevorrichtung ein virtuelles Betrachterfenster sein oder im Falle einer stereoskopischen Anzeigevorrichtung ein Sweet-Spot. Auf diese Weise wird die virtuelle Information an der definierten Position im Sichtfeld S dargestellt und angezeigt. Um die virtuelle Information im Sichtfeld S beobachten zu können, muss der Benutzer B sein Auge in der Betrachterebene 17 anordnen und durch den virtuellen Sichtbarkeitsbereich 18 blicken. Zur Darstellung von weiteren virtuellen Informationen im Sichtfeld S des Benutzers B kann auf die gleiche beschriebene Art und Weise vorgegangen werden. Somit können beispielsweise Bilder des SLM 11 als Segmente S2 und S3 erzeugt, mittels des Abtastspiegelelements 12-1 an die geforderten und definierten Positionen im Sichtfeld S gerichtet und mittels des Kombinierer 13 diese Segmente S2 und S3 der realen Umgebung überlagert und dem Benutzer B im Sichtfeld S dargestellt und angezeigt werden. Die Bilder des SLM 1 1 als Segmente S1 , S2 und S3 werden zeitsequentiell erzeugt und im Sichtfeld S dargestellt und angezeigt. Dies erfolgt jedoch mit einer derart hohen Frequenz, dass das Auge des Benutzers B diese aufeinanderfolgende Erzeugung der Segmente S1 , S2 und S3 nicht mit bloßem Auge erkennen kann und sie dadurch als gleichzeitig wahrnimmt.
In nachfolgenden Frames wird ebenso vorgegangen, zuerst detektiert, wo im Sichtfeld S virtuelle Informationen angezeigt werden sollen und dann diese virtuellen Informationen als Segmente zeitsequentiell erzeugt und im Sichtfeld als Überlagerung mit der realen Umgebung des Benutzers B dargestellt.
Auf diese Weise kann auch durch die Erzeugung von nur wenigen Segmenten, die die geforderte virtuelle Information aufweisen, ein großes Sichtfeld geschaffen werden.
Der Kombinierer 13 kann auch ein festes (nicht variables) Fokussierelement aufweisen, beispielsweise ein Gitterelement. Die Anzeigevorrichtung in Fig. 2 weist ferner ein variables Fokussystem 19 auf. Das variable Fokussystem 19 ermöglicht den Abstand des Bildes des SLM 11 als Segment im Sichtfeld zum Benutzer B hin zu variieren, d.h. die Tiefe des Bildes des SLM 11 als Segment im Sichtfeld S einzustellen. Hierzu ist das variable Fokussystem 19 vorzugsweise im Bereich der Fourier- Ebene des SLM 1 1 angeordnet, d.h. in der Fourier-Ebene des SLM 1 1 oder zumindest in der Nähe der Fourier-Ebene des SLM 1 1 , und kann beispielsweise wenigstens ein Gitterelement mit einer einstellbaren abstimmbaren Gitterperiode aufweisen, in das eine Linsenfunktion eingeschrieben ist. Vorzugsweise kann die Einstellung der Tiefe des Bildes des SLM 11 als Segment in Verbindung mit der Detektion einer Blickrichtung des Benutzers B erfolgen. Eine Blickverfolgungseinrichtung 20 ermittelt die Blickrichtung des Benutzers B und auch die Tiefenposition im Sichtfeld, in die der Benutzer B fokussiert bzw. die Tiefe, die er anvisiert. Das erzeugte Bild des SLM 11 als Segment kann dann mittels des variablen Fokussystems 19 an diejenige Tiefenposition zum Benutzer B hin verschoben werden, die der Benutzer B in diesem Moment anvisiert bzw. anblickt.
In einer holographischen Anzeigevorrichtung ist das variable Fokussystem nicht unbedingt nötig, da holographisch bereits die virtuelle Information mit ihrer geforderten Tiefe darstellbar ist. Es könnte jedoch trotzdem von Nutzen sein, ein variables Fokussystem einzusetzen, beispielsweise, um durch das optische System verursachte Aberrationen durch Verschieben des Bildes des SLM 1 1 als Segment in der Tiefe bzw. entlang der z-Richtung zu korrigieren. Hierfür kann das variable Fokussystem 19 wenigstens ein Gitterelement mit einer einstellbaren abstimmbaren Gitterperiode aufweisen, die beispielsweise Prismenfunktionen oder Phasenfunktionen aufweist.
In stereoskopischen Anzeigevorrichtung ist es sinnvoll, ein derartiges variables Fokussystem 19 einzusetzen, um das Bild des SLM als Segment in seiner Tiefe zu verschieben und/oder um Aberrationen des optischen Systems zu korrigieren.
In Fig. 3 ist eine weitere Anzeigevorrichtung dargestellt, die ebenfalls als AR- Anzeigevorrichtung bzw. AR-Display ausgebildet sein kann und sowohl als AR-Head- Mounted-Display als auch als AR-Head-Up-Display Verwendung finden kann.
Die Anzeigevorrichtung weist eine Beleuchtungseinrichtung 30, einen SLM 31 , eine Ablenkeinrichtung 32, einen Kombinierer 33 und Abbildungselemente auf, wobei hier nur ein Abbildungselement 34 gezeigt ist. Die Ablenkeinrichtung 32, der Kombinierer 33 und das Abbildungselement 34 sind Komponenten eines optischen Systems der Anzeigevorrichtung. In dieser Ausgestaltung der Anzeigevorrichtung folgt der Beleuchtungseinrichtung 30 bereits die Ablenkeinrichtung 32, die auch hier ein Abtastspiegelelement 32-1 aufweist. In Lichtrichtung nach der Ablenkeinrichtung 32 ist das Abbildungselement 34, der SLM 31 und der Kombinierer 33 angeordnet. Das bedeutet somit, dass die Ablenkeinrichtung hier zwischen der Beleuchtungseinrichtung 30 und dem SLM 31 vorgesehen ist. Der SLM 31 ist hier als SLM mit einer relativ großen Anzahl an Pixeln, wie beispielsweise größer als 1000 Pixel in einer Richtung, ausgebildet. Das Abtastspiegelelement 32-1 der Ablenkeinrichtung 32 ist beweglich angeordnet, wie durch die gestrichelten Linien erkenntlich gemacht werden soll, und kann sich somit um seine Rotationsachse bewegen bzw. drehen. Das Abtastspiegelelement 32-1 kann auch hier eine kontinuierliche oder aber auch eine schrittweise Bewegung mit einer fest definierten Schrittbreite ausführen, mit der auftreffendes Licht in eine bestimmte Richtung gelenkt werden kann. Der Kombinierer 33, der auch in diesem Ausführungsbeispiel als Brillenglas ausgebildet sein kann, jedoch nicht darauf beschränkt sein soll, ist zur Überlagerung von mit der Anzeigevorrichtung erzeugten virtuellen Informationen mit Informationen in der realen Umgebung im Sichtfeld S des Benutzers B vorgesehen. Hierfür ist der Kombinierer 33 auch hier derart ausgebildet, dass Licht der realen Umgebung ungehindert durch den Kombinierer 33 treten kann, d.h. vom Kombinierer 33 nicht beeinflusst wird. Der Kombinierer 33 kann flach bzw. eben oder auch gekrümmt ausgebildet sein.
Außerdem weist die Anzeigevorrichtung eine Steuereinrichtung 35 auf, die mit der Beleuchtungseinrichtung 30 und der Ablenkeinrichtung 32 gekoppelt ist. Hierdurch kann die Beleuchtungseinrichtung 30 auch in diesem Ausführungsbeispiel in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung 32, hier insbesondere des Abtastspiegelelements 32-1 , angesteuert und entsprechend geschaltet werden, d.h. in einen AN-Zustand und einen AUS- Zustand gebracht werden. Die Steuereinrichtung 35 könnte auch mit dem SLM 31 gekoppelt sein. Es ist jedoch auch möglich, dass der SLM 31 von einer eigenen Steuereinrichtung zum Einschreiben von Daten betrieben wird. Zudem kann die Anzeigevorrichtung auch eine Blickverfolgungseinrichtung 39 aufweisen, die die Blickrichtung des Benutzers B und auch die Tiefenposition im Sichtfeld, in die der Benutzer B fokussiert bzw. die Tiefe, die er anvisiert, ermittelt. Das erzeugte Bild des SLM 31 als Segment kann dann mittels eines variablen Fokussystems, wenn erforderlich, an diejenige Tiefenposition zum Benutzer B hin verschoben werden, die der Benutzer B in diesem Moment anvisiert bzw. anblickt.
Im Folgenden wird die allgemeine Vorgehensweise bei der Erzeugung einer virtuellen Information, wie beispielsweise der virtuellen Information C1 gemäß Fig. 1 , in Verbindung mit der in Fig. 3 dargestellten Anzeigevorrichtung beschrieben. Auch hier soll die virtuelle Information holographisch erzeugt werden, wobei selbstverständlich auch eine stereoskopische Erzeugung möglich ist.
Ist die von der Steuereinrichtung 35 angesteuerte Beleuchtungseinrichtung 30 in einen entsprechenden AN-Zustand versetzt worden, sendet die Beleuchtungseinrichtung 30 Licht aus, das im Wesentlichen hinreichend kohärent ist und auf die Ablenkeinrichtung 32, insbesondere auf das Abtastspiegelelement 32-1 auftrifft. Die Ablenkeinrichtung 32 ist hier nun in Lichtrichtung vor dem SLM 31 angeordnet. Das Abtastspiegelelement 32-1 wurde bereits vor der Ansteuerung der Beleuchtungseinrichtung 30 von der Steuereinrichtung 35 derart angesteuert, dass es sich in eine Position bewegt hat, die für die Darstellung der geforderten virtuellen Information an einer definierten Position im Sichtfeld S eines Benutzers B, der hier durch das Auge dargestellt sein soll, erforderlich ist. Um auch in dieser Ausgestaltung der Anzeigevorrichtung festzustellen, an welche Position sich das Abtastspiegelelement 32-1 bewegen muss, damit eine virtuelle Information im Sichtfeld S auch an der richtigen Position dargestellt wird, wird für jeden Frame vor der Erzeugung der virtuellen Information mittels einer Detektionseinrichtung 36 ermittelt, welcher Bereich des Sichtfelds S mit virtueller Information, beispielsweise eine zweidimensionale oder dreidimensionales Objekt oder Szene, gefüllt werden soll und welcher Bereich im Sichtfeld S keine virtuellen Informationen sondern nur Informationen der realen Umgebung des Benutzers B aufweisen soll. Das von der Beleuchtungseinrichtung 30 ausgesandte und auf das Abtastspiegelelement 32-1 auftreffende Licht ist hier ebenfalls durch einen Pfeil dargestellt. Das vom Abtastspiegelelement 32-1 der Ablenkeinrichtung 32 entsprechend einer definierten Position im Sichtfeld S reflektierte und gerichtete Licht L1 trifft dann auf das Abbildungselement 34, das das Licht L1 kollimiert. Dieses kollimierte Licht L1 trifft nun auf den SLM 31 , wobei hierbei nur ein Teilbereich des SLM 31 beleuchtet wird. Gemäß Fig. 3 wird mittels des Lichts L1 nur ein linker Teilbereich des SLM 31 beleuchtet, wobei dieser Teilbereich der gesamte linke Bereich des SLM 31 sein kann oder aber auch nur ein Teilbereich im linken Bereich des SLM 31. Die Darstellung ist nur beispielhaft zu sehen. Zudem werden Daten der virtuellen Information an den entsprechenden Teilbereich des SLM 31 , hier der linke Teilbereich, übertragen bzw. übermittelt. Auf dem SLM 31 befindet sich somit nur in diesem Teilbereich, der beleuchtet wird, die Information für die mit dem Licht L1 darzustellende virtuelle Information im Sichtfeld S. Das auf diesen Teilbereich des SLM 31 auftreffende Licht wird mit der darzustellenden Information moduliert und trifft dann als Segment S1 auf den Kombinierer 33 auf. Der Kombinierer 33 dient nun als Abbildungselement zur Erzeugung eines Bildes des SLM 31 , hier eines Bildes des Teilbereiches des SLM 31 , und überlagert auch dieses Bild des SLM 31 als Segment S1 mit der realen Umgebung des Benutzers B. Das Bild des SLM 31 als Segment S1 wird in eine Betrachterebene 37 abgebildet, wodurch ein virtueller Sichtbarkeitsbereich 38 gebildet wird. Der virtuelle Sichtbarkeitsbereich 38 kann im Falle einer holographischen Anzeigevorrichtung ein virtuelles Betrachterfenster sein oder im Falle einer stereoskopischen Anzeigevorrichtung ein Sweet-Spot. Auf diese Weise wird die virtuelle Information an der definierten Position im Sichtfeld S dargestellt und angezeigt. Um die virtuelle Information im Sichtfeld S beobachten zu können, muss der Benutzer B sein Auge in der Betrachterebene 37 anordnen und durch den virtuellen Sichtbarkeitsbereich 38 blicken.
Zur Darstellung von weiteren virtuellen Informationen im Sichtfeld S des Benutzers B kann auf die gleiche beschriebene Art und Weise vorgegangen werden. Somit können beispielsweise durch unterschiedliche Positionen des Abtastspiegelelements 32-1 der Ablenkeinrichtung 32 unterschiedliche Richtungen von Lichtbündel L2, L3 entsprechend von geforderten Positionen der virtuellen Informationen im Sichtfeld S geschaffen werden, die dann auf verschiedene Teilbereiche des SLM 31 auftreffen. Es werden somit Bilder des SLM 31 als Segmente S2 und S3 erzeugt, an die geforderten und definierten Positionen im Sichtfeld S gerichtet und dem Benutzer B im Sichtfeld S dargestellt und angezeigt. Die Bilder des SLM 1 1 als Segmente S1 , S2 und S3 werden zeitsequentiell erzeugt und im Sichtfeld S dargestellt und angezeigt. Dies erfolgt jedoch mit einer derart hohen Frequenz, dass das Auge des Benutzers B diese aufeinanderfolgende Erzeugung der Segmente S1 , S2 und S3 nicht mit bloßem Auge erkennen kann und sie dadurch als gleichzeitig wahrnimmt.
In nachfolgenden Frames wird ebenso vorgegangen, zuerst detektiert, wo im Sichtfeld S virtuelle Informationen angezeigt werden sollen und dann diese virtuellen Informationen als Segmente zeitsequentiell erzeugt und im Sichtfeld als Überlagerung mit der realen Umgebung des Benutzers B dargestellt.
Auf diese Weise kann auch durch die Erzeugung von nur wenigen Segmenten, die die geforderte virtuelle Information aufweisen, ein großes Sichtfeld geschaffen werden.
Der Kombinierer 33 kann auch ein festes Fokussierelement, beispielsweise ein Gitterelement, aufweisen.
Auch die Anzeigevorrichtung gemäß Fig. 3 kann ein variables Fokussystem aufweisen. Das variable Fokussystem kann hierbei entsprechend des variablen Fokussystems 19 nach Fig. 2 ausgebildet sein, so dass für die Anzeigevorrichtung gemäß Fig. 3 das Gleiche gelten soll.
Die Anzeigevorrichtungen gemäß der Figuren 2 und 3 können für die folgenden Ausführungen und Ausgestaltungen gemäß den Figuren 4 bis 7 und 9 verwendet werden, in denen spezielle Vorgehensweisen eines Verfahrens zur Erzeugung von virtuellen Informationen beschrieben werden.
In Fig. 4 ist die AR-Brille gemäß Fig. 1 dargestellt, die ein Benutzer B auf dem Kopf trägt, um damit zusätzlich virtuelle Informationen zu erhalten, die in seine reale Umgebung im Sichtfeld eingeblendet und angezeigt werden können.
Wie ersichtlich ist das Sichtfeld S des Benutzers B in einzelne Rasterfelder RF unterteilt, die als eine Art Gitter angeordnet sind oder eine Gitteranordnung bilden. Die Rasterfelder RF besitzen hier alle die gleiche Form und die gleiche Größe. Sie sind in diesem Ausführungsbeispiel quadratisch ausgebildet. Selbstverständlich können die Rasterfelder RF auch eine andere Form und Größe aufweisen. Zudem kann die Größe und Form der Rasterfelder über das Sichtfeld S variieren. Um nun die virtuellen Informationen C1 , C2 und C3 mit der Anzeigevorrichtung zu erzeugen, mit der realen Umgebung des Sichtfelds zu überlagern und dem Benutzer B anzuzeigen, wird das Sichtfeld S mit den Rasterfeldern RF abgetastet oder abgerastert und mittels der Detektionseinrichtung ermittelt, wo im Sichtfeld die für den Benutzer B nützlichen virtuellen Informationen C1 , C2 und C3 dargestellt werden sollen bzw. anzuzeigen sind. Das heißt, es wird geprüft und ermittelt, in welchen Rasterfeldern RF des Sichtfelds S die virtuellen Informationen C1 , C2 und C3 darzustellen sind. Denn nur diese Rasterfelder RF des Sichtfeldes S müssen mit entsprechenden virtuellen Informationen gefüllt werden, die den dort vorliegenden realen Information überlagert werden. Die Abtastung oder Abrasterung des Sichtfelds kann zeilenweise oder spaltenweise Rasterfeld per Rasterfeld erfolgen.
Die Erzeugung und Darstellung einer virtuellen Information, beispielsweise der virtuellen Information C1 gemäß Fig. 1 , erfolgt nun folgendermaßen. Zur Erläuterung der Vorgehensweise wird von einer zeilenweisen Abrasterung des Sichtfelds ausgegangen, wobei selbstverständlich auch spaltenweise vorgegangen werden kann. Für jeden Frame wird nun jedes Rasterfeld RF des Sichtfelds S nacheinander zeilenweise mittels schrittweisen Bewegens des Abtastspiegelelements der Ablenkeinrichtung mit einer definierten Schrittbreite angefahren und nur dem Rasterfeld ein Bild des SLM als Segment zugeordnet, in dem auch eine virtuelle Information dargestellt werden soll. Das bedeutet nun hinsichtlich der Darstellung der virtuellen Information C1 , dass das Rasterfeld RF1 im Sichtfeld mittels des Abtastspiegelelements angefahren wird, wobei durch die vorher durchführte Abrasterung des gesamten Sichtfelds und Ermittlung, in welchen Rasterfeldern eine virtuelle Information dazustellen ist, bekannt ist, dass in diesem Rasterfeld RF1 eine virtuelle Information darzustellen ist. Aufgrund dieser Ermittlung wird das sich bewegende Abtastspiegelelement mittels der Steuereinrichtung in einen Stopp-Zustand versetzt, so dass ebenfalls mittels der Steuereinrichtung die Beleuchtungseinrichtung angesteuert und in einen AN-Zustand gebracht wird, woraufhin in Verbindung mit dem SLM und dem Kombinierer und dem wenigstens einem Abbildungselement des optischen Systems, ein Bild des SLM als Segment erzeugt und dem Rasterfeld RF1 zugeordnet wird. Dadurch wird ein Teil der virtuellen Information C1 angezeigt. Nun steuert die Steuereinrichtung das Abtastspiegelelement und die Beleuchtungseinrichtung erneut an, so dass das Abtastspiegelelement in einen AN-Zustand und die Beleuchtungseinrichtung in einen AUS-Zustand versetzt wird. Das Abtastspiegelelement bewegt sich nun eine definierte Schrittbreite weiter, so dass ein Rasterfeld RF2 angefahren wird, von dem ebenfalls ermittelt wurde, dass dieses Rasterfeld RF2 zur Darstellung der virtuellen Information C1 beiträgt. Die Steuereinrichtung steuert nun das Abtastspiegelelement und die Beleuchtungseinrichtung erneut entsprechend an, so das Abtastspiegelelement in den Stopp-Zustand und die Beleuchtungseinrichtung in den AN-Zustand versetzt werden. Danach wird ein dem darzustellenden virtuellen Informationsteil entsprechendes Bild des SLM als Segment mittels des SLM, dem Kombinierer und dem wenigstens einen Abbildungselement des optischen Systems erzeugt und dem Rasterfeld RF2 zugeordnet, so dass dort die entsprechende virtuelle Information angezeigt wird. Die beiden nachfolgenden Rasterfelder RF3 und RF4 werden entsprechend dem zuvor Offenbarten mit dem Abtastspiegelelement angefahren und jeweils ein Bild des SLM als Segment, das die virtuelle Information trägt, erzeugt. Diese beiden Bilder des SLM als Segmente sind dann den beiden Rasterfeldern RF3 und RF4 zugeordnet, wie in Fig. 5 ersichtlich ist. Das Abtastspiegelelement wird dann weiter schrittweise mit einer definierten Schrittbreite entlang dieser oberen Zeile des Rastergitters bewegt und jeweils in einen Stopp-Zustand und AN-Zustand bei der Abtastung der weiteren Rasterfelder bewegt. Da für die weiteren Rasterfelder RF5 bis RF15 dieser Zeile ermittelt wurde, dass für diese Rasterfelder keine virtuellen Informationen vorzusehen und anzuzeigen sind, wird die Steuereinrichtung die Beleuchtungseinrichtung nicht ansteuern, so dass für diese Rasterfelder RF5 bis RF15 die Beleuchtungseinrichtung in einem AUS-Zustand bleibt und keine Bilder des SLM als Segmente erzeugt werden. Danach wird mittels des Abtastspiegelelement die zweite Zeile des Rastergitters angefahren, wobei gemäß Fig. 5 für das erste Rasterfeld RF16 kein Bild des SLM als Segment erzeugt wird, da in diesem Rasterfeld keine virtuelle Information anzuzeigen ist. Für die folgenden Rasterfelder RF17 bis RF26 wird wie oben erläutert jeweils das Rasterfeld mittels des Abtastspiegelelements angefahren und ein entsprechendes Bild des SLM als Segment erzeugt und dieses Segment dem entsprechenden Rasterfeld zugeordnet, so dass in den Rasterfeldern eine virtuelle Information angezeigt werden kann. Auf die gleiche Weise wird nacheinander jedes Rasterfeld des Rastergitters mittels des Abtastspiegelelements angefahren und für die weiteren Rasterfelder RF35 und RF48 bis RF51 und RF63, RF64 jeweils ein Bild des SLM als Segment erzeugt und dem zugehörigen Rasterfeld zugeordnet und angezeigt. Somit tragen die Rasterfelder RF1 , RF2, RF3, RF4, RF17, RF18 und RF19 zur Darstellung der virtuelle Information C1 bei. Die Rasterfelder RF20 bis RF26 und RF35 tragen zur Darstellung der virtuellen Information C2 und die Rasterfelder RF48 bis RF51 und RF63, RF64 zur Darstellung der virtuellen Information C3 bei. Hierbei wird für jeden Frame wie oben beschrieben vorgegangen. Die Erzeugung und Darstellung der einzelnen Bilder des SLM als Segmente erfolgt zeitsequentiell.
Das Verfahren wurde bei einer schrittweisen Bewegung des Abtastspiegelelement beschrieben. Jedoch ist es auch möglich, dass das Abtastspiegelelement eine kontinuierliche Bewegung vollzieht. Die Fig. 7 beschreibt dies später im Detail.
Ferner kann auch leicht abgewandelt vorgegangen werden. Auch hier wird das Sichtfeld zuerst in Rasterfelder RF auf Art eines Gitters unterteilt, die dann abgetastet oder abgerastert werden und mittels der Detektionseinrichtung ermittelt wird, wo im Sichtfeld die für den Benutzer B nützlichen virtuellen Informationen C1 , C2 und C3 dargestellt werden sollen bzw. anzuzeigen sind. Das heißt, es wird geprüft und ermittelt, in welchen Rasterfeldern RF des Sichtfelds S die virtuellen Informationen C1 , C2 und C3 darzustellen sind. Denn nur diese Rasterfelder RF des Sichtfeldes S müssen mit entsprechenden virtuellen Informationen gefüllt werden, die den dort vorliegenden realen Information überlagert werden. Die Abtastung oder Abrasterung des Sichtfelds kann auch bei dieser Vorgehensweise zeilenweise oder spaltenweise Rasterfeld per Rasterfeld erfolgen. Nun werden aber nicht alle Rasterfelder RF des Rastergitters wie im vorhergehenden Ausführungsbeispiel gemäß der Fig. 5 nacheinander zeilenweise oder spaltenweise mittels des Abtastspiegelelements angefahren, sondern nur die Rasterfelder RF, in denen die virtuellen Informationen C1 , C2 und C3 dargestellt und angezeigt werden sollen bzw. die zur Darstellung der virtuellen Information C1 , C2, C3 betragen sollen. Denn nur für diese Rasterfelder RF muss jeweils die Steuereinrichtung das Abtastspiegelelement und die Beleuchtungseinrichtung entsprechend derart ansteuern, dass ein Bild des SLM als Segment erzeugt und dargestellt werden kann. Diese Vorgehensweise könnte effizienter in der Erzeugung und Darstellung der virtuellen Information sein.
In Fig. 6 ist ein weiteres Ausführungsbeispiel zur Vorgehensweise bei der Erzeugung und Darstellung von virtuellen Informationen gezeigt. Hierbei erfolgt die Positionierung der Bilder des SLM als Segmente zur Darstellung der virtuellen Informationen nicht auf einem Rastergitter oder einem festen Rastergitter, wie in den Ausführungsbeispielen gemäß der Fig. 4 und 5 erläutert, sondern ist im Sichtfeld des Benutzers B der Anzeigevorrichtung frei wählbar. Auf diese Weise ist es möglich, die Anzahl der Bilder des SLM als Segmente zur Darstellung der gleichen virtuellen Information C1 , C2 und C3 bzw. des gleichen Inhalts wie in den Figuren 4 und 5 zu verringern. Das bedeutet, die virtuellen Informationen C1 , C2 und C3 können in Fig. 6 mit einer geringeren Anzahl an Bildern des SLM als Segmente erzeugt werden, nämlich mit nur 17 Bildern des SLM als Segmente anstatt von 21 Bildern des SLM als Segmente gemäß Fig. 5. Die Bilder des SLM als Segmente für die jeweilige virtuelle Information C1 , C2 oder C3 werden für jeden Frame somit nur an denjenigen Positionen im Sichtfeld erzeugt, an denen auch die Information nötig ist. Hierfür werden die Bilder des SLM als Segmente derart erzeugt, dass die virtuelle Information als Objekt möglichst das gesamte Bild des SLM einnimmt, wenn das Objekt in seiner Ausdehnung größer als das Bild des SLM ist, oder die virtuelle Information als Objekt vollständig im Bild des SLM vorgesehen ist, wenn das Objekt in seiner Ausdehnung kleiner als das Bild des SLM ist. Beispielsweise kann der Mittelpunkt des Objekts mit dem Mittelpunkt des Bildes des SLM als Segment zusammenfallen. Dadurch kann erreicht werden, dass mit nur einer minimalen Anzahl an Bildern des SLM als Segmente die geforderte virtuelle Information dargestellt werden kann. Beispielsweise wird die virtuelle Information C1 wie folgt erzeugt und im Sichtfeld dargestellt. Mittels der Detektionseinrichtung wird ermittelt, an welcher Position im Sichtfeld die virtuelle Information C1 dargestellt und angezeigt werden soll. Daraufhin wird ermittelt, mit welcher Anzahl an Bildern des SLM als Segmente die darzustellende Information C1 mit möglichst wenigen Bildern oder sogar nur mit einem Bild des SLM als Segment erzeugt werden muss und dargestellt werden kann. Ist eine geeignete Anzahl und auch die geforderte Position des jeweiligen Bildes des SLM als Segment im Sichtfeld S ermittelt, wird das Abtastspiegelelement der Ablenkeinrichtung mittels der Steuereinrichtung an die betreffende Position für ein Bild des SLM als Segment im Sichtfeld S bewegt und dann in einen Stopp-Zustand gehalten. Vorzugsweise bereits während der Bewegung des Abtastspiegelelements und/oder während des Haltens des Stopp-Zustands des Abtastspiegelelements werden Daten der darzustellenden virtuellen Information in diesem Segment an den SLM übertragen oder vom SLM selbst erzeugt und auf diesem kodiert. Nach Abschluss der Übertragung oder Erzeugung der Daten für dieses Segment auf den oder vom SLM und während des Haltens des Stopp- Zustands des Abtastspiegelelements steuert dann die Steuereinrichtung die Beleuchtungseinrichtung an, so dass diese in den AN-Zustand geschalten wird, woraufhin Daten der darzustellenden virtuellen Information in diesem Segment derart dargestellt werden, dass die virtuelle Information als Gesamtinformation oder als Teilinformation vollständig im Bild des SLM gelegen ist, so dass nur wenige Bilder des SLM als Segmente benötigt werden, um die virtuelle Information im Sichtfeld S darzustellen. Die Beleuchtungseinrichtung beleuchtet nun den SLM, um das Licht entsprechend der virtuellen Information zu modulieren und in Verbindung mit dem Kombinierer und dem optischen System ein Bild des SLM als Segment BS1 zu erzeugen und dies mittels des Abtastspiegelelements an die ermittelte Position im Sichtfeld S zu richten. Danach wird zur Darstellung der virtuellen Information C1 ein weiteres Bild des SLM als Segment BS2 auf die gleiche Weise erzeugt und dargestellt. Diese Vorgehensweise erfolgt solange bis die virtuelle Information C1 vollständig im Sichtfeld S für den Benutzer angezeigt wird. Die Erzeugung und Darstellung der Bilder des SLM als Segmente erfolgt somit auch in diesem Ausführungsbeispiel zeitsequentiell. Wie in Fig. 6 ersichtlich ist, können sich die einzelnen Bilder des SLM als Segmente auch überlappen, um die virtuelle Information C1 gemäß Fig. 1 darzustellen. Die Erzeugung und Darstellung der virtuellen Informationen C2 und C3 erfolgt auf die gleiche Weise wie die Erzeugung und Darstellung der virtuellen Information C1.
Damit eine weitere virtuelle Information, z.B. die virtuelle Information C2 oder C3 aus Fig. 1 gleich anschließend an die Erzeugung und Darstellung der virtuellen Information C1 im selben Frame ermöglicht wird, so dass das Auge des Benutzers die zeitsequentielle Darstellung der virtuellen Informationen nicht als eine Nacheinandererzeugung wahrnimmt sondern als im Wesentlichen gleichzeitig, kann das Abtastspiegelelement mit einer höheren Geschwindigkeit von der Position des Bildes des SLM als Segment BS6 an beispielsweise eine Position für das noch zu erzeugende Bild des SLM als Segment BS7 für die virtuelle Information C2 bewegt werden, um die vorliegende Lücke zwischen diesen beiden Segmenten BS6 und BS7 schneller zu überfahren. Die Geschwindigkeit der Bewegung des Abtastspiegelelements sollte dabei höher sein, als bei dem Anfahren der jeweiligen Position für das Bild des SLM als Segment für die virtuelle Information C1. Danach kann das Anfahren der jeweiligen Positionen der noch zu erzeugenden und darzustellenden Bilder des SLM als Segmente für die virtuelle Information C2 im Sichtfeld S mit einer geringeren Geschwindigkeit der Bewegung des Abtastspiegelelements erfolgen, ähnlich der Geschwindigkeit wie bei der Darstellung der virtuellen Information C1. Die Erzeugung und Darstellung der jeweiligen Bilder des SLM als Segmente für die virtuelle Information C2 erfolgt auf die gleiche Weise wie zur Erzeugung und Darstellung der virtuellen Information C1. Für die Darstellung der virtuellen Information C3 kann ebenso vorgegangen werden. Auch hier kann der Übergang von dem letzten erzeugten Bild des SLM als Segment BS 13 für die virtuelle Information C2 zum noch zu erzeugenden Bild des SLM als Segment BS 14 der virtuellen Information C3 mit einer höheren Geschwindigkeit der Bewegung des Abtastspiegelelements erfolgen, um die große Lücke zeitlich schneller zu überfahren. Diese Reihenfolge des Anfahrens von Positionen und der Erzeugung von Bildern des SLM als Segmente im Sichtfeld S soll nur beispielhaft sein. Selbstverständlich ist auch eine andere Reihenfolge möglich. Beispielsweise könnte nach dem letzten Bild des SLM als Segment BS13 auch das noch zu erzeugende Bild des SLM als Segment BS17 erzeugt und dargestellt werden, da die Lücke zwischen beiden Segmenten BS13 und BS17 nicht so groß wie zwischen den Segmenten BS13 und BS14 ist und somit diese Position des Segments BS17 schneller angefahren werden kann.
Wie in Fig. 6 zu sehen ist, werden die Bilder des SLM als Segmente frei im Sichtfeld dargestellt, können sich überlappen und können auch unterschiedliche Formen und/oder Größen aufweisen.
In den Figuren 4 bis 6 wurde die Erzeugung und Darstellung von virtueller Information mit Hilfe eines schrittweisen Bewegens des Abtastspiegelelements mit einer definierten Schrittbreite beschrieben. Es ist jedoch auch möglich, das schrittweise Bewegen des Abtastspiegelelements in diesen Ausführungsbeispielen der Figuren 4 bis 6 durch ein kontinuierliches Bewegen des Abtastspiegelelements zu ersetzen und auf diese Weise ein Bild des SLM als Segment im Sichtfeld darzustellen.
Eine derartige Ablenkeinrichtung, die ein kontinuierliches Bewegen eines Abtastspiegelelements vorsieht, ist in Fig. 7 dargestellt. In den Darstellungen a), b) und c) der Fig. 7 ist die Erzeugung von zwei Bildern des SLM als Segmente dargestellt. Eine Ablenkeinrichtung 50 weist ein Abtastspiegelelement 51 und ein Kompensationsspiegelelement 52 auf. Das Abtastspiegelelement 51 ist das Element der Ablenkeinrichtung 50, das eine kontinuierliche Bewegung durchführt. Das Kompensationsspiegelelement 52 ist ebenfalls beweglich gelagert. Das Abtastspiegelelement
51 und das Kompensationsspiegelelement 52 sind unter einem Winkel zueinander angeordnet, wie in Fig. 7 ersichtlich ist. In der Darstellung (a) der Fig. 7 beträgt dieser Wnkel ungefähr 90 Grad. Das Abtastspiegelelement 51 wie auch das Kompensationsspiegelelement
52 werden von einer Steuereinrichtung 53 angesteuert, die ebenfalls auch eine nicht dargestellte Beleuchtungseinrichtung und gegebenenfalls auch einen SLM ansteuert.
In der Darstellung a) der Fig. 7 ist die Erzeugung eines ersten Bildes des SLM als Segment BS1 gezeigt. Hierzu bilden im Moment der Erzeugung des Bildes des SLM als Segment BS1 an einer vorher definierten Position im Sichtfeld des Benutzers beide Spiegelelemente 51 und
52 zueinander einen definierten Wnkel, wobei das Kompensationsspiegelelement 52 fest bleibt, d.h. nicht in Bewegung ist. Das Abtastspiegelelement 51 hingegen bewegt sich kontinuierlich weiter. Das auf die Ablenkeinrichtung 50 auftreffende Licht L trifft somit zuerst auf das Abtastspiegelelement 51 auf und wird von diesem entsprechend seiner Ausrichtung in Richtung des Kompensationsspiegelelements 52 reflektiert. Das auf das Kompensationsspiegelelement 52 auftreffende Licht wird ebenfalls von diesem entsprechend seiner Ausrichtung reflektiert, trifft auf den Kombinierer und wird dann an eine entsprechende Position im Sichtfeld des Benutzers gerichtet. Diese Ausführung der Ablenkeinrichtung 50 könnte beispielsweise dann Vorkommen, wenn im Sichtfeld ein erstes Bild des SLM als Segment an einer definierten Position erzeugt wird, so dass in dem Moment bei einer ersten Ansteuerung des Abtastspiegelelements 51 durch die Steuereinrichtung 53 für eine kontinuierliche Bewegung auch bereits die Beleuchtungseinrichtung mittels der Steuereinrichtung 53 angesteuert wird und Licht aussendet, um eben an dieser ersten Position des Abtastspiegelelements im Sichtfeld ein Bild des SLM als Segment für eine virtuelle Information zu erzeugen und darzustellen.
In der Darstellung b) der Fig. 7 ist gezeigt, dass sich das Abtastspiegelelement 51 entlang des dargestellten Pfeils von der gestrichelten Position weiter an eine andere Position, die durch die durchgezogene Linie dargestellt sein soll, durch Ansteuerung mittels der Steuereinrichtung
53 gedreht bzw. bewegt hat. Das Kompensationsspiegelelement 52 wird dabei in der gleichen Richtung um den gleichen Betrag wie das Abtastspiegelelement 51 mitgedreht, so dass an dem Zeitpunkt, an dem die Beleuchtungseinrichtung von der Steuereinrichtung 53 der Anzeigevorrichtung angesteuert und in einen AN-Zustand versetzt wird, der SLM beleuchtet und das Bild des SLM als Segment an derselben Position im Sichtfeld erzeugt und dargestellt wird wie in der Darstellung a). Somit wird an derselben Position im Sichtfeld das Bild des SLM als Segment BS1 angezeigt. Das bedeutet, es kann weiterhin bei einer kontinuierlichen Bewegung des Abtastspiegelelements 51 ein Bild des SLM als Segment an derselben Position wie in der Darstellung a) erzeugt und angezeigt werden. Das Kompensationsspiegelelement 52 kompensiert somit die Bewegung des Abtastspiegelelements 51. Die gestrichelten Linien und Pfeile sollen den auftreffenden Lichtstrahl auf die beiden Spiegelelemente 51 und 52 gemäß der Darstellung a) zeigen, wobei die durchgezogenen Linien und Pfeile den auftreffenden, versetzten Lichtstrahl dazu verdeutlichen sollen.
In der Darstellung c) der Fig. 7 ist das Abtastspiegelelement 51 kontinuierlich durch Ansteuerung mit der Steuereinrichtung 53 weiterbewegt worden. Jedoch ist das Kompensationsspiegelelement 52 mittels der Steuereinrichtung 53 entgegengesetzt gedreht bzw. bewegt worden, so dass sich dieses nun von der gestrichelten Position in die durchgezogene Linienposition begeben hat. Auf diese Weise wird ein Bild des SLM als Segment BS2 an einer anderen Position als das Bild des SLM als Segment BS1 im Sichtfeld erzeugt und dargestellt.
Der Vorteil einer derartigen Anordnung von Abtastspiegelelement und Kompensationsspiegelelement in der Ablenkeinrichtung liegt darin, dass kontinuierlich scannende bzw. bewegende Spiegelelemente häufig in ihrer Bewegungsgeschwindigkeit schneller sind als Spiegelelemente, die sich schrittweise von Punkt zu Punkt bewegen und dann gestoppt werden. In dem Ausführungsbeispiel gemäß Fig. 7 könnte zwischen den in den Darstellungen a) und b) gezeigten Zuständen der Spiegelelemente 51 und 52, auch während die Spiegelelemente 51 und/oder 52 sich weiterbewegen bzw. weiterdrehen, die gesamte Zeit lang das Bild des SLM als Segment BS1 angezeigt werden. Zwischen den Darstellungen b) und c) der Fig. 7, wenn das Kompensationsspiegelelement 52 in seinen Ausgangszustand bewegt wird, wird solange kein Bild des SLM als Segment erzeugt bis die geforderte neue Position des Kompensationsspiegelelements 52 erreicht wird. Bei der Bewegung des Kompensationsspiegelelements 52 in seinen Ausgangszustand ist die Beleuchtungseinrichtung ausgeschaltet bzw. befindet sich im AUS-Zustand. Erst, wenn das Kompensationsspiegelelement 52 seine neue geforderte Position erreicht hat, wird die Beleuchtungseinrichtung wieder mittels der Steuereinrichtung 53 in den AN-Zustand versetzt. Danach könnten beide Spiegelelemente 51 und 52 oder auch nur einer der beiden sich weiterbewegen und ein anderes oder weiteres Bild des SLM als Segment erzeugt und im Sichtfeld dem Benutzer angezeigt werden.
Eine allgemeine Erzeugung von Informationen in Verbindung mit einer Einkopplung von Licht in einen Lichtleiter nach dem Stand der Technik ist in Fig. 8 dargestellt. Hierbei wird ein SLM 60 verwendet, der eine relativ große Anzahl an Pixeln aufweist und somit eine HD (high definition)-TV-Auflösung oder höher aufweist. Mittels eines im Strahlengang zwischen dem SLM 60 und einem Lichtleiter 61 angeordneten Abbildungselements 62, beispielsweise einem Linsenelement, wird ein Einkoppelwinkelspektrum 63 des von dem SLM 60 modulierten und ausgehenden Lichts erzeugt, derart, dass die von den einzelnen Pixeln des SLM 60 ausgehenden Lichtstrahlen unter im Mittel unterschiedlichen Winkeln relativ zur Oberfläche des Lichtleiters 61 auf den Lichtleiter 61 auftreffen. Dieses Einkoppelwinkelspektrum 63 trifft auf den Lichtleiter 61 und wird mittels einer Spiegelfläche 64 in den Lichtleiter 61 eingekoppelt. Die Spiegelfläche 64 ist innerhalb des Lichtleiters 61 unter einem definierten Wnkel fest angeordnet. Die Lichtstrahlen, die auf die Spiegelfläche 64 auftreffen, werden von dieser reflektiert und propagieren unter Totalreflexion im Lichtleiter 61. Mittels einer Auskopplungseinrichtung 65, die entsprechende Auskopplungselemente, zum Beispiel Auskoppelgitterelemente, aufweist, kann das Licht aus dem Lichtleiter 61 in Richtung eines Auges eines Benutzers B ausgekoppelt werden, wodurch ein Auskoppelwinkelspektrum 66 definierbar ist. Es wird ein Bild des SLM 60 in eine Betrachterebene 67 abgebildet, um dort einen virtuellen Sichtbarkeitsbereich 68 zu erzeugen.
Weitere Möglichkeiten der Propagation von Licht in einem Lichtleiter und einer Auskopplung von Licht aus diesem sind beispielsweise in der WO 2019/012028 A1 beschrieben, wobei die Offenbarung der WO 2019/012028 A1 hier vollumfänglich mit aufgenommen sein soll. In diesem Dokument wird ein Lichtleiter beschrieben, der derart ausgebildet ist, dass die Auskopplung nach einer festen Anzahl von Reflexionen im Lichtleiter erfolgt und dass das Auskoppelwinkelspektrum im Vergleich zum Einkoppelwinkelspektrum vergrößert ist. Das ausgekoppelte Licht propagiert weiter zu einem Sichtbarkeitsbereich und das Auskoppelwinkelspektrum entspricht dem Sichtfeld.- Jedoch sollen die Propagation und Auskopplung von Licht nicht auf diese Möglichkeiten beschränkt sein.
Fig. 9 zeigt hingegen die Erzeugung von Bildern des SLM als Segmente mittels einer erfindungsgemäßen Anzeigevorrichtung. Auch diese Anzeigevorrichtung der Fig. 9 kann insbesondere als eine AR-Anzeigevorrichtung ausgebildet sein, wie beispielsweise ein AR- Head-Mounted-Display oder auch ein AR-Head-Up-Display. Diese Anzeigevorrichtung kann wie auch die Anzeigevorrichtungen der Figuren 2 bis 7 die virtuellen Informationen holographisch oder stereoskopisch erzeugen und im Sichtfeld eines Benutzers darstellen.
Die Darstellung a) zeigt die Anzeigevorrichtung bei einer Erzeugung eines ersten Bildes eines SLM als Segment und die Darstellung b) der Fig. 9 zeigt eine Erzeugung eines zweiten Bildes eines SLM als Segment. Die Anzeigevorrichtung der Fig. 9 weist eine Beleuchtungseinrichtung 70, einen SLM 71 , einen Kombinierer 72, eine Ablenkeinrichtung 73 und wenigstens ein Abbildungselement 74 eines optischen Systems auf. Der SLM 71 weist hier nun im Gegensatz zu Fig. 8 eine relativ geringe Anzahl an Pixeln, z.B. kleiner als 1000 Pixel in eine Richtung, auf. Die Ablenkeinrichtung 73 weist hier zur Ablenkung des auftreffenden Lichts ein Abtastspiegelelement 73-1 auf, das beweglich und somit rotierbar gelagert ist. Das Abtastspiegelelement 73-1 ist in der Nähe einer Lichteinkopplungsfläche des Kombinierer 72 angeordnet, damit eine Einkopplung mit hoher Genauigkeit erfolgen kann. Das optische System der Anzeigevorrichtung soll hier durch das Abbildungselement 74, dem Kombinierer 72 und der Ablenkeinrichtung 73 dargestellt sein, wobei selbstverständlich auch mehrere Abbildungselemente oder andere optische Elemente vorgesehen sein können. Das Abbildungselement 74 ist zwischen dem SLM 71 und der Ablenkeinrichtung 73 im Strahlengang vorgesehen. Der Kombinierer 72 ist in diesem Ausführungsbeispiel als Lichtleiter ausgebildet, der eben bzw. flach oder auch gekrümmt ausgeführt sein kann. Ferner ist eine Steuereinrichtung 75 vorgesehen, die mit der Beleuchtungseinrichtung 70 und der Ablenkeinrichtung 73, insbesondere dem Abtastspiegelelement 73-1 gekoppelt ist. Sie kann auch zusätzlich mit dem SLM 71 gekoppelt sein, wobei der SLM 71 selbst auch über eine eigene Steuereinrichtung betrieben werden kann.
Befindet sich nun die Beleuchtungseinrichtung 70 in einem AN-Zustand durch eine Ansteuerung mittels der Steuereinrichtung 75 wird von dieser Licht auf den SLM 71 gesendet, dieses Licht vom SLM 71 moduliert und trifft über das Abbildungselement 74 auf die Ablenkeinrichtung 73. Wie in beiden Darstellungen a) und b) der Fig. 9 ersichtlich, erzeugt das Abbildungselement 74 ein Einkoppelwinkelspektrum des Lichts, das in seiner Ausdehnung kleiner als das Einkoppelwinkelspektrum des Lichts gemäß Fig. 8 ist. Dieses Einkoppelwinkelspektrum wird dann in den als Lichtleiter ausgebildeten Kombinierer 72 eingekoppelt, beispielsweise mittels einer Einkopplungseinrichtung, die z.B. ein Spiegelelement oder auch wenigstens ein Gitterelement, beispielsweise ein Volumengitter, aufweisen kann. Die Auskopplung des Lichts aus dem Kombinierer 72 kann über eine Auskopplungseinrichtung 77 erfolgen, die wenigstens ein Auskoppelelement, z.B. ein Auskoppelgitterelement, wie ein Volumengitter, aufweist, so dass das ausgekoppelte Licht in Richtung eines Benutzers B in eine Betrachterebene 78 gerichtet wird und dort einen virtuellen Sichtbarkeitsbereich 79 bildet, durch den der Benutzer B dann die erzeugte virtuelle Information(en) im Sichtfeld betrachten kann.
In der Darstellung a) der Fig. 9 wird ein erstes Bild des SLM 71 als Segment, das eine virtuelle Information aufweist, im Sichtfeld erzeugt und dargestellt. Hierzu wird mittels einer Detektionseinrichtung ermittelt, wo im Sichtfeld eine virtuelle Information dargestellt werden soll. Ist dies bekannt, steuert die Steuereinrichtung 75 das Abtastspiegelelement 73-1 an, um es in eine definierte Position zu bewegen, die erforderlich ist, um zumindest einen Teil der virtuellen Information darzustellen. Zudem versetzt die Steuereinrichtung 75 die Beleuchtungseinrichtung 70 in einen AN-Zustand, so dass der SLM 71 mit Licht beleuchtet wird, wobei an den SLM 71 Daten zur Darstellung der virtuellen Information übertragen werden. Das auf den SLM 71 auftreffende Licht wird entsprechend der virtuellen Information von diesem moduliert und fällt auf das Abbildungselement 74, wodurch ein Bild des SLM 71 auf dem Abtastspiegelelement 73-1 , das in der Fourier-Ebene des SLM 71 angeordnet ist, erzeugt wird. Ein mit der Abbildung des SLM 71 mittels des Abbildungselements 74 erzeugte Winkelspektrum des Lichts 76 wird mittels des Abtastspiegelelements 73-1 in den als Lichtleiter ausgebildeten Kombinierer 72 unter einem ersten Zentralwinkel a eingekoppelt und propagiert weiter im Kombinierer 72 unter Totalreflexion. Trifft das im Kombinierer 72 propagierende Licht nun unter einem definierten Wnkel auf die Auskopplungseinrichtung 77 auf, wird dieses aus dem Kombinierer 72 ausgekoppelt und das Bild des SLM 71 als Segment in die Betrachterebene 78, in der ein virtueller Sichtbarkeitsbereich 79 gebildet wird, gerichtet. Auf diese Weise wird an einer definierten Position im Sichtfeld ein erstes Bild des SLM 71 als Segment in Form einer virtuellen Information erzeugt und dargestellt.
In der Darstellung b) der Fig. 9 wird ein zweites Bild des SLM 71 als Segment an einer zweiten, von der ersten definierten Position verschiedenen definierten Position im Sichtfeld des Benutzers B erzeugt und dargestellt. We ersichtlich, wurde dafür das Abtastspiegelelement 73-1 durch die Steuereinrichtung 75 an eine andere Position bewegt bzw. gedreht, d.h. von der gepunktet dargestellten Position in die Position mit der durchgezogenen Linie entlang des Pfeils. Dadurch wird der Zentralwinkel des Lichtbündels, das in den Kombinierer 72 eingekoppelt wird, geändert. Das mit der Abbildung des SLM 71 erzeugte Wnkelspektrum des Lichts 76 mit dann mittels des Abtastspiegelelements 73-1 unter einem anderen Zentralwinkel, d.h. dem Zentralwinkel ß, den das um einen definierten Winkel rotierte Abtastspiegelelement 73-1 vorgibt, in den Kombinierer 72 eingekoppelt. Das nun im Kombinierer 72 unter unterschiedlichen Wnkeln im Vergleich zur Darstellung a) propagierende Licht kann jedoch auf die gleiche Weise ausgekoppelt werden wie zur Darstellung a) beschrieben. Hiermit wird ein zweites Bild des SLM 71 als Segment an einer zum ersten Bild des SLM 71 als Segment unterschiedlichen Position im Sichtfeld zum Anzeigen einer weiteren virtuellen Information erzeugt und dargestellt.
In der Fig. 9 ist jedoch aus Übersichtlichkeitsgründen nur die Erzeugung und Darstellung von zwei Bildern des SLM 71 als Segmente gezeigt, wobei beide Bilder des SLM 71 als Segmente zeitsequentiell erzeugt werden. Es können jedoch auf die gleiche Weise weitere Bilder des SLM 71 als Segmente im Sichtfeld erzeugt und dargestellt werden, wie beispielsweise 5 oder 10 Bilder des SLM 71 als Segmente oder sogar noch mehr, wenn erforderlich. Hierfür wird das Abtastspiegelelement 73-1 mittels der Steuereinrichtung 75 um weitere definierte Schrittbreiten gedreht, um die Bilder des SLM 71 als Segmente im Sichtfeld an der jeweiligen definierten Position darzustellen. Zur Erläuterung der Vorgehensweise in Fig. 9 wurde eine schrittweise Bewegung des Abtastspiegelelements 73-1 angenommen. Selbstverständlich kann die Ablenkeinrichtung 73 der Fig. 9 auch gemäß Fig. 7 ausgebildet sein, wodurch eine kontinuierliche Bewegung des Abtastspiegelelements vorgesehen ist.
Bei einem Vergleich der Fig. 9 mit der Fig. 8 ist ersichtlich, dass das Gesamtwinkelspektrum des Lichts, das durch eine Kombination des Winkelspektrums für das erste Bild des SLM 71 als Segment und das zweite Bild des SLM 71 als Segment erreicht wird und das in den Kombinierer 72 eingekoppelt wird, das gleiche Wnkelspektrum des Lichts ist, das gemäß Fig. 8 in den Lichtleiter 61 eingekoppelt wird. Somit wird auch in Fig. 9 in der Größe das gleiche
Sichtfeld erzeugt wie in Fig. 8.
Die Erfindung soll nicht auf die hier dargestellten Ausführungsbeispiele beschränkt sein. Es sind zudem weitere Ausführungsformen bzw. Ausführungsbeispiele möglich. Abschließend sei noch ganz besonders darauf hingewiesen, dass die vorstehend beschriebenen Ausführungsbeispiele lediglich zur Beschreibung der beanspruchten Lehre dienen, sich diese jedoch nicht auf die Ausführungsbeispiele beschränken soll.

Claims

Patentansprüche
1. Anzeigevorrichtung mit:
- einer Beleuchtungseinrichtung zum Aussenden von Licht,
- einer räumlichen Lichtmodulationseinrichtung zum Modulieren von auftreffendem Licht,
- einem optischen System zum Erzeugen wenigstens eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment, wobei das optische System eine Ablenkeinrichtung zum Richten des Bildes der räumlichen Lichtmodulationseinrichtung an eine definierte Position im Sichtfeld eines Benutzers aufweist, und
- einer Steuereinrichtung, die mit der Beleuchtungseinrichtung und der Ablenkeinrichtung gekoppelt und zur Schaltung der Beleuchtungseinrichtung in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung ausgebildet ist.
2. Anzeigevorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass das optische System zur Erzeugung von wenigstens zwei Bildern der räumlichen Lichtmodulationseinrichtung und entsprechend der Anzahl der Bilder der räumlichen Lichtmodulationseinrichtung zur Erzeugung von virtuellen Sichtbarkeitsbereichen vorgesehen ist, wobei die wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld vorliegen.
3. Anzeigevorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld miteinander kombiniert sind und/oder sich einander teilweise überlappen oder über eine Lücke voneinander beabstandet sind.
4. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl der Bilder der räumlichen Lichtmodulationseinrichtung als Segmente in jedem Frame zwischen einem minimalen Wert und einem maximalen Wert unterschiedlich einstellbar ist und die Position der Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld in jedem Frame unterschiedlich einstellbar ist.
5. Anzeigevorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die Bestimmung der Anzahl und der Position der Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld von einer realen Umgebung eines Benutzers abhängig ist.
6. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung eine Abbildung der gesamten räumlichen Lichtmodulationseinrichtung oder eine Abbildung nur eines Teilbereichs der räumlichen Lichtmodulationseinrichtung ist.
7. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ablenkeinrichtung wenigstens ein Abtastspiegelelement, das beweglich gelagert ist, und/oder wenigstens ein Gitterelement aufweist.
8. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das optische System wenigstens einen Kombinierer zur Überlagerung von realen Informationen mit virtuellen Informationen im Sichtfeld aufweist.
9. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ablenkeinrichtung zwischen der räumlichen Lichtmodulationseinrichtung und dem Kombinierer oder zwischen der
Beleuchtungseinrichtung und der räumlichen Lichtmodulationseinrichtung angeordnet ist.
10. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ablenkeinrichtung zwei Abtastspiegelelemente aufweist, die synchronisiert zueinander rotierbar sind.
11. Anzeigevorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass der wenigstens eine Kombinierer wenigstens ein Fokussierelement oder wenigstens eine
Fokussierfunktion aufweist.
12. Anzeigevorrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass das wenigstens eine Fokussierelement als Gitterelement, insbesondere als Volumengitter, ausgebildet ist, insbesondere als Gitterelement mit einem begrenzten Akzeptanzwinkel.
13. Anzeigevorrichtung nach Anspruch 8 oder 11 , dadurch gekennzeichnet, dass der wenigstens eine Kombinierer wenigstens teilweise gekrümmt ausgebildet ist.
14. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Ablenkeinrichtung eine kontinuierliche Bewegung des wenigstens einen Abtastspiegelelements oder eine schrittweise Bewegung des wenigstens einen Abtastspiegelelement mit einer fest definierten Schrittbreite vorgesehen ist.
15. Anzeigevorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass bei einer kontinuierlichen Bewegung des wenigstens einen Abtastspiegelelements das wenigstens eine Abtastspiegelelement mit einem Kompensationsspiegelelement kombiniert ist, das eine synchronisierte Bewegung zur Bewegung des wenigstens einen
Abtastspiegelelements derart vornimmt, dass bei gleichsinniger Bewegung beider Spiegelelemente ein Bild der räumlichen Lichtmodulationseinrichtung an einer festen gleichbleibenden Position erzeugbar ist und bei gegensinniger Bewegung beider Spiegelelemente ein Bild der räumlichen Lichtmodulationseinrichtung im Sichtfeld verschiebbar ist.
16. Anzeigevorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass eine gleichsinnige Bewegung des Abtastspiegelelements und des Kompensationsspiegelelements vorgesehen ist, so lange sich die Beleuchtungseinrichtung in einem AN-Zustand befindet.
17. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine kontinuierliche Bewegung des wenigstens einen Abtastspiegelelements mit unterschiedlichen vordefinierten Geschwindigkeiten oder eine schrittweise Bewegung des wenigstens einen Abtastspiegelelements mit unterschiedlichen anpassbaren Schrittbreiten zur Erzeugung von wenigstens zwei Bildern der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld innerhalb eines Frames vorgesehen ist.
18. Anzeigevorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die
Geschwindigkeit oder die Schrittbreite der Bewegung des wenigstens einen Abtastspiegelelements an die definierte Position des jeweiligen Bildes der räumlichen Lichtmodulationseinrichtung als Segment im Sichtfeld angepasst ist.
19. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Größe und/oder Form des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment in aufeinanderfolgenden Frames variierbar ist oder die Größe und/oder Form der wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente mit der definierten Position im Sichtfeld innerhalb eines Frames oder in aufeinanderfolgenden Frames variierbar ist.
20. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der wenigstens eine Kombinierer als teilreflektierendes Spiegelelement oder als Lichtleiter ausgebildet ist.
21. Anzeigevorrichtung nach Anspruch 20, dadurch gekennzeichnet, dass die Ablenkeinrichtung als schaltbares Einkopplungselement zur Einkopplung des Lichts in den als Lichtleiter ausgebildeten Kombinierer und/oder als Auskopplungselement zur Auskopplung des Lichts aus dem als Lichtleiter ausgebildeten Kombinierer ausgebildet ist.
22. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das optische System ein variables Fokussystem aufweist, mit dem der Abstand des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment im Sichtfeld zum Benutzer einstellbar ist.
23. Anzeigevorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass das variable Fokussystem wenigstens ein Gitterelement mit einer steuerbaren Gitterperiode oder eine Kombination von aktiven und passiven Abbildungselementen aufweist.
24. Anzeigevorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass das wenigstens eine Gitterelement mit einer steuerbaren Gitterperiode Prismenfunktionen und/oder Phasenfunktionen zur Korrektur von Aberrationen aufweist.
25. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Blickverfolgungssystem zur Detektion einer Blickrichtung des Benutzers und/oder eine Detektionseinrichtung zur Ermittlung, in welchem Bereich des Sichtfelds eine virtuelle Information darzustellen ist, vorgesehen ist.
26. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Beleuchtungseinrichtung wenigstens eine in gegepulster Form ansteuerbare Lichtquelle aufweist.
27. Anzeigevorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigevorrichtung als Augmented-Reality-Display zur Kombination von realer Umgebung und dargestellter virtueller Information ausgebildet ist.
28. Verfahren aufweisend:
- Ansteuern einer Steuereinrichtung, die mit einer Beleuchtungseinrichtung zum Aussenden von Licht und einer Ablenkeinrichtung eines optischen Systems einer Anzeigevorrichtung gekoppelt ist, zum Betreiben der Beleuchtungseinrichtung in Abhängigkeit von einer Ansteuerung der Ablenkeinrichtung, um wenigstens ein Bild einer räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld eines Benutzers zu richten,
- Richten des Lichts auf die räumliche Lichtmodulationseinrichtung und Erzeugen wenigstens eines Bildes der räumlichen Lichtmodulationseinrichtung als Segment mittels des optischen Systems,
- Richten des Bildes der räumlichen Lichtmodulationseinrichtung als Segment mittels der Ablenkeinrichtung an die definierte Position im Sichtfeld des Benutzers, und
- Darstellung einer virtuellen Information im Segment im Sichtfeld des Benutzers.
29. Verfahren nach Anspruch 28, dadurch gekennzeichnet, dass das optische System wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung und entsprechend der Anzahl der Bilder der räumlichen Lichtmodulationseinrichtung virtuelle Sichtbarkeitsbereiche erzeugt, wobei die wenigstens zwei Bilder der räumlichen Lichtmodulationseinrichtung als Segmente im Sichtfeld des Benutzers gebildet werden.
30. Verfahren nach Anspruch 28 oder 29, dadurch gekennzeichnet, dass wenigstens ein Kombinierer des optischen Systems eine reale Information im Sichtfeld mit virtueller Information, die durch die Darstellung des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment zusätzlich im Sichtfeld erzeugt wird, überlagert.
31. Verfahren nach einem der Ansprüche 28 bis 30, dadurch gekennzeichnet, dass das wenigstens eine Bild der Lichtmodulationseinrichtung als Segment entsprechend einer geforderten Position im Sichtfeld erzeugt wird.
32. Verfahren nach einem der Ansprüche 28 bis 30, dadurch gekennzeichnet, dass das Sichtfeld in Rasterfelder unterteilt wird, wobei für jeden Frame geprüft wird, in welchem Rasterfeld des Sichtfelds eine virtuelle Information darzustellen ist, wobei die räumliche Lichtmodulationseinrichtung und wenigstens ein Abtastspiegelelement der Ablenkeinrichtung derart angesteuert werden, dass jeweils nur für das Rasterfeld, in dem die virtuelle Information pro Frame dargestellt werden soll, ein Bild der räumlichen Lichtmodulationseinrichtung als Segment erzeugt und an die definierte Position im Sichtfeld gerichtet wird.
33. Verfahren nach einem der Ansprüche 28 bis 30, dadurch gekennzeichnet, dass das Sichtfeld in Rasterfelder unterteilt wird, wobei alle Rasterfelder mittels wenigstens eines Abtastspiegelelements der Ablenkeinrichtung nacheinander abgetastet werden, wobei für jeden Frame geprüft wird, in welchem Rasterfeld des Sichtfelds eine virtuelle Information darzustellen ist und nur für das jeweilige Rasterfeld, in dem auch die virtuelle Information dargestellt werden soll, ein virtuelle Information aufweisendes Bild der räumlichen Lichtmodulationseinrichtung als Segment mittels des optischen Systems erzeugt und zugeordnet wird.
34. Verfahren nach Anspruch 32 oder 33, dadurch gekennzeichnet, dass das wenigstens eine Abtastspiegelelement zum Richten des wenigstens einen Bildes der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld kontinuierlich oder schrittweise mit einer definierten Schrittbreite bewegt wird.
35. Verfahren nach Anspruch 34, dadurch gekennzeichnet, dass bei einer schrittweisen Bewegung des wenigstens einen Abtastspiegelelements die Beleuchtungseinrichtung jeweils eingeschaltet wird, wenn sich das wenigstens eine Abtastspiegelelement nach einer definierten Schrittbreite in einem Haltezustand befindet und die räumliche Lichtmodulationseinrichtung zur Erzeugung eines Bildes der räumlichen Lichtmodulationseinrichtung beleuchtet wird, wodurch das erzeugte Bild der räumlichen Lichtmodulationseinrichtung als Segment an eine definierte Position im Sichtfeld gerichtet wird, wobei die Beleuchtungseinrichtung ausgeschaltet wird, wenn sich das wenigstens eine Abtastspiegelelement in einem Bewegungszustand befindet.
36. Verfahren nach Anspruch 34, dadurch gekennzeichnet, dass bei einer kontinuierlichen Bewegung des wenigstens einen Abtastspiegelelements ein Kompensationsspiegelelement mit dem wenigstens einen Abtastspiegelelement kombiniert wird, wobei das Kompensationsspiegelelement eine synchronisierte Bewegung zum wenigstens einen Abtastspiegelelement vornimmt, wenn sich die Beleuchtungseinrichtung in einem AN-Zustand befindet.
37. Verfahren nach Anspruch 30, dadurch gekennzeichnet, dass die räumliche Lichtmodulationseinrichtung durch die Beleuchtungseinrichtung beleuchtet und das von der räumlichen Lichtmodulationseinrichtung modulierte Licht auf die Ablenkeinrichtung gerichtet wird, die das Licht auf einen als Lichtleiter ausgebildeten Kombinierer lenkt, wobei das Licht in den Kombinierer eingekoppelt wird und in diesem propagiert, wobei das im Kombinierer propagierende Licht entsprechend der geforderten definierten Position im Sichtfeld ausgekoppelt wird und an diese definierte Position das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung als Segment gerichtet wird.
38. Verfahren nach einem der vorhergehenden Ansprüche 28 bis 37, dadurch gekennzeichnet, dass das wenigstens eine Bild der räumlichen Lichtmodulationseinrichtung als Segment mittels eines variablen Fokussystems in z- Richtung entlang einer optischen Achse des optischen Systems an eine Tiefenposition im Sichtfeld verschoben wird, auf die ein Benutzer akkommodiert.
PCT/EP2020/063462 2019-05-16 2020-05-14 Anzeigevorrichtung mit reduziertem energieverbrauch WO2020229599A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217040763A KR20220008315A (ko) 2019-05-16 2020-05-14 에너지 소비가 감소된 디스플레이 디바이스
CN202080051725.7A CN114174893A (zh) 2019-05-16 2020-05-14 具有降低功耗的显示装置
US17/595,402 US20220247982A1 (en) 2019-05-16 2020-05-14 Display apparatus with a reduced power consumption
DE112020002420.2T DE112020002420A5 (de) 2019-05-16 2020-05-14 Anzeigevorrichtung mit reduziertem Energieverbrauch

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19174874 2019-05-16
EP19174874.8 2019-05-16

Publications (1)

Publication Number Publication Date
WO2020229599A1 true WO2020229599A1 (de) 2020-11-19

Family

ID=67437290

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/063462 WO2020229599A1 (de) 2019-05-16 2020-05-14 Anzeigevorrichtung mit reduziertem energieverbrauch

Country Status (5)

Country Link
US (1) US20220247982A1 (de)
KR (1) KR20220008315A (de)
CN (1) CN114174893A (de)
DE (1) DE112020002420A5 (de)
WO (1) WO2020229599A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11705089B2 (en) * 2020-04-07 2023-07-18 Texas Instruments Incorporated Display spatial brightness control
US20210389152A1 (en) * 2020-06-10 2021-12-16 Here Global B.V. Method, apparatus, and system for projecting augmented reality navigation cues on user-selected surfaces

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097671A1 (en) 2006-12-12 2010-04-22 See Real Technologies S.A. Head-Mounted Display Device for Generating Reconstructions of Three-Dimensional Representations
US20130222384A1 (en) 2010-11-08 2013-08-29 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US20140139404A1 (en) * 2012-11-20 2014-05-22 Seiko Epson Corporation Virtual image display apparatus
WO2017158073A1 (en) * 2016-03-16 2017-09-21 Seereal Technologies S.A. A display for two-dimensional and/or three-dimensional images
US20180120559A1 (en) * 2016-10-28 2018-05-03 Magic Leap, Inc. Method and system for large field of view display with scanning reflector
WO2018146326A2 (de) 2017-02-13 2018-08-16 Seereal Technologies S.A. Lichtleitvorrichtung und anzeigevorrichtung zur darstellung von szenen
WO2018211074A1 (de) 2017-05-19 2018-11-22 Seereal Technologies S.A. Anzeigevorrichtung mit einem lichtleiter
WO2019012028A1 (de) 2017-07-13 2019-01-17 Seereal Technologies S.A. Anzeigevorrichtung zur vergrösserung des sichtfelds
WO2019076963A1 (de) 2017-10-18 2019-04-25 Seereal Technologies S.A. Anzeigevorrichtung und verfahren zur erzeugung eines grossen sichtfeldes

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0200547D0 (sv) * 2002-02-25 2002-02-25 Micronic Laser Systems Ab An image forming method and apparatus
CN108107579B (zh) * 2017-12-18 2021-02-19 杭州光粒科技有限公司 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097671A1 (en) 2006-12-12 2010-04-22 See Real Technologies S.A. Head-Mounted Display Device for Generating Reconstructions of Three-Dimensional Representations
US20130222384A1 (en) 2010-11-08 2013-08-29 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US20140139404A1 (en) * 2012-11-20 2014-05-22 Seiko Epson Corporation Virtual image display apparatus
WO2017158073A1 (en) * 2016-03-16 2017-09-21 Seereal Technologies S.A. A display for two-dimensional and/or three-dimensional images
US20180120559A1 (en) * 2016-10-28 2018-05-03 Magic Leap, Inc. Method and system for large field of view display with scanning reflector
WO2018146326A2 (de) 2017-02-13 2018-08-16 Seereal Technologies S.A. Lichtleitvorrichtung und anzeigevorrichtung zur darstellung von szenen
WO2018211074A1 (de) 2017-05-19 2018-11-22 Seereal Technologies S.A. Anzeigevorrichtung mit einem lichtleiter
WO2019012028A1 (de) 2017-07-13 2019-01-17 Seereal Technologies S.A. Anzeigevorrichtung zur vergrösserung des sichtfelds
WO2019076963A1 (de) 2017-10-18 2019-04-25 Seereal Technologies S.A. Anzeigevorrichtung und verfahren zur erzeugung eines grossen sichtfeldes

Also Published As

Publication number Publication date
US20220247982A1 (en) 2022-08-04
DE112020002420A5 (de) 2022-02-24
KR20220008315A (ko) 2022-01-20
CN114174893A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
DE112015002814B4 (de) Anzeigevorrichtung für virtuelle Bilder
DE102007025069B4 (de) Holographisches Rekonstruktionssystem
WO2019185510A1 (de) Anzeigevorrichtung
DE102006024356B4 (de) Holographische Projektionsvorrichtung zur Rekonstruktion von Szenen und Verfahren zur holographischen Rekonstruktion
WO2019012028A1 (de) Anzeigevorrichtung zur vergrösserung des sichtfelds
WO2018011285A1 (de) Anzeigevorrichtung
EP3548954B1 (de) Head-up-display
WO2012062681A1 (de) Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln
WO2007099458A2 (de) Holographische projektionsvorrictung zur vergrösserung eines rekonstruktionsbereichs
EP3254152A2 (de) Verfahren und vorrichtungen zur dateneinspiegelung mittels holografischer optischer elemente
DE102015213376A1 (de) Projektionsvorrichtung für eine Datenbrille, Datenbrille und Verfahren zum Betreiben einer Projektionsvorrichtung für eine Datenbrille
WO2005060270A1 (de) Autostereoskopische anzeigevorrichtung mit positionsnachführung für mehrere benutzer
DE112007003043B4 (de) Holographische Projektionsvorrichtung und Verfahren zum Beobachten einer rekonstruierten Szene
WO2008092852A1 (de) Holographisches rekonstruktionssystem mit optischen wellennachführmitteln
DE102008001644A1 (de) Vorrichtung zur Darstellung von dreidimensionalen Bildern
DE102014008153A1 (de) Anzeigevorrichtung sowie Verfahren zur augmentierten Darstellung eines Bildobjektes
WO2018037077A2 (de) Holographische anzeigevorrichtung
DE102014217180A1 (de) Bilderzeugungsvorrichtung für ein Head-up-Display, Head-up-Display und Verfahren zum Erzeugen eines Bilds für ein Head-up-Display
DE102017211932A1 (de) Projektionsvorrichtung für eine Datenbrille, Datenbrille sowie Verfahren zum Betreiben einer Projektionsvorrichtung
DE102014001710A1 (de) Vorrichtung und Verfahren zur augmentierten Darstellung eines virtuellen Bildobjektes in einer realen Umgebung
WO2018015496A1 (de) Vorrichtungen zur dateneinspiegelung
WO2020229599A1 (de) Anzeigevorrichtung mit reduziertem energieverbrauch
WO2021105130A1 (de) Augmented-reality-head-up-display
WO2011038825A1 (de) Verfahren zum erzeugen eines stereobilds durch eine projektionseinheit für ein head-up-display und projektionseinheit für ein head-up-display
WO2019076963A1 (de) Anzeigevorrichtung und verfahren zur erzeugung eines grossen sichtfeldes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20727188

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217040763

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112020002420

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20727188

Country of ref document: EP

Kind code of ref document: A1