WO2013034129A2 - Kooperativer 3d-arbeitsplatz - Google Patents

Kooperativer 3d-arbeitsplatz Download PDF

Info

Publication number
WO2013034129A2
WO2013034129A2 PCT/DE2012/000882 DE2012000882W WO2013034129A2 WO 2013034129 A2 WO2013034129 A2 WO 2013034129A2 DE 2012000882 W DE2012000882 W DE 2012000882W WO 2013034129 A2 WO2013034129 A2 WO 2013034129A2
Authority
WO
WIPO (PCT)
Prior art keywords
display device
operator
dimensional
holographic
eye
Prior art date
Application number
PCT/DE2012/000882
Other languages
English (en)
French (fr)
Other versions
WO2013034129A3 (de
Inventor
Leonhard Vogelmeier
Original Assignee
Eads Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eads Deutschland Gmbh filed Critical Eads Deutschland Gmbh
Priority to CA2847396A priority Critical patent/CA2847396A1/en
Priority to EP12783853.0A priority patent/EP2764698A2/de
Priority to KR1020147006314A priority patent/KR20140054214A/ko
Priority to US14/343,470 priority patent/US20140289649A1/en
Priority to RU2014113158A priority patent/RU2637562C2/ru
Publication of WO2013034129A2 publication Critical patent/WO2013034129A2/de
Publication of WO2013034129A3 publication Critical patent/WO2013034129A3/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2605—Arrangement of the sub-holograms, e.g. partial overlapping
    • G03H2001/261—Arrangement of the sub-holograms, e.g. partial overlapping in optical contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Definitions

  • the invention relates to the representation of one and the interaction with a
  • the invention relates to a
  • a display device for displaying a three-dimensional scenario, a three-dimensional scenario displaying device for cooperatively processing the three-dimensional scenario by a plurality of
  • Stereoscopic systems with individual imaging for one or more users are known.
  • individual images for a viewer's left eye and right eye, respectively are displayed on a screen.
  • the respective eye can also recognize only the image intended for this eye in each case, so that the perception of the spatial view created by the viewer differs from the images perceived by the eyes.
  • This separation of the images for the respective eyes of the observer can be done for example by the use of prisms, which break the light so that the eyes look at different images.
  • glasses with differently polarized lenses for the user or viewer are known.
  • Viewers are chosen.
  • a second viewer or each additional viewer can easily be allowed to view the three-dimensional scenario, as long as all viewers observe the same scenario.
  • a display in addition to the two images for the first viewer still have to present two more images for the second viewer. It is not only important to note that each eye looks at the particular image, and only this image, but also that a distinction should be made between the images and the viewer.
  • a device for displaying a three-dimensional scenario which allows scalability of the device to a plurality of users or viewers so that a simultaneous and cooperative interaction of the plurality of viewers with the illustrated three-dimensional scenario without quality loss of the representation can take place and nevertheless each observer has an individual view on the three-dimensional scenario.
  • a display device for displaying a three-dimensional scenario with a first Projection device and a second projection device and a holographic display device with a first holographic unit and a second holographic unit specified.
  • the Projection device and the second projection device designed to throw a first image or a second image on the holographic display device.
  • the first holographic unit and the second holographic unit are configured to scatter the first image and the second image, respectively, such that a first eye of one operator perceives the first image and a second eye of the operator views the second image such that the operator Impression of a three-dimensional
  • the holographic display device may, for example, a display disk and the first and the second holographic unit, for example, a
  • Projection device may be, for example, laser projectors.
  • the holograms may be set so that they each receive only the light of one of the two projection devices and direct or scatter in a second direction such that the corresponding image can only be seen from a certain angle.
  • the first projection device is arranged to project light onto the first hologram so that it is below the corresponding one
  • Incident angle impinges on the first hologram.
  • the first holographic unit may be designed to direct the light of the first projection device into a first half-space and the second Holographic unit may be configured to direct the light of the second projection device in a second half-space.
  • a viewer of the holographic display device thus creates the impression of a three-dimensional scenario, wherein a first eye of the observer perceives the first image and a second eye of the observer perceives the second image.
  • a first eye of the observer perceives the first image and a second eye of the observer perceives the second image.
  • the first eye in the first half-space and the second eye in the second half-space are the first eye in the first half-space and the second eye in the second half-space.
  • the display device further comprises a detection unit and an actuator. It is the
  • Detection unit executed to determine a position of the first eye and the second eye of the operator.
  • the actuator is designed to move the holographic display device such that a viewing direction of the operator in a sagittal plane of the display device strikes the display device perpendicularly.
  • the viewing direction of the operator in the sagittal plane can also hit the display device at any other angle as long as this angle corresponds to the emission direction of the images through the holograms so that each eye can perceive the image assigned to it.
  • a half space designates a spatial area on the viewing side of the holographic display device, in which only the image of the first
  • Projection device or the image of the second projection device can be perceived by the eye located in the corresponding half-space.
  • the arrangement of the first half-space and the second half-space is predetermined by the arrangement of the eyes of the operator, whereby the first half-space and the second half-space are horizontally offset from each other, so that in each case an eye of the operator is in the first half-space and the second half-space ,
  • the first holographic unit and the second holographic unit may be designed such that a positioning of the first half-space and the second half-space depending on an eye distance between the first eye and the second eye of the operator and / or in dependence of a distance of the operator from the holographic Display device is adjusted.
  • Display device also be moved so that the distance of the eyes of the Operator of the display device remains substantially constant. In other words, this means that the display device can be moved in one direction towards the operator and away from the operator.
  • the first holographic unit or the second holographic unit it is also possible for the first holographic unit or the second holographic unit to be designed such that adjustments to the holographic units can be made so that the holographic units adapt to vertical movements of the user and despite perception of the first image and the second image fluctuating distance of the operator's eyes to the display device is made possible.
  • the display device To improve the ease of use of the display device, the
  • Holographic display device are rotated by means of the actuator about a vertical axis of the display device so that the eyes of the operator regardless of its horizontal positioning are always in the respective eye assigned half space.
  • the sagittal plane of the display device is spanned by a
  • a vertical movement of the eyes of the operator corresponds to a change in the inclination of the sagittal plane with respect to the
  • Display device in which the sagittal plane rotates about the horizontal axis of the display device.
  • a movement of the operator's eyes in a horizontal direction can cause an eye to leave its assigned half-space, thus spoiling the impression of a three-dimensional scenario.
  • the holographic display device To maintain three-dimensional impression in the operator, now the holographic display device must be rotated about its vertical axis that the extension of the first half-space and the second half-space in Match with the first eye and the second eye of the operator is brought.
  • This angle can be an arbitrary angle, it is crucial that it remains constant in a horizontal movement of the eyes of the operator.
  • the viewing direction in the sagittal plane forms a right angle with the display device, i. H. an angle of 90 degrees.
  • the detection unit has at least one camera.
  • the camera may be configured to determine the position of at least one eye of the operator so as to instruct the actuator to move the holographic display to a position, i. to rotate about its horizontal axis, so that the operator perceives the first image with the first eye and the second image of the holographic display device with the second eye.
  • the camera can also be designed to follow a clearly identifiable object, which is located, for example, next to one of the operator's eyes.
  • This uniquely identifiable object may be, for example, a sticker with a visual coding feature, such as a bar code.
  • the holographic display device is configured to display a pointing element.
  • the operator can interact with the three-dimensional scenario by forming a connecting line from the first eye or the second eye of the operator via the pointing element into the three-dimensional scenario.
  • the connecting line can also as Mean value between the two connecting lines from the left eye or right eye on the pointing element are formed in the three-dimensional scenario.
  • the calculated connecting line from an operator's eye to the pointing element can be used to determine which element was selected in the three-dimensional scenario.
  • the pointing element is placed on the holographic display by the operator
  • Display device touched with a finger.
  • the holographic display device may include a
  • Scanning devices such as Frustrated Total Internal Reflection (FTIR) the position of a finger on the holographic display device are determined.
  • FTIR Frustrated Total Internal Reflection
  • the pointing element is placed on the holographic display device by the detection unit detecting a position of the finger of the operator.
  • the detection unit can make the position of the finger in principle analogous to the version of the position of the eye, which has been described in detail above.
  • the detection unit may comprise a plurality of detection elements, of which a first group of a plurality of detection elements for the Detecting the position of the operator's eyes and a second group of multiple detection elements for detecting the position of the finger of the operator can be performed.
  • the positioning of the pointing element on the display device can also be done by means of an input device such as a so-called computer mouse or a trackball or via a keyboard with control arrows and any other input devices.
  • an input device such as a so-called computer mouse or a trackball or via a keyboard with control arrows and any other input devices.
  • Display device a two-dimensional display element which is designed to provide the operator information in graphical and written form. In the displayed on the two-dimensional display element
  • Information can be any information that can not or must not be presented in the three-dimensional scenario.
  • the three-dimensional scenario is an airspace to be monitored with aircraft in it
  • information on a two-dimensional display element may be displayed on a selected aircraft, such as a vehicle.
  • speed, altitude, weather data or other data are displayed.
  • the two-dimensional display element may be touch-sensitive.
  • a presentation device for a three-dimensional scenario for the cooperative processing of the 3-dimensional scenarios by a plurality of operators which has a plurality of display devices as described above and below, and wherein each one operator at least one
  • the display device thus enables the joint and cooperative processing of a scenario by multiple operators.
  • Display devices spatially separated or adjacent to be arranged. For example, a plurality of display devices on a
  • Workplace for example, a table, be arranged side by side and so in addition to the common interaction of the operator with the three-dimensional scenario also allow immediate communication between the operators.
  • the display devices can also be arranged spatially separated from each other and still enable the joint cooperative editing of a three-dimensional scenario.
  • each display device via a decentralized
  • the decentralized computing device may be connected to the central computing system, wherein the central computing system merely performs control and coordination of a plurality of decentralized computing devices.
  • the inventive design of the display devices it is possible to scale the number of operators as desired. For example, the
  • Display device for four, eight, twelve or any number of operators to be executed, wherein a parameter for the determination of the number of operators, the complexity and the extent of the monitored
  • a central computer system controls the display devices in such a way that every operator gets the impression of a three-dimensional scenario.
  • the display device can, for example, for the cooperative mission planning of land, water and air vehicles, a joint mission implementation of several unmanned land, water and air vehicles by the respective vehicle operator, the cooperative monitoring of airspaces or national borders or even for the
  • a display device can be extended so that each operator is provided with one or more display devices.
  • the central computing system controls the distributed to the individual display devices representations or
  • Presentation device can also be used for training and evaluation purposes. According to one embodiment of the invention, each operator sees that
  • supervisory airspace that viewpoint, as if the operators were positioned relative to the supervisory airspace as positioned relative to the three-dimensional scenario of the airspace.
  • one of four operators uniformly distributed around the display device refers to the three-dimensional scenario from an easterly direction, a second operator from a southward direction, a third operator from a western direction, and a fourth operator from a northward direction the three-dimensional scenario of the airspace to be monitored looks.
  • each operator sees the three-dimensional scenario from a cloned perspective.
  • the cloned perspective corresponds to a given perspective of the operator on the three-dimensional scenario.
  • all or even a predefinable part of the operator can view the three-dimensional scenario from the same perspective.
  • an operator can be assisted by a second operator by giving the same to both operators on their display device
  • the individual perspective corresponds to a perspective view of the three-dimensional scenario that can be set as desired by each operator. In other words, this means that an operator can adjust his perspective as if he were moving freely in the space shown.
  • the operator may select and enlarge an area of the three-dimensional scenario, for example, to obtain increased detail of the presentation.
  • each operator is assigned a second display device which is executed
  • an operator of a remote display device can also be represented here.
  • the display device is described above and below for cooperative monitoring of
  • a method for representing a three-dimensional scenario is provided.
  • a respective first image and a second image are projected onto a respective holographic display device from one Variety of holographic display devices, so that the impression of a three-dimensional scenario arises in a viewer of the three-dimensional display device, each holographic display device the
  • the holographic display device is rotated about a vertical axis so that a viewing direction of the viewer in one
  • Sagittal plane of the display device falls at a predetermined angle to the holographic display device.
  • a method for cooperatively processing a three-dimensional scenario is provided.
  • the detection of an eye position of a viewer of the three-dimensional overall scenario takes place.
  • a further step becomes a reference point on the holographic
  • a connecting line is calculated from the eye position via the reference point into the three-dimensional overall scenario.
  • Fig. 1 shows a plan view of a display device according to an embodiment of the invention.
  • Fig. 2 shows a plan view of a display device according to another embodiment of the invention.
  • Fig. 3 shows an isometric view of a holographic display device according to an embodiment of the invention.
  • 4 shows an isometric view of a display device according to a further embodiment of the invention.
  • Fig. 5 shows a side view of a display device according to another embodiment of the invention.
  • FIG. 6 shows a plan view of a three-dimensional scenario display device for cooperative processing by a plurality of operators according to an embodiment of the invention.
  • 7 shows a schematic view of a method for the representation and cooperative processing of a three-dimensional overall scenario.
  • Fig. 1 shows a display device 100 according to an embodiment of the invention.
  • the display device has a first projection device 111 and a second projection device 1 12, as well as a holographic
  • Display device 130 with a first holographic unit 131 and a second holographic unit 132.
  • the first projection device 11 1 is designed to project an image onto the first holographic unit 131, the image of the first holographic unit 131
  • Projection device is directed in the direction of a first eye 121 of an operator and the image of the second projection device 1 12 is directed by the second holographic unit 132 in the direction of a second eye 122 of an operator.
  • the different images perceived by the first eye and the second eye give the operator the impression of a three-dimensional scenario.
  • FIG. 1 shows a first half space 151 and a second half space 152, in which the first eye or the second eye can be located, without the impression of a three-dimensional scenario being disturbed. Only when leaving the first half-space or the second half-space through the first eye or the second eye, this impression is disturbed. Furthermore, the first half space and the second half space are limited by the fact that a vertical movement of the operator changes a distance of the operator's eyes from the display device, which can also interfere with the perception of the first image and / or the second image. To counteract this effect that the display device are moved toward or away from the user, so that a change in the distance of the eyes of the
  • Display device is compensated.
  • Fig. 2 shows a display device 100 according to another
  • the display device 100 has a holographic display device 130, an actuator 202 and a detection unit 220.
  • the detection unit 220 is executed, a position of the operator of
  • Detect display device In order to ensure that the operator's eyes perceive different images, giving the impression of a three-dimensional scenario to the operator, depending on the operator's position relative to the holographic display 130, it may be necessary for the holographic display 130 to be about a vertical axis 135 along the directional arrow 136 to rotate so that each eye of the
  • Fig. 3 shows a holographic display device 130 in isometric
  • a sagittal plane 310 is spanned by a viewing direction 301 of the operator on the display device 130 and a horizontal axis 320 of the display device 130. Thus, the sagittal plane 310 intersects the display device 130 at an angle ⁇ 31 1. From the viewing direction 301 in the sagittal plane 310 and the
  • a change in the angle ⁇ 31 1 corresponds to a vertical movement of the operator in front of the display device 130.
  • a horizontal movement of the operator in front of the display device 130 causes at least one eye to leave the half-space provided for this eye and thus perceive either the wrong image or no image, so that the impression of the three-dimensional scenario is disturbed.
  • the holographic display device 130 is moved by the actuator 202 so that the angle ß 321 constantly maintains a predetermined value. 4 shows a display device 100 according to another
  • the display device has a
  • holographic display device 130 a two-dimensional display element 430, a second holographic display device 230 and four cameras 221, 222, 223, 224, which represent the position detection unit of the operator's and / or the operator's finger.
  • the cameras can be designed to determine a positioning of the finger on the display device, but also to determine a positioning of the finger in the room.
  • Both the first display device 130 and the second display device 230 may be rotated about their respective vertical axis by an actuator (not shown) such that a viewing direction 301 falls on the display device 130 and the display device 230 at a constant predeterminable angle.
  • FIG. 5 shows a side view of a holographic display device 130 and a schematically represented three-dimensional scenario 550.
  • Display device 130 is configured to display a pointing element 510.
  • the pointing element 510 is movable on the display device 130. This can be done for example by touching the display device 130 with a finger or for example by movement or actuation of an input element, such as a so-called. Computer mouse.
  • a connecting line 51 1 is formed by the operator's eye 121, 122 via the pointing element 510 into the three-dimensional scenario 550.
  • the operator-selected element 555 can be determined in the three-dimensional scenario.
  • the selected element 555 may be a single object or part of an object in the three-dimensional scenario.
  • a vehicle such as an aircraft, or any part of the vehicle, such as a wing or a rudder, may be selected.
  • the connecting line 51 1 corresponds to the viewing direction 301 of the operator on the display device 130, whereby the connecting line 51 1 and the
  • Indicator 130 includes the angle ⁇ 31 1.
  • a change in the angle ⁇ does not influence the impression of the perception of a three-dimensional scenario by the operator.
  • FIG. 6 shows a three-dimensional scenario display device 600 for cooperatively processing the two-dimensional scenario by a plurality of operators according to an embodiment of the invention.
  • each display device is assigned an operator 120 in each case.
  • Each operator 120 looks at the display device 100 assigned to it, so that each operator is given the impression of a three-dimensional scenario. From the operator 120's perspective, the situation is that the operators a virtual three-dimensional overall scenario 610
  • the display device shown in FIG. 6 thus enables the joint cooperative processing of a three-dimensional overall scenario by a plurality of operators, wherein the processing of the three-dimensional scenario can be assisted by providing the operators with an immediate
  • FIG. 7 shows a method 700 for the representation and cooperative processing of a three-dimensional overall scenario according to an embodiment of the invention.
  • a respective first image and a second image are projected onto a respective holographic display device from a multiplicity of holographic display devices, so that the impression of a three-dimensional scenario arises for a viewer of the three-dimensional display device, each holographic
  • Display device represents the three-dimensional overall scenario from a specific perspective.
  • the first image and the second image each of a first
  • Projection device or a second projection device projected onto a holographic display device By projecting a plurality of first images and second images onto each one of a plurality of holographic display devices, it is subjected to a plurality of Operator can view the three-dimensional scenario from its own perspective.
  • an operator's perspective on the three-dimensional scenario is compiled from a pair of a first image and a second image, respectively, which are projected onto the display device assigned to that operator.
  • the offering of the first image and the second image for the plurality of display devices may be controlled, for example, by a central control system or central computer system.
  • the central control system may be implemented, the various above and below
  • each holographic display device the three-dimensional
  • the three-dimensional overall scenario can be represented such that a plurality of display devices which are arranged at a workstation, the three-dimensional overall scenario of a so-called natural
  • a first display device shows the three-dimensional overall scenario from a first perspective, for example from the east
  • a second display device from a second perspective for example from the south
  • shows a third display device from one third perspective for example, pointing west
  • a fourth Display device from a fourth perspective for example, north direction shows.
  • the perspectives of the operator can correspond to the perspective which the operators have on a miniature image of the user
  • each display device can show any perspective on the overall three-dimensional scenario.
  • Beholder In this case, for example, only the position of an eye, for example the left eye or the right eye, can be detected and closed on the position of the right eye or the left eye of the operator. But it can also be the position of the right eye and the left eye of the operator are detected, so as to meet the individual horizontal eye relief of different operators.
  • the central control system can have an operator identification, by which the position of the second eye is determined after detecting a first eye position by the individual horizontal eye distance known to the central control system.
  • the detection of the eye position can take place by means of a detection unit, for example one or a plurality of cameras. In this case, the detection of the eye position can take place by means of image recognition. Similarly, the eye position can be detected by a marker is placed at a certain distance and angle to an eye, for example, on the forehead of the operator. About the Detecting the position of the marker, the central control system determines the position of an eye or both eyes of the operator.
  • a third step 703 the holographic display device is rotated about a vertical axis so that a viewing direction of the viewer in a sagittal plane of the display device falls on the holographic display device at a predetermined angle.
  • the rotation of the display device avoids that an eye of the operator perceives no image or both eyes perceive the same image, which would disturb the three-dimensional impression.
  • a reference point is set on the holographic display device.
  • the reference point can be used as a point on the holographic
  • Display device are set. Then it is a commitment on a level corresponding to the display device, ie by one
  • the reference point can also be defined as a point in space.
  • a finger of the operator can be used in particular, which defines the reference point via a touch-sensitive detection layer on the display device.
  • a position of a finger of the operator in the room or on the display device can be determined by means of a detection system.
  • the finger position can basically be determined by the same method as the detection of the eye position of the operator described above.
  • the reference point by movement of a conventional graphical pointing device, such as a so-called computer mouse or a trackball, which is connected to the central control system as an input device, take place.
  • a fifth step 705 the calculation of a connecting line from the eye position via the reference point into the three-dimensional overall scenario takes place.
  • the central control system knows the position of at least one eye of the operator, which serves as the first point of the connecting line. Furthermore, the reference point is known, which serves as the second point of the connecting line.
  • the connecting line is extended into the three-dimensional scenario, thus identifying an object in this scenario, which is the Has targeted or selected operator, ie to which object the operator has shown.
  • any available actions can be applied to the selected object.
  • the central control system can be executed, the operator a selection of actions from a
  • the total amount of actions may include all actions for an unmanned aerial vehicle, and the selection of actions only those actions that should be allowed in a specific situation.
  • the instruction to reduce the altitude in such a case may be inadmissible if the minimum altitude would be exceeded.
  • the inventive device and / or allows
  • inventive method a simple, fast and intuitive operation of cooperative by multiple operators three-dimensional scenarios.
  • the number of operators can be any number, since the method according to the invention and the device according to the invention are arbitrarily scalable.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Holo Graphy (AREA)

Abstract

Es ist eine Anzeigevorrichtung (100) zum Darstellen eines dreidimensionalen Szenarios mit einer ersten (111) und einer zweiten Projektionseinrichtung (112) angegeben. Weiterhin weist die Anzeigevorrichtung eine holografische Anzeigeeinrichtung (130) mit einer ersten (131) und einer zweiten holografischen Einheit (132) auf. Daneben ist eine Darstellungsvorrichtung (600) mit einer Vielzahl von Anzeigevorrichtungen zur Darstellung und kooperativen Bearbeitung eines dreidimensionalen Szenarios (610) durch eine Vielzahl von Bedienern (120) angegeben, wobei jeder Bediener das dreidimensionale Szenario aus einer individuell bestimmbaren Perspektive betrachtet.

Description

Kooperativer 3D-Arbeitsplatz
Gebiet der Erfindung
Die Erfindung betrifft die Darstellung eines und die Interaktion mit einem
dreidimensionalen Szenario. Insbesondere betrifft die Erfindung eine
Anzeigevorrichtung zum Darstellen eines dreidimensionalen Szenarios, eine Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von
Bedienern, die Verwendung einer Darstellungsvorrichtung für ein
dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern zur kooperativen Überwachung von Lufträumen sowie ein Verfahren zur Darstellung eines dreidimensionalen
Szenarios sowie ein Verfahren zur kooperativen Bearbeitung eines
dreidimensionalen Szenarios. Technischer Hintergrund der Erfindung
Stereoskopische Systeme mit individueller Bilderzeugung für einen oder mehrere Benutzer sind bekannt. Bei diesen stereoskopischen Systemen werden einzelne Bilder jeweils für das linke Auge bzw. das rechte Auge eines Betrachters auf einem Bildschirm dargestellt. Dabei ist sicherzustellen, dass das jeweilige Auge auch jeweils nur das für dieses Auge bestimmte Bild erkennen kann, so dass durch die von den Augen verschiedenen wahrgenommenen Bilder der Eindruck der räumlichen Betrachtung bei dem Betrachter entsteht. Diese Trennung der Bilder für die jeweiligen Augen des Betrachters kann beispielsweise durch den Einsatz von Prismen erfolgen, welche das Licht so brechen, dass die Augen unterschiedliche Bilder betrachten. Daneben ist bekannt, Brillen mit unterschiedlich polarisierten Linsen für den Benutzer bzw. Betrachter zu verwenden. Auf einer Darstellungsfläche werden entsprechend zwei unterschiedliche Bilder mit unterschiedlich polarisiertem Licht dargestellt, wobei jeweils eine Linse nur das entsprechend polarisierte Licht zum Auge des Betrachters durchdringen lässt. Somit kann bei dem Betrachter durch unterschiedliche Bilder, welche an seinen beiden Augen anliegen, der Eindruck eines dreidimensionalen Szenarios hervorgerufen werden.
Diese beiden prinzipiellen Aufbaumöglichkeiten eines Systems zur Darstellung eines dreidimensionalen Szenarios können grundsätzlich auch für mehrere
Betrachter gewählt werden. Dabei kann es einem zweiten Betrachter oder jedem weiteren Betrachter problemlos ermöglicht werden, das dreidimensionale Szenario zu betrachten, solange alle Betrachter das gleiche Szenario betrachten. Soll ein zweiter Betrachter jedoch ein anderes Szenario betrachten als der erste Betrachter, so muss ein Display zusätzlich zu den zwei Bildern für den ersten Betrachter noch zwei weitere Bilder für den zweiten Betrachter darstellen. Dabei ist nicht nur zu beachten, dass jedes Auge das für dieses bestimmte Bild, und nur dieses Bild, betrachtet, sondern auch, dass eine Unterscheidung der Bilder hinsichtlich der Betrachter zu treffen ist.
Insbesondere bei der Betrachtung eines dreidimensionalen Szenarios durch mehrere Betrachter zeigt sich die Grenze der bekannten stereoskopischen
Systeme dahingehend, dass ein Display für jeden weiteren Betrachter jeweils zwei weitere Bilder darzustellen hat. Jedes weitere dargestellte Bild auf einem Display vermindert allerdings die Qualität der anderen Bilder, da die Darstellungskapazität, beispielsweise die Auflösung, des Displays auf mehrere Bilder aufgeteilt werden muss. Zusammenfassung der Erfindung
Es kann als eine Aufgabe der Erfindung angesehen werden, eine Vorrichtung zur Darstellung eines dreidimensionalen Szenarios anzugeben, welche eine kooperative Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern ermöglicht.
Insbesondere kann es als Aufgabe der Erfindung angesehen werden, eine Vorrichtung zur Darstellung eines dreidimensionalen Szenarios anzugeben, welche eine Skalierbarkeit der Vorrichtung auf eine Mehrzahl von Benutzern bzw. Betrachtern so ermöglicht, dass eine zeitgleiche und kooperative Interaktion der Mehrzahl von Betrachtern mit dem dargestellten dreidimensionalen Szenario ohne Qualitätsverlust der Darstellung erfolgen kann und dennoch jeder Betrachter eine individuelle Sicht auf das dreidimensionale Szenario hat. Es sind eine Anzeigevorrichtung zum Darstellen eines dreidimensionalen
Szenarios, eine Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern und eine Verwendung einer Darstellungsvorrichtung zur kooperativen Überwachung von Lufträumen sowie ein Verfahren zur Darstellung und ein Verfahren zur kooperativen Bearbeitung eines dreidimensionalen
Szenarios gemäß den Merkmalen der unabhängigen Patentansprüche
angegeben. Weiterbildungen der Erfindung ergeben sich aus den
Unteransprüchen und aus der folgenden Beschreibung. Viele der im Folgenden in Hinblick auf die Anzeigevorrichtung und die
Darstellungsvorrichtung beschriebenen Merkmale lassen sich auch als
Verfahrensschritte implementieren und umgekehrt.
Gemäß einem ersten Aspekt der Erfindung ist eine Anzeigevorrichtung zum Darstellen eines dreidimensionalen Szenarios mit einer ersten Projektionseinrichtung und einer zweiten Projektionseinrichtung sowie einer holografischen Anzeigeeinrichtung mit einer ersten holografischen Einheit und einer zweiten holografischen Einheit angegeben. Dabei sind die erste
Projektionseinrichtung und die zweite Projektionseinrichtung ausgeführt, ein erstes Bild bzw. ein zweites Bild auf die holografische Anzeigeeinrichtung zu werfen. Die erste holografische Einheit und die zweite holografische Einheit sind ausgeführt, das erste Bild bzw. das zweite Bild so zu streuen, dass ein erstes Auge eines Bedieners das erste Bild und ein zweites Auge des Bedieners das zweite Bild so wahrnimmt, dass bei dem Bediener der Eindruck eines dreidimensionalen
Szenarios entsteht.
Die holografische Anzeigeeinrichtung kann beispielsweise eine Anzeigescheibe und die erste und die zweite holografische Einheit kann beispielsweise ein
Hologramm sein. Die erste Projektionseinrichtung und die zweite
Projektionseinrichtung können beispielsweise Laserprojektoren sein.
Die Hologramme können beispielsweise so eingestellt sein, dass sie jeweils nur das Licht eines der beiden Projektionseinrichtungen aufnehmen und in eine zweite Richtung so lenken bzw. streuen, dass das entsprechende Bild nur aus einem bestimmten Blickwinkel gesehen werden kann. In anderen Worten bedeutet dies, dass jedes Hologramm ausgeführt ist, einstrahlendes Licht nur aus einem vorgegebenen Einfallswinkel aufzunehmen und dieses Licht in einem
vorgegebenen Ausfallswinkel abzugeben. Entsprechend ist die erste Projektionseinrichtung angeordnet, Licht auf das erste Hologramm so zu projizieren, dass dieses unter dem entsprechenden
Einfallswinkel auf das erste Hologramm auftrifft. Analog gilt dies auch für die Anordnung der zweiten Projektionseinrichtung und das zweite Hologramm. Die erste holografische Einheit kann dabei ausgeführt sein, das Licht der ersten Projektionseinrichtung in einen ersten Halbraum zu lenken und die zweite holografische Einheit kann ausgeführt sein, das Licht der zweiten Projektionseinrichtung in einen zweiten Halbraum zu lenken. Bei einem Betrachter der holografischen Anzeigeeinrichtung entsteht damit der Eindruck eines dreidimensionalen Szenarios, wobei ein erstes Auge des Betrachters das erste Bild wahrnimmt und ein zweites Auge des Betrachters das zweite Bild wahrnimmt. Dabei befinden sich das erste Auge in dem ersten Halbraum und das zweite Auge in dem zweiten Halbraum.
Gemäß einer Ausführungsform der Erfindung weist die Anzeigevorrichtung weiterhin eine Erfassungseinheit und einen Aktuator auf. Dabei ist die
Erfassungseinheit ausgeführt, eine Position des ersten Auges und des zweiten Auges des Bedieners zu ermitteln. Der Aktuator ist ausgeführt, die holografische Anzeigeeinrichtung so zu bewegen, dass eine Blickrichtung des Bedieners in einer Sagittalebene der Anzeigeeinrichtung senkrecht auf die Anzeigeeinrichtung trifft.
Da der Eindruck eines dreidimensionalen Szenarios bei dem Bediener dadurch entsteht, dass jedes Auge des Bedieners ein eigenes Bild sieht, ist es notwendig, dass sich jeweils ein Auge des Bedieners in dem diesem Augen zugeordneten Halbraum befindet.
Selbstverständlich kann die Blickrichtung des Bedieners in der Sagittalebene auch unter einem anderen beliebigen Winkel auf die Anzeigeeinrichtung treffen, solange dieser Winkel der Abstrahlrichtung der Bilder durch die Hologramme so entspricht, dass jedes Auge das ihm zugewiesene Bild wahrnehmen kann.
Ein Halbraum bezeichnet dabei ein räumliches Gebiet auf der Betrachtungsseite der holografischen Anzeigeeinrichtung, in welchem nur das Bild der ersten
Projektionseinrichtung bzw. das Bild der zweiten Projektionseinrichtung von dem in dem entsprechenden Halbraum befindlichen Auge wahrgenommen werden kann. Die Anordnung des ersten Halbraumes und des zweiten Halbraumes ist dabei durch die Anordnung der Augen des Bedieners vorgegeben, womit der erste Halbraum und der zweite Halbraum horizontal zueinander versetzt sind, so dass sich jeweils ein Auge des Bedieners in dem ersten Halbraum und dem zweiten Halbraum befindet.
Die erste holografische Einheit und die zweite holografische Einheit können so ausgeführt sein, dass eine Positionierung des ersten Halbraumes und des zweiten Halbraumes in Abhängigkeit eines Augenabstandes zwischen dem ersten Auge und dem zweiten Auge des Bedieners und/oder in Abhängigkeit eines Abstandes des Bedieners von der holografischen Anzeigeeinrichtung angepasst wird.
Insbesondere bei einer horizontalen bzw. seitlichen Bewegung des Bedieners in Bezug zu der holografischen Anzeigeeinrichtung kann es vorkommen, dass sich zumindest ein Auge aus dem für dieses Auge vorgesehenen Halbraum
herausbewegt und so der Eindruck eines dreidimensionalen Szenarios gestört wird.
In anderen Worten bedeutet dies, dass das erste Auge und das zweite Auge des Bedieners das erste Bild bzw. das zweite Bild deswegen einzeln wahrnehmen, weil der erste Halbraum und der zweite Halbraum so horizontal versetzt sind, wie dies von dem horizontalen Augenabstand des Bedieners vorgegeben ist. Eine Veränderung der Betrachtungsposition des Bedieners in der Vertikalen führt hingegen nicht dazu, dass das eine Auge sich in den Halbraum des anderen Auges bewegt.
Eine vertikale Bewegung des Bedieners kann dazu führen, dass der Abstand von den Augen des Bedieners zu der holografischen Anzeigeeinrichtung sich verändert. Dies mag dazu führen, dass die Wahrnehmung des ersten Bildes und/oder des zweiten Bildes gestört wird. Entsprechend kann die
Anzeigeeinrichtung auch so bewegt werden, dass der Abstand der Augen des Bedieners von der Anzeigeeinrichtung im Wesentlichen konstant bleibt. In anderen Worten bedeutet dies, dass die Anzeigeeinrichtung in einer Richtung hin auf den Bediener und weg von dem Bediener bewegt werden kann. Es kann aber auch die erste holografische Einheit oder die zweite holografische Einheit so ausgeführt sein, dass Anpassungen an den holografischen Einheiten so vorgenommen werden können, dass die holografischen Einheiten sich an vertikale Bewegungen des Benutzers anpassen und eine Wahrnehmung des ersten Bildes und des zweiten Bildes trotz schwankendem Abstand der Augen des Bedieners zur Anzeigeeinrichtung ermöglicht wird.
Zur Verbesserung des Bedienkomforts der Anzeigevorrichtung kann die
holografische Anzeigeeinrichtung mittels des Aktuators um eine vertikale Achse der Anzeigeeinrichtung so gedreht werden, dass sich die Augen des Bedieners unabhängig von dessen horizontaler Positionierung immer in dem dem jeweiligen Auge zugewiesenen Halbraum befinden.
Die Sagittalebene der Anzeigeeinrichtung wird aufgespannt durch eine
Blickrichtung des Bedieners auf die Anzeigeeinrichtung und eine horizontale Achse der Anzeigeeinrichtung. Eine vertikale Bewegung der Augen des Bedieners entspricht einer Änderung der Neigung der Sagittalebene in Bezug zu der
Anzeigeeinrichtung, indem die Sagittalebene sich um die horizontale Achse der Anzeigeeinrichtung dreht. Eine Bewegung der Augen des Bedieners in einer horizontalen Richtung kann dazu führen, dass ein Auge den ihm zugewiesenen Halbraum verlässt und so der Eindruck eines dreidimensionalen Szenarios gestört wird. Um den
dreidimensionalen Eindruck bei dem Bediener aufrecht zu erhalten, muss nun die holografische Anzeigeeinrichtung so um ihre vertikale Achse gedreht werden, dass die Erstreckung des ersten Halbraumes und des zweiten Halbraumes in Übereinstimmung mit dem ersten Auge und dem zweiten Auge des Bedieners gebracht wird.
In anderen Worten bedeutet dies, dass der Winkel zwischen Blickrichtung des Betrachters auf die Anzeigeeinrichtung und der Anzeigeeinrichtung konstant bleibt. Dieser Winkel kann dabei ein beliebiger Winkel sein, ausschlaggebend ist, dass er bei einer horizontalen Bewegung der Augen des Bedieners konstant bleibt. Bevorzugterweise bildet die Blickrichtung in der Sagittalebene mit der Anzeigeeinrichtung einen rechten Winkel, d. h. einen Winkel von 90 Grad.
Gemäß einer weiteren Ausführungsform der Erfindung weist die Erfassungseinheit wenigstens eine Kamera auf.
Die Kamera kann dabei ausgeführt sein, die Position wenigstens eines Auges des Bedieners so zu ermitteln, dass der Aktuator angeleitet wird, die holografische Anzeigeeinrichtung in eine Position zu bewegen, d.h. um deren horizontale Achse zu drehen, so dass der Bediener mit dem ersten Auge das erste Bild und mit dem zweiten Auge das zweite Bild der holografischen Anzeigeeinrichtung wahrnimmt. Die Kamera kann aber auch ausgeführt sein, einen eindeutig identifizierbaren Gegenstand, welcher sich beispielsweise neben einem der Augen des Bedieners befindet, zu folgen. Bei diesem eindeutig identifizierbaren Gegenstand kann es sich beispielsweise um einen Aufkleber mit einem visuellen Codierungsmerkmal handeln, beispielsweise einem Balkencode.
Gemäß einer weiteren Ausführungsform ist die holografische Anzeigeeinrichtung ausgeführt, ein Zeigeelement darzustellen. Dabei kann der Bediener mit dem dreidimensionalen Szenario interagieren, indem eine Verbindungslinie von dem ersten Auge oder dem zweiten Auge des Bedieners über das Zeigeelement in das dreidimensionale Szenario gebildet wird. Die Verbindungslinie kann aber auch als Mittelwert zwischen den beiden Verbindungslinien vom linken Auge bzw. rechten Auge über das Zeigeelement in das dreidimensionale Szenario gebildet werden.
Über die berechnete Verbindungslinie von einem Auge des Bedieners über das Zeigeelement kann ermittelt werden, welches Element in dem dreidimensionalen Szenario ausgewählt wurde.
Gemäß einer weiteren Ausführungsform der Erfindung wird das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert, indem der Bediener die
Anzeigeeinrichtung mit einem Finger berührt.
Beispielsweise kann die holografische Anzeigeeinrichtung eine
berührungsempfindliche Schicht aufweisen, welche ausgeführt ist, einen
Berührungspunkt eines Fingers des Bedieners auf der Anzeigeeinrichtung zu ermitteln.
Ebenso kann mittels anderer Techniken für berührungsempfindliche
Abtasteinrichtungen wie beispielsweise Frustrated Total Internal Reflection (FTIR) die Position eines Fingers auf der holografischen Anzeigeeinrichtung bestimmt werden.
Gemäß einer weiteren Ausführungsform der Erfindung wird das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert, indem die Erfassungseinheit eine Position des Fingers des Bedieners erfasst.
Dabei kann die Erfassungseinheit die Position des Fingers grundsätzlich analog zu der Fassung der Position des Auges vornehmen, was weiter oben im Detail beschrieben wurde.
Die Erfassungseinheit kann dabei eine Vielzahl von Erfassungselementen aufweisen, wovon eine erste Gruppe mehrerer Erfassungselemente für die Erfassung der Position der Augen des Bedieners und eine zweite Gruppe mehrerer Erfassungselemente für die Erfassung der Position des Fingers des Bedieners ausgeführt sein können. Die Positionierung des Zeigeelementes auf der Anzeigeeinrichtung kann weiterhin auch mittels einer Eingabeeinrichtung wie z.B. einer sogenannten Computermaus oder einem Trackball oder über eine Tastatur mit Steuerpfeilen sowie beliebigen weiteren Eingabeeinrichtungen erfolgen. Gemäß einer weiteren Ausführungsform der Erfindung weist die
Anzeigevorrichtung ein zweidimensionales Anzeigeelement auf, welches ausgeführt ist, dem Bediener Informationen in grafischer und schriftlicher Form bereitzustellen. Bei den auf dem zweidimensionalen Anzeigeelement darzustellenden
Informationen kann es sich um beliebige Informationen handeln, welche nicht in dem dreidimensionalen Szenario dargestellt werden können oder müssen.
Handelt es sich bei dem dreidimensionalen Szenario beispielsweise um einen zu überwachenden Luftraum mit darin befindlichen Luftfahrzeugen, können auf dem zweidimensionalen Anzeigeelement Informationen zu einem ausgewählten Luftfahrzeug, wie z. B. Geschwindigkeit, Flughöhe, Wetterdaten oder sonstige Daten angezeigt werden. Das zweidimensionale Anzeigeelement kann berührungssensitiv sein.
Damit ermöglicht es das zweidimensionale Anzeigeelement, eine Bedienung analog zur Interaktion mit dem dreidimensionalen Szenario bereitzustellen. Gemäß einem weiteren Aspekt der Erfindung ist eine Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung des dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern angegeben, welche eine Vielzahl von Anzeigevorrichtungen wie oben und im Folgenden beschrieben aufweist und wobei jeweils einem Bediener wenigstens eine
Anzeigevorrichtung zugewiesen ist.
Die Darstellungsvorrichtung ermöglicht damit die gemeinsame und kooperative Bearbeitung eines Szenarios durch mehrere Bediener. Dabei können die
Anzeigevorrichtungen räumlich getrennt oder benachbart angeordnet sein. Beispielsweise kann eine Vielzahl von Anzeigevorrichtungen an einem
Arbeitsplatz, beispielsweise einem Tisch, nebeneinander angeordnet sein und so neben der gemeinsamen Interaktion der Bediener mit dem dreidimensionalen Szenario auch eine unmittelbare Kommunikation der Bediener untereinander ermöglichen.
Die Anzeigevorrichtungen können aber auch räumlich getrennt voneinander angeordnet sein und dennoch das gemeinsame kooperative Bearbeiten eines dreidimensionalen Szenarios ermöglichen. Dabei können die
Anzeigevorrichtungen in verschiedenen Räumen, in verschiedenen Gebäuden und sonst beliebig räumlich voneinander getrennt angeordnet sein. Es muss lediglich gewährleistet sein, dass alle Anzeigevorrichtungen eine Verbindung zu einem zentralen Rechensystem haben, welches für die Darstellung des
dreidimensionalen Szenarios auf den Anzeigevorrichtungen zuständig ist. Selbstverständlich kann jede Anzeigevorrichtung auch über eine dezentrale
Rechenvorrichtung verfügen, welche ausgeführt ist, die Bildprojektion der ersten Projektionseinrichtung und der zweiten Projektionseinrichtung zu steuern. Dabei kann die dezentrale Rechenvorrichtung mit dem zentralen Rechensystem verbunden sein, wobei das zentrale Rechensystem lediglich Steuerung und Koordination mehrerer dezentraler Rechenvorrichtungen ausführt. Durch den erfindungsgemäßen Aufbau der Anzeigevorrichtungen ist es möglich, die Anzahl der Bediener beliebig zu skalieren. Beispielsweise kann die
Darstellungsvorrichtung für vier, acht, zwölf oder sonst jede beliebige Anzahl an Bedienern ausgeführt sein, wobei ein Parameter für die Festlegung der Anzahl der Bediener die Komplexität und das Ausmaß des zu überwachenden
dreidimensionalen Szenarios sein kann.
Ein zentrales Rechensystem steuert dabei die Anzeigevorrichtungen so, dass bei jedem Bediener der Eindruck eines dreidimensionalen Szenarios entsteht.
Die erfindungsgemäße Darstellungsvorrichtung kann dabei beispielsweise für die kooperative Missionsplanung von Land-, Wasser- und Luftfahrzeugen, eine gemeinsame Missionsdurchführung von mehreren unbemannten Land-, Wasser- und Luftfahrzeugen durch die jeweiligen Fahrzeugbediener, die kooperative Überwachung von Lufträumen oder Landesgrenzen oder sogar für die
Überwachung von Veranstaltungen mit Massenpublikum, beispielsweise in
Fußball- oder Konzertstadien eingesetzt werden.
In Abhängigkeit des Personalbedarfs für die zu erfüllende Aufgabe kann eine erfindungsgemäße Darstellungsvorrichtung so erweitert werden, dass jedem Bediener eine Anzeigevorrichtung oder mehrere Anzeigevorrichtungen zur Verfügung gestellt werden. Das zentrale Rechensystem steuert dabei die auf die einzelnen Anzeigevorrichtungen verteilten Darstellungen bzw.
Darstellungsausschnitte so, dass die Bediener das dreidimensionale Szenario gemeinsam und kooperativ bearbeiten.
Selbstverständlich kann eine wie oben und im Folgenden beschriebene
Darstellungsvorrichtung auch zu Übungs- und Auswertezwecken genutzt werden. Gemäß einer Ausführungsform der Erfindung sieht jeder Bediener das
dreidimensionale Szenario aus einer realen Perspektive. Dabei entspricht die reale Perspektive einer Blickperspektive des Bedieners auf das dreidimensionale Szenario entsprechend einer Position des Bedieners an der
Darstellungsvorrichtung. Im Falle der Luftraumüberwachung durch beispielsweise vier Bediener entspricht die reale Perspektive auf das dreidimensionale Szenario, d. h. den zu
überwachenden Luftraum, derjenigen Blickperspektive, als wären die Bediener in Bezug zu dem überwachenden Luftraum so positioniert, wie sie in Bezug zu dem dreidimensionalen Szenario des Luftraumes positioniert sind.
In anderen Worten bedeutet dies, dass beispielsweise einer von vier gleichmäßig um die Darstellungsvorrichtung verteilten Bedienern auf das dreidimensionale Szenario aus einer östlichen Richtung, ein zweiter Bediener aus einer südlichen Richtung, ein dritter Bediener aus einer westlichen Richtung und ein vierter Bediener aus einer nördlichen Richtung auf das dreidimensionale Szenario des zu überwachenden Luftraumes blickt.
Gemäß einer weiteren Ausführungsform der Erfindung sieht jeder Bediener das dreidimensionale Szenario aus einer geklonten Perspektive.
Dabei entspricht die geklonte Perspektive einer vorgegebenen Blickperspektive des Bedieners auf das dreidimensionale Szenario. Insbesondere können alle oder auch nur ein vorgebbarer Teil der Bediener das dreidimensionale Szenario aus der gleichen Blickperspektive betrachten.
So kann beispielsweise ein Bediener bei großem Luftverkehrsaufkommen in dem von ihm zu überwachenden Bereich von einem zweiten Bediener unterstützt werden, indem beiden Bedienern auf ihrer Anzeigevorrichtung die gleiche
Perspektive auf das dreidimensionale Szenario abgebildet wird. Gemäß einer weiteren Ausführungsform der Erfindung sieht jeder Bediener das dreidimensionale Szenario aus einer individuellen Perspektive.
Dabei entspricht die individuelle Perspektive einer von jedem Bediener beliebig einstellbaren Blickperspektive auf das dreidimensionale Szenario. In anderen Worten bedeutet dies, dass ein Bediener seine Perspektive so einstellen kann, als bewegte er sich frei in dem dargestellten Raum.
Ebenso wie der Bediener eine Perspektive auf das dreidimensionale Szenario ändern kann, kann der Bediener einen Bereich des dreidimensionalen Szenarios auswählen und vergrößern, beispielsweise um eine erhöhte Detailtreue der Darstellung zu erhalten.
Gemäß einer weiteren Ausführungsform der Erfindung ist jedem Bediener eine zweite Anzeigevorrichtung zugewiesen, welche ausgeführt ist, eine
dreidimensionale Repräsentation eines räumlich entfernten
Kommunikationspartners darzustellen.
Insbesondere im Zusammenhang mit räumlich verteilten Anzeigevorrichtungen kann hier auch ein Bediener einer entfernten Anzeigevorrichtung dargestellt werden.
Gemäß einem weiteren Aspekt der Erfindung wird die Darstellungsvorrichtung wie oben und im Folgenden beschrieben zur kooperativen Überwachung von
Lufträumen verwendet.
Gemäß einem weiteren Aspekt der Erfindung ist ein Verfahren zur Darstellung eines dreidimensionalen Szenarios angegeben.
In einem Schritt erfolgt dabei ein Projizieren jeweils eines ersten Bildes und eines zweiten Bildes auf jeweils eine holografische Anzeigeeinrichtung aus einer Vielzahl von holografischen Anzeigeeinrichtungen, so dass bei einem Betrachter der dreidimensionalen Anzeigevorrichtung der Eindruck eines dreidimensionalen Szenarios entsteht, wobei jede holografische Anzeigeeinrichtung das
dreidimensionale Gesamtszenario aus einer bestimmten Blickperspektive darstellt.
In einem weiteren Schritt erfolgt das Erfassen einer Augenposition des
Betrachters.
In einem weiteren Schritt wird die holografische Anzeigevorrichtung um eine vertikale Achse so gedreht, dass eine Blickrichtung des Betrachters in einer
Sagittalebene der Anzeigevorrichtung unter einem vorgegebenen Winkel auf die holografische Anzeigevorrichtung fällt.
Gemäß einem weiteren Aspekt der Erfindung ist ein Verfahren zum kooperativen Bearbeiten eines dreidimensionalen Szenarios angegeben.
In einem Schritt erfolgt das Erfassen einer Augenposition eines Betrachters des dreidimensionalen Gesamtszenarios. In einem weiteren Schritt wird ein Referenzpunkt auf der holografischen
Anzeigeeinrichtung festgelegt.
In einem weiteren Schritt erfolgt das Berechnen einer Verbindungslinie von der Augenposition über den Referenzpunkt in das dreidimensionale Gesamtszenario.
Sodann erfolgt das Ermitteln eines von dem Betrachter anvisierten Objekts im dreidimensionalen Gesamtszenario.
Im Folgenden werden mit Verweis auf die Figuren Ausführungsbeispiele der Erfindung beschrieben. Fig. 1 zeigt eine Draufsicht einer Anzeigevorrichtung gemäß einem Ausführungsbeispiel der Erfindung.
Fig. 2 zeigt eine Draufsicht einer Anzeigevorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Fig. 3 zeigt eine isometrische Darstellung einer holografischen Anzeigeeinrichtung gemäß einem Ausführungsbeispiel der Erfindung. Fig.4 zeigt eine isometrische Darstellung einer Anzeigevorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Fig. 5 zeigt eine Seitenansicht einer Anzeigevorrichtung gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Fig. 6 zeigt eine Draufsicht einer Darstellungsvorrichtung für ein dreidimensionales Szenario zur kooperativen Bearbeitung durch eine Mehrzahl von Bedienern gemäß einem Ausführungsbeispiel der Erfindung. Fig. 7 zeigt eine schematische Sicht eines Verfahrens zur Darstellung und kooperativen Bearbeitung eines dreidimensionalen Gesamtszenarios.
Detaillierte Beschreibung von Ausführungsbeispielen
Die Darstellungen in den Figuren sind schematisch und nicht maßstabsgetreu.
Werden in der folgenden Figurenbeschreibung gleiche Bezugsziffern verwendet, so betreffen diese gleiche oder ähnliche Elemente.
Fig. 1 zeigt eine Anzeigevorrichtung 100 gemäß einem Ausführungsbeispiel der Erfindung. Die Anzeigevorrichtung weist eine erste Projektionseinrichtung 111 und eine zweite Projektionseinrichtung 1 12 auf, sowie eine holografische
Anzeigeeinrichtung 130 mit einer ersten holografischen Einheit 131 und einer zweiten holografischen Einheit 132. Die erste Projektionseinrichtung 11 1 ist ausgeführt, ein Bild auf die erste holografische Einheit 131 zu projizieren, wobei das Bild der ersten
Projektionseinrichtung in Richtung eines ersten Auges 121 eines Bedieners gelenkt wird und das Bild der zweiten Projektionseinrichtung 1 12 durch die zweite holografische Einheit 132 in Richtung eines zweiten Auges 122 eines Bedieners gelenkt wird.
Durch die unterschiedlichen Bilder, welche von dem ersten Auge und dem zweiten Auge wahrgenommen werden, entsteht bei dem Bediener der Eindruck eines dreidimensionalen Szenarios.
Weiterhin zeigt Fig. 1 einen ersten Halbraum 151 und einen zweiten Halbraum 152, in welchen sich das erste Auge bzw. das zweite Auge befinden können, ohne dass der Eindruck eines dreidimensionalen Szenarios gestört wird. Erst bei Verlassen des ersten Halbraumes bzw. des zweiten Halbraumes durch das erste Auge bzw. das zweite Auge wird dieser Eindruck gestört. Weiterhin werden der erste Halbraum und der zweite Halbraum dadurch begrenzt, dass bei einer vertikalen Bewegung des Bedieners sich ein Abstand der Augen des Bedieners von der Anzeigevorrichtung ändert, was ebenfalls die Wahrnehmung des ersten Bildes und/oder des zweiten Bildes stören kann. Um diesem Effekt entgegen zu wirken, dass die Anzeigevorrichtung auf den Benutzer hin oder von diesem weg bewegt werden, so dass eine Abstandsänderung der Augen von der
Anzeigeeinrichtung kompensiert wird.
Fig. 2 zeigt eine Anzeigevorrichtung 100 gemäß einem weiteren
Ausführungsbeispiel der Erfindung. Die Anzeigevorrichtung 100 weist eine holografische Anzeigeeinrichtung 130, einen Aktuator 202 und eine Erfassungseinheit 220 auf.
Die Erfassungseinheit 220 ist ausgeführt, eine Position des Bedieners der
Anzeigevorrichtung zu erfassen. Um zu gewährleisten, dass die Augen des Bedieners unterschiedliche Bilder wahrnehmen, so dass der Eindruck eines dreidimensionalen Szenarios beim Bediener entsteht, kann es in Abhängigkeit der Position des Bedieners in Bezug zu der holografischen Anzeigeeinrichtung 130 notwendig sein, die holografische Anzeigeeinrichtung 130 um eine vertikale Achse 135 entlang des Richtungspfeils 136 so zu drehen, dass jedes Auge des
Bedieners das für dieses Auge vorgesehene Bild wahrnehmen kann bzw. dass sich das erste Auge im ersten Halbraum und das zweiten Auge im zweiten
Halbraum befindet. Fig. 3 zeigt eine holografische Anzeigeeinrichtung 130 in isometrischer
Darstellung. Eine Sagittalebene 310 wird aufgespannt durch eine Blickrichtung 301 des Bedieners auf die Anzeigeeinrichtung 130 und eine horizontale Achse 320 der Anzeigeeinrichtung 130. Damit schneidet die Sagittalebene 310 die Anzeigeeinrichtung 130 unter einem Winkel α 31 1 . Von der Blickrichtung 301 in der Sagittalebene 310 und der
Anzeigeeinrichtung 130 wird der Winkel ß 321 aufgespannt.
Eine Veränderung des Winkels α 31 1 entspricht einer vertikalen Bewegung des Bedieners vor der Anzeigeeinrichtung 130.
Eine horizontale Bewegung des Bedieners vor der Anzeigeeinrichtung 130 bewirkt, dass zumindest ein Auge den für dieses Auge vorgesehenen Halbraum verlässt und so entweder das falsche Bild oder gar kein Bild wahrnimmt, so dass der Eindruck des dreidimensionalen Szenarios gestört wird. Um den Eindruck eines dreidimensionalen Szenarios unabhängig von einer Bewegung des Bedieners aufrecht zu erhalten, wird die holografische Anzeigeeinrichtung 130 von dem Aktuator 202 so bewegt, dass der Winkel ß 321 konstant einen vorgebbaren bzw. bestimmten Wert beibehält. Fig. 4 zeigt eine Anzeigevorrichtung 100 gemäß einem weiteren
Ausführungsbeispiel der Erfindung. Die Anzeigevorrichtung weist eine
holografische Anzeigeeinrichtung 130, ein zweidimensionales Anzeigeelement 430, eine zweite holografische Anzeigeeinrichtung 230 und vier Kameras 221 , 222, 223, 224 auf, welche die Erfassungseinheit für die Position der Augen des Bedieners und/oder den Finger des Bedieners darstellen.
Die Kameras können ausgeführt sein, eine Positionierung des Fingers auf der Anzeigeeinrichtung zu ermitteln, aber auch, eine Positionierung des Fingers im Raum zu ermitteln.
Sowohl die erste Anzeigeeinrichtung 130 als auch die zweite Anzeigeeinrichtung 230 können von einem Aktuator (nicht gezeigt) so um ihre jeweilige vertikale Achse gedreht werden, dass eine Blickrichtung 301 in einem konstanten vorgebbaren bzw. vorgegebenen Winkel auf die Anzeigeeinrichtung 130 und die Anzeigeeinrichtung 230 fällt.
Fig. 5 zeigt eine Seitenansicht einer holografischen Anzeigeeinrichtung 130 und eines schematisch dargestellten dreidimensionalen Szenarios 550. Die
Anzeigeeinrichtung 130 ist ausgeführt, ein Zeigeelement 510 darzustellen.
Um eine Interaktion des Bedieners mit dem dreidimensionalen Szenario zu ermöglichen, ist das Zeigeelement 510 auf der Anzeigeeinrichtung 130 bewegbar. Dies kann beispielsweise durch Berührung der Anzeigeeinrichtung 130 mit einem Finger erfolgen oder beispielsweise durch Bewegung oder Betätigung eines Eingabeelementes, wie beispielsweise einer sog. Computermaus. Zur Erkennung des ausgewählten Bereiches 555 in dem dreidimensionalen Szenario wird eine Verbindungslinie 51 1 vom Auge 121 , 122 des Bedieners über das Zeigeelement 510 in das dreidimensionale Szenario 550 gebildet. Anhand der Verbindungslinie 51 1 kann das von dem Bediener ausgewählte Element 555 in dem dreidimensionalen Szenario bestimmt werden.
Bei dem ausgewählten Element 555 kann es sich um ein einzelnes Objekt oder einen Teil eines Objektes in dem dreidimensionalen Szenario handeln.
Beispielsweise kann ein Fahrzeug, wie beispielsweise ein Luftfahrzeug, oder ein beliebiger Teil des Fahrzeugs, beispielsweise eine Tragfläche oder ein Ruder, ausgewählt werden.
Die Verbindungslinie 51 1 entspricht der Blickrichtung 301 des Bedieners auf die Anzeigeeinrichtung 130, womit die Verbindungslinie 51 1 und die
Anzeigeeinrichtung 130 den Winkel α 31 1 einschließt. Wie bereits dargestellt, beeinflusst eine Änderung des Winkels α den Eindruck der Wahrnehmung eines dreidimensionalen Szenarios bei dem Bediener nicht. Ebenso ohne Einfluss auf die dreidimensionale Wahrnehmung durch den Bediener ist eine Änderung des Winkels γ 501 zwischen der Anzeigeeinrichtung 130 und einer horizontalen Linie 502, beispielsweise der Oberfläche eines Tisches.
Fig. 6 zeigt eine Darstellungsvorrichtung 600 für ein dreidimensionales Szenario zur kooperativen Bearbeitung des zweidimensionalen Szenarios durch eine Mehrzahl von Bedienern gemäß einem Ausführungsbeispiel der Erfindung. Es sind vier Anzeigevorrichtungen 100 an einem Arbeitsplatz, beispielsweise einem Tisch 502, angeordnet. Dabei ist jeder Anzeigevorrichtung jeweils ein Bediener 120 zugewiesen.
Jeder Bediener 120 blickt auf die ihm zugewiesene Anzeigevorrichtung 100, so dass bei jedem Bediener der Eindruck eines dreidimensionalen Szenarios hervorgerufen wird. Aus Sicht der Bediener 120 stellt sich die Situation so dar, dass die Bediener ein virtuelles dreidimensionales Gesamtszenario 610
betrachten.
Es sei darauf hingewiesen, dass das virtuelle dreidimensionale Gesamtszenario lediglich sichtbar ist, wenn die Bediener die ihnen zugewiesene bzw. irgendeine Anzeigevorrichtung 100 betrachten.
Die in Fig. 6 gezeigte Darstellungsvorrichtung ermöglicht damit die gemeinsame kooperative Bearbeitung eines dreidimensionalen Gesamtszenarios durch eine Mehrzahl von Bedienern, wobei die Bearbeitung des dreidimensionalen Szenarios dadurch unterstützt werden kann, dass den Bedienern eine unmittelbare
Kommunikation und Abstimmung untereinander ermöglicht wird.
Fig. 7 zeigt ein Verfahren 700 zur Darstellung und kooperativen Bearbeitung eines dreidimensionalen Gesamtszenarios gemäß einem Ausführungsbeispiel der Erfindung.
In einem ersten Schritt 701 erfolgt dabei ein Projizieren jeweils eines ersten Bildes und eines zweiten Bildes auf jeweils eine holografische Anzeigeeinrichtung aus einer Vielzahl von holografischen Anzeigeeinrichtungen, so dass bei einem Betrachter der dreidimensionalen Anzeigevorrichtung der Eindruck eines dreidimensionalen Szenarios entsteht, wobei jede holografische
Anzeigeeinrichtung das dreidimensionale Gesamtszenario aus einer bestimmten Blickperspektive darstellt.
Dabei werden das erste Bild und das zweite Bild von jeweils einer ersten
Projektionseinrichtung bzw. einer zweiten Projektionseinrichtung auf eine holografische Anzeigeeinrichtung projiziert. Durch das Projizieren einer Vielzahl von ersten Bildern und zweiten Bildern auf jeweils eine Anzeigeeinrichtung aus einer Vielzahl von holografischen Anzeigeeinrichtungen wird es einer Vielzahl von Bedienem ermöglicht, das dreidimensionale Szenario jeweils aus einer eigenen Perspektive zu betrachten.
Entsprechend wird die Blickperspektive eines Bedieners auf das dreidimensionale Szenario aus jeweils einem Paar eines ersten Bildes und eines zweiten Bildes, welche auf die diesem Bediener zugewiesene Anzeigeeinrichtung projiziert werden, zusammengestellt.
Das Anbieten des ersten Bildes und des zweiten Bildes für die Vielzahl von Anzeigevorrichtungen kann beispielsweise von einem zentralen Steuersystem oder zentralen Rechnersystem gesteuert werden. Das zentrale Steuersystem kann ausgeführt sein, die verschiedenen weiter oben und im Folgenden
dargestellten Blickperspektiven eines Bedieners auf das dreidimensionale
Gesamtszenario bereit zu stellen.
Dabei kann jede holografische Anzeigeeinrichtung das dreidimensionale
Gesamtszenario aus einer bestimmten weiter oben beschriebenen
Blickperspektive darstellen. Beispielsweise kann das dreidimensionale Gesamtszenario so dargestellt werden, dass mehrere Anzeigeeinrichtung, welche an einem Arbeitsplatz angeordnet sind, das dreidimensionale Gesamtszenario aus einer sogenannten natürlichen
Perspektive darstellen. So können beispielsweise vier Anzeigeeinrichtungen an einem Arbeitsplatz angeordnet sein, so dass eine erste Anzeigeeinrichtung das dreidimensionale Gesamtszenario aus einer ersten Perspektive, beispielsweise aus östlicher Richtung, zeigt, eine zweite Anzeigeeinrichtung aus einer zweiten Perspektive, beispielsweise aus südlicher Richtung zeigt, eine dritte Anzeigeeinrichtung aus einer dritten Perspektive, beispielsweise westlicher Richtung zeigt und eine vierte Anzeigeeinrichtung aus einer vierten Perspektive, beispielsweise nördlicher Richtung zeigt.
Dabei können die Blickperspektiven der Bediener derjenigen Perspektive entsprechen, welche die Bediener auf eine Miniaturabbildung des
dreidimensionalen Gesamtszenarios hätten, wenn diese Miniaturabbildung tatsächlich zwischen den Bedienen in der Mitte des Arbeitsplatzes läge.
Selbstverständlich kann jede Anzeigeeinrichtung eine beliebige Perspektive auf das dreidimensionale Gesamtszenario zeigen.
In einem zweiten Schritt 702 erfolgt das Erfassen einer Augenposition des
Betrachters. Dabei kann beispielsweise lediglich die Position eines Auges, beispielsweise des linken Auges oder des rechten Auges, erfasst und auf die Position des rechten Auges bzw. des linken Auges des Bedieners geschlossen werden. Es kann aber auch die Position des rechten Auges und des linken Auges des Bedieners erfasst werden, um so dem individuellen horizontalen Augenabstand verschiedener Bediener gerecht zu werden.
Ebenso kann das zentrale Steuersystem eine Bedieneridentifikation aufweisen, über welche nach Erfassen einer ersten Augenposition durch den dem zentralen Steuersystem bekannten individuellen horizontalen Augenabstand die Position des zweiten Auges bestimmt wird.
Das Erfassen der Augenposition kann mittels einer Erfassungseinheit erfolgen, beispielsweise einer oder einer Vielzahl von Kameras. Dabei kann das Erfassen der Augenposition mittels Bilderkennung erfolgen. Ebenso kann die Augenposition erfasst werden, indem ein Marker in einem bestimmten Abstand und Winkel zu einem Auge beispielsweise an der Stirn des Bedieners angebracht wird. Über die Erkennung der Position des Markers bestimmt das zentrale Steuersystem die Position eines Auges oder beider Augen des Bedieners.
In einem dritten Schritt 703 wird die holografische Anzeigevorrichtung um eine vertikale Achse so gedreht, dass eine Blickrichtung des Betrachters in einer Sagittalebene der Anzeigevorrichtung unter einem vorgegebenen Winkel auf die holografische Anzeigevorrichtung fällt.
Damit wird gewährleistet, dass ein erstes Auge des Bedieners stets das erste Bild und ein zweites Auge stets ein zweites Bild, welches auf die holografische Anzeigeeinrichtung projiziert wird, so wahrnimmt, dass beim Bediener der Eindruck eines dreidimensionalen Gesamtszenarios entsteht.
Insbesondere wird durch das Drehen der Anzeigeeinrichtung vermieden, dass ein Auge des Bedieners kein Bild oder beide Augen das gleiche Bild wahrnehmen, was den dreidimensionalen Eindruck stören würde.
In anderen Worten soll durch das Drehen der Anzeigeeinrichtung um eine vertikale Achse eine Seitwärtsbewegung des Bedieners kompensiert werden, so dass das erste Bild und das zweite Bild stets auf jeweils ein Auge treffen. Eine vertikale Bewegung des Bedieners ist nicht im gleichen Maße wie die
Seitwärtsbewegung bzw. horizontale Bewegung geeignet, den dreidimensionalen Eindruck zu stören, da durch den horizontalen Abstand der Augen des Bedieners die Augen unabhängig von der vertikalen Position des Bedieners unterschiedliche Bilder wahrnehmen können.
In einem vierten Schritt 704 wird ein Referenzpunkt auf der holografischen Anzeigeeinrichtung festgelegt. Der Referenzpunkt kann dabei als Punkt auf der holografischen
Anzeigeeinrichtung festgelegt werden. Dann handelt es sich um eine Festlegung auf einer der Anzeigeeinrichtung entsprechenden Ebene, also um eine
zweidimensionale Positionierung. Der Referenzpunkt kann aber auch als Punkt im Raum definiert werden. Zur Festlegung des Referenzpunktes kann dabei insbesondere ein Finger des Bedieners dienen, der über eine berührungssensitive Erfassungsschicht auf der Anzeigeeinrichtung den Referenzpunkt definiert.
Ebenso kann eine Position eines Fingers des Bedieners im Raum oder auf der Anzeigeeinrichtung mittels eines Erfassungssystems bestimmt werden. Dabei kann die Fingerposition grundsätzlich nach den gleichen Verfahren bestimmt werden, wie die weiter oben beschriebene Erfassung der Augenposition des Bedieners. Ebenso kann der Referenzpunkt durch Bewegung eines herkömmlichen grafischen Zeigegerätes, beispielsweise einer sogenannten Computermaus oder eines Trackballs, welches mit dem zentralen Steuersystem als Eingabegerät verbunden ist, erfolgen. In einem fünften Schritt 705 erfolgt das Berechnen einer Verbindungslinie von der Augenposition über den Referenzpunkt in das dreidimensionale Gesamtszenario.
Das zentrale Steuersystem kennt die Position wenigstens eines Auges des Bedieners, welche als erster Punkt der Verbindungslinie dient. Weiterhin ist der Referenzpunkt bekannt, welcher als zweiter Punkt der Verbindungslinie dient.
Sodann erfolgt in einem sechsten Schritt 706 das Ermitteln eines von dem
Betrachter anvisierten Objekts im dreidimensionalen Gesamtszenario. Über Interpolation wird die Verbindungslinie in das dreidimensionale Szenario hinein verlängert und so ein Objekt in diesem Szenario identifiziert, welches der Bediener anvisiert bzw. ausgewählt hat, d.h. auf welches Objekt der Bediener gezeigt hat.
Im Weiteren können auf das ausgewählte Objekt beliebige zur Verfügung stehende Aktionen angewandt werden. Dabei kann das zentrale Steuersystem ausgeführt sein, dem Bediener eine Auswahl von Aktionen aus einer
Gesamtmenge von Aktionen anzubieten, wobei die Auswahl von Aktionen solche Aktionen aufweist, welche auf das ausgewählte Objekt in der aktuellen Situation anwendbar sind.
Beispielsweise kann die Gesamtmenge von Aktionen alle Aktionen für ein unbemanntes Fluggerät aufweisen und die Auswahl von Aktionen nur diejenigen Aktionen, welche in einer konkreten Situation zulässig sein sollen. Beispielsweise kann die Anweisung zur Senkung der Flughöhe in einem solchen Fall unzulässig sein, wenn die Mindestflughöhe unterschritten würde.
Damit ermöglicht die erfindungsgemäße Vorrichtung und/oder das
erfindungsgemäße Verfahren eine einfache, schnelle und intuitive Bedienung eines durch mehrere Bediener kooperativ bearbeitbaren dreidimensionalen Szenarios. Insbesondere kann die Anzahl der Bediener eine beliebige Anzahl sein, da das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung beliebig skalierbar sind.

Claims

Patentansprüche
Darstellungsvorrichtung (600) zum kooperativen Bearbeiten eines virtuellen dreidimensionalen Szenarios durch eine Mehrzahl von Bedienern, aufweisend:
- eine Vielzahl von Anzeigevorrichtungen (100) zum Darstellen des virtuellen dreidimensionalen Szenarios,
wobei die Vielzahl von Anzeigevorrichtungen ausgeführt ist, das virtuelle dreidimensionale Szenario aus verschiedenen Blickperspektiven
darzustellen;
wobei einem Bediener wenigstens eine Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen zuordenbar ist;
wobei jede Anzeigevorrichtung ausgeführt ist, dem dieser
Anzeigevorrichtung zuordenbaren Bediener eine Blickperspektive auf das virtuelle dreidimensionale Szenario entsprechend einer Position der
Anzeigevorrichtung mit Bezug zu dem virtuellen dreidimensionalen
Szenario bereit zu stellen.
Darstellungsvorrichtung nach Anspruch 1 ,
wobei jede Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen aufweist:
- eine erste Projektionseinrichtung (111 ) und eine zweite
Projektionseinrichtung (112); und
- eine holografische Anzeigeeinrichtung (130) mit einer ersten
holografischen Einheit (131 ) und einer zweiten holografischen Einheit (132); wobei die erste Projektionseinrichtung und die zweite Projektionseinrichtung ein erstes Bild bzw. ein zweites Bild auf die holografische
Anzeigeeinrichtung werfen;
wobei die erste holografische Einheit und die zweite holografische Einheit ausgeführt sind, das erste Bild bzw. das zweite Bild so zu streuen, dass ein erstes Auge (121 ) eines Bedieners das erste Bild und ein zweites Auge (122) des Bedieners das zweite Bild so wahrnehmen, dass bei dem
Bediener der Eindruck eines dreidimensionalen Szenarios entsteht.
3. Darstellungsvorrichtung nach einem der Ansprüche 1 oder 2,
wobei jede Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen a ufweist:
- eine Erfassungseinheit (220);
- einen Aktuator (202);
wobei die Erfassungseinheit ausgeführt ist, eine Position des ersten Auges und des zweiten Auges des Bedieners zu ermitteln;
wobei der Aktuator ausgeführt ist, die holografische Anzeigeeinrichtung so zu bewegen, dass eine Blickrichtung (301 ) des Bedieners in einer
Sagittalebene (310) der Anzeigeeinrichtung senkrecht auf die
Anzeigeeinrichtung trifft.
4. Darstellungsvorrichtung nach Anspruch 3,
wobei die Erfassungseinheit wenigstens eine Kamera (221 , 222, 223, 224) aufweist.
5. Darstellungsvorrichtung nach einem der Ansprüche 2 bis 4,
wobei die holografische Anzeigeeinrichtung ausgeführt ist, ein
Zeigeelement (510) darzustellen;
wobei der Bediener mit dem virtuellen dreidimensionalen Szenario interagieren kann, indem eine Verbindungslinie (511) von dem ersten Auge oder dem zweiten Auge des Bedieners über das Zeigeelement in das virtuelle dreidimensionale Szenario gebildet wird.
6. Darstellungsvorrichtung nach Anspruch 5,
wobei das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert wird, indem der Bediener die Anzeigeeinrichtung mit einem Finger berührt.
7. Darstellungsvorrichtung nach Anspruch 5,
wobei das Zeigeelement auf der holografischen Anzeigeeinrichtung platziert wird, indem die Erfassungseinheit eine Position des Fingers des Bedieners erfasst.
8. Darstellungsvorrichtung nach einem der Ansprüche 2 bis 7,
wobei jede Anzeigevorrichtung der Vielzahl von Anzeigevorrichtungen aufweist:
- ein zweidimensionales Anzeigeelement (430);
wobei das zweidimensionale Anzeigeelement ausgeführt ist, dem Bediener Informationen in grafischer und schriftlicher Form bereitzustellen.
9. Darstellungsvorrichtung nach einem der vorhergehenden Ansprüche,
wobei einem Bediener eine zweite Anzeigevorrichtung zuordenbar ist;
wobei die zweite Anzeigevorrichtung ausgeführt ist, eine dreidimensionale Repräsentation eines räumlich entfernten Kommunikationspartners darzustellen.
10. Verwendung einer Darstellungsvorrichtung nach einem der Ansprüche 1 bis 9 zur kooperativen Überwachung von Lufträumen.
11. Verfahren zum Darstellen eines virtuellen dreidimensionalen Szenarios, aufweisend die Schritte:
Projizieren jeweils eines ersten Bildes und eines zweiten Bildes auf jeweils eine holografische Anzeigevorrichtung aus einer Vielzahl von
holografischen Anzeigevorrichtungen, so dass bei einem Betrachter der holografischen Anzeigevorrichtung der Eindruck eines dreidimensionalen Szenarios entsteht, wobei jede holografische Anzeigevorrichtung das virtuelle dreidimensionale Szenario aus einer unterschiedlichen
Blickperspektive darstellt, wobei jede Blickperspektive auf das virtuelle dreidimensionale Szenario entsprechend einer Anordnung der
holografischen Anzeigevorrichtung mit Bezug zu dem virtuellen
dreidimensionalen Szenario bereitgestellt wird;
Erfassen einer Augenposition des Betrachters;
Drehen der holografischen Anzeigevorrichtung um eine vertikale Achse, so dass eine Blickrichtung des Betrachters in einer Sagittalebene unter einem vorgegebenen Winkel auf die holografische Anzeigevorrichtung fällt.
12. Verfahren nach Anspruch 11 , aufweisend die Schritte:
Erfassen einer Augenposition eines Betrachters des virtuellen
dreidimensionalen Szenarios;
Festlegen eines Referenzpunktes auf der holografischen
Anzeigevorrichtung;
Berechnen einer Verbindungslinie von der Augenposition über den
Referenzpunkt in das virtuelle dreidimensionale Szenario;
Ermitteln eines von dem Betrachter anvisierten Objekts im virtuellen dreidimensionalen Szenario.
PCT/DE2012/000882 2011-09-08 2012-09-04 Kooperativer 3d-arbeitsplatz WO2013034129A2 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CA2847396A CA2847396A1 (en) 2011-09-08 2012-09-04 Cooperative 3d workstation
EP12783853.0A EP2764698A2 (de) 2011-09-08 2012-09-04 Kooperativer 3d-arbeitsplatz
KR1020147006314A KR20140054214A (ko) 2011-09-08 2012-09-04 협력 3d 워크스테이션
US14/343,470 US20140289649A1 (en) 2011-09-08 2012-09-04 Cooperative 3D Work Station
RU2014113158A RU2637562C2 (ru) 2011-09-08 2012-09-04 Кооперативное трехмерное рабочее место

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011112617A DE102011112617A1 (de) 2011-09-08 2011-09-08 Kooperativer 3D-Arbeitsplatz
DE102011112617.5 2011-09-08

Publications (2)

Publication Number Publication Date
WO2013034129A2 true WO2013034129A2 (de) 2013-03-14
WO2013034129A3 WO2013034129A3 (de) 2013-05-02

Family

ID=47148549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2012/000882 WO2013034129A2 (de) 2011-09-08 2012-09-04 Kooperativer 3d-arbeitsplatz

Country Status (7)

Country Link
US (1) US20140289649A1 (de)
EP (1) EP2764698A2 (de)
KR (1) KR20140054214A (de)
CA (1) CA2847396A1 (de)
DE (1) DE102011112617A1 (de)
RU (1) RU2637562C2 (de)
WO (1) WO2013034129A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018107113A1 (de) * 2018-03-26 2019-09-26 Carl Zeiss Ag Anzeigevorrichtung

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041482A (ko) * 2013-10-08 2015-04-16 삼성전자주식회사 디스플레이 장치 및 이를 이용한 디스플레이 방법
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
CN110782815B (zh) * 2019-11-13 2021-04-13 吉林大学 一种全息立体探测***及其方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291316A (en) * 1991-09-27 1994-03-01 Astronautics Corporation Of America Information display system having transparent holographic optical element
US5694142A (en) * 1993-06-21 1997-12-02 General Electric Company Interactive digital arrow (d'arrow) three-dimensional (3D) pointing
US5798761A (en) * 1996-01-26 1998-08-25 Silicon Graphics, Inc. Robust mapping of 2D cursor motion onto 3D lines and planes
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPP690598A0 (en) * 1998-11-03 1998-11-26 Commonwealth Of Australia, The Control centre console arrangement
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7554541B2 (en) * 2002-06-28 2009-06-30 Autodesk, Inc. Widgets displayed and operable on a surface of a volumetric display enclosure
US7324085B2 (en) * 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
JP2003296757A (ja) * 2002-03-29 2003-10-17 Canon Inc 情報処理方法および装置
JP4147054B2 (ja) * 2002-05-17 2008-09-10 オリンパス株式会社 立体観察装置
DE10259968A1 (de) * 2002-12-16 2004-07-01 X3D Technologies Gmbh Autostereoskopisches Projektionsverfahren und autostereoskopisches Projektionsanordnung
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7092001B2 (en) * 2003-11-26 2006-08-15 Sap Aktiengesellschaft Video conferencing system with physical cues
JP4643583B2 (ja) * 2004-09-10 2011-03-02 株式会社日立製作所 表示装置及び撮像装置
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
RU2277725C1 (ru) * 2004-10-25 2006-06-10 Открытое Акционерное Общество "Пензенское Конструкторское Бюро Моделирования" Устройство отображения визуальной информации авиационного тренажера
EP1667088B1 (de) * 2004-11-30 2009-11-04 Oculus Info Inc. System und Verfahren für interaktive 3D-Luftregionen
JP4419903B2 (ja) * 2005-04-15 2010-02-24 ソニー株式会社 入力装置、入力方法および入力制御プログラム、ならびに、再生装置、再生制御方法および再生制御プログラム
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
US20080094398A1 (en) * 2006-09-19 2008-04-24 Bracco Imaging, S.P.A. Methods and systems for interacting with a 3D visualization system using a 2D interface ("DextroLap")
KR100907104B1 (ko) * 2007-11-09 2009-07-09 광주과학기술원 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템
US8319819B2 (en) * 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
GB0901084D0 (en) * 2009-01-22 2009-03-11 Trayner David J Autostereoscopic display
JP5465523B2 (ja) * 2009-01-29 2014-04-09 三洋電機株式会社 立体画像表示システム
US8363922B2 (en) * 2009-02-12 2013-01-29 International Business Machines Corporation IC layout pattern matching and classification system and method
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
US8494760B2 (en) * 2009-12-14 2013-07-23 American Aerospace Advisors, Inc. Airborne widefield airspace imaging and monitoring
US9083062B2 (en) * 2010-08-02 2015-07-14 Envia Systems, Inc. Battery packs for vehicles and high capacity pouch secondary batteries for incorporation into compact battery packs
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
JP5889539B2 (ja) * 2011-03-28 2016-03-22 独立行政法人石油天然ガス・金属鉱物資源機構 炭化水素の製造方法
EP2691935A1 (de) * 2011-03-29 2014-02-05 Qualcomm Incorporated System zur darstellung von gemeinsam genutzten digitalen schnittstellen in relation zur perspektive eines jeden benutzers
US9143724B2 (en) * 2011-07-06 2015-09-22 Hewlett-Packard Development Company, L.P. Telepresence portal system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2764698A2

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018107113A1 (de) * 2018-03-26 2019-09-26 Carl Zeiss Ag Anzeigevorrichtung

Also Published As

Publication number Publication date
US20140289649A1 (en) 2014-09-25
KR20140054214A (ko) 2014-05-08
WO2013034129A3 (de) 2013-05-02
DE102011112617A1 (de) 2013-03-14
CA2847396A1 (en) 2013-03-14
RU2014113158A (ru) 2015-10-20
RU2637562C2 (ru) 2017-12-05
EP2764698A2 (de) 2014-08-13

Similar Documents

Publication Publication Date Title
EP0836332B1 (de) Positionsadaptiver, autostereoskoper Monitor (PAM)
EP2754298B1 (de) Auswahl von objekten in einem dreidimensionalen virtuellen szenario
DE102005010250B4 (de) Verfahren und Einrichtung zum Nachführen von Sweet-Spots
WO1998015869A1 (de) System zur projektion von insbesondere 3d-bilddarstellungen auf einer bildanzeigeeinrichtung
WO2008141596A1 (de) Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum
EP1730970A1 (de) Vorrichtung und verfahren zur gleichzeitigen darstellung virtueller und realer umgebungsinformationen
EP2464098A2 (de) Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
EP2764698A2 (de) Kooperativer 3d-arbeitsplatz
WO2009062492A2 (de) Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum
WO2013034133A1 (de) Interaktion mit einem dreidimensionalen virtuellen szenario
WO2020126240A1 (de) Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
DE102012211298A1 (de) Anzeigevorrichtung für ein Videoüberwachungssystem sowie Videoüberwachungssystem mit der Anzeigevorrichtung
EP3420539B1 (de) Verfahren zum betrieb einer anzeigevorrichtung und system zur anzeige von realen bildinhalten einer realumgebung überlagerten virtuellen bildinhalten
DE102017208343B4 (de) Anzeigesystem für ein Fahrzeug und Fahrzeug
DE102012005880A1 (de) Verfahren zum Auslegen einer Produktionsumgebung
DE102018212944A1 (de) Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille
DE102018102743A1 (de) Real Sound Transmission
DE102012010799B4 (de) Verfahren zur räumlichen Visualisierung von virtuellen Objekten
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
DE102019131740A1 (de) Verfahren und Anzeigevorrichtung zur Erzeugung eines Tiefeneffekts in der Perspektive eines Beobachters auf einem flachen Anzeigemedium sowie Kraftfahrzeug
DE202019105917U1 (de) Vorrichtungsanordnung zur interaktiven Großdarstellung von Fortbewegungsinformationen bewegter Objekte
DE102004032586B4 (de) Verfahren zur Erzeugung einer dreidimensionalen Darstellung
WO2015024685A1 (de) Verfahren zur darstellung eines in einem volumendatensatz abgebildeten objektes auf einem bildschirm
WO2013034132A2 (de) Abgewinkeltes display zur dreidimensionalen darstellung eines szenarios
EP3446289A1 (de) Verfahren und system zur darstellung einer simulationsumgebung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12783853

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2847396

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20147006314

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012783853

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014113158

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14343470

Country of ref document: US