WO2006136181A1 - Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung - Google Patents
Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung Download PDFInfo
- Publication number
- WO2006136181A1 WO2006136181A1 PCT/EP2005/006617 EP2005006617W WO2006136181A1 WO 2006136181 A1 WO2006136181 A1 WO 2006136181A1 EP 2005006617 W EP2005006617 W EP 2005006617W WO 2006136181 A1 WO2006136181 A1 WO 2006136181A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cameras
- image
- camera
- distance
- control unit
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Definitions
- the invention relates to a method and a device for the stereoscopic recording of objects for a three-dimensional visualization, in particular with an autostereoscopic monitor.
- autostereoscopic monitors In the area of three-dimensional visualization of spatial images, autostereoscopic monitors have been increasingly developed in recent years. These monitors have the advantage that no additional vision aids such as polarization glasses or the like are required to obtain a spatial image impression. Furthermore, it is possible to simultaneously display a number of lateral perspectives with such monitors in such a way that even such viewers can see a three-dimensional image whose viewing direction is not perpendicular but obliquely directed to the display surface of the monitor.
- a general object on which the invention is based is to provide a method and a device with which the object (s) in three perspectives with a comparatively small apparatus and circuit complexity with high stereoscopic reproduction quality three-dimensional can be included. This object is achieved by a method according to claim 1 and / or according to claim 2 and a device according to claim 8.
- a method and a device of the aforementioned type is to be created, with which objects with a high stereoscopic reproduction quality can also be recorded in a plurality of lateral perspectives in order to visualize them, in particular on an autostereoscopic monitor in such a way that Such viewers, whose directions are not perpendicular, but obliquely directed to the monitor surface, can see a spatial image.
- FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
- FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
- FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
- FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
- FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
- FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
- FIG. 1 is a schematic representation of the imaging geometries in the case of two perspectives in plan view
- FIG. 2 is a schematic representation of the viewing directions of a plurality of cameras for reproducing a plurality of perspectives
- Fig. 3 is a schematic illustration of the positioning of cameras for reproducing a plurality of perspectives
- FIG. 4 is a block diagram of a first embodiment of the device according to the invention.
- 5 shows a flow chart of a first embodiment of the method according to the invention
- 6 is a block diagram of a second embodiment of the device according to the invention
- FIG. 7 shows a flow chart of a second embodiment of the method according to the invention.
- 8 is a block diagram of a third embodiment of the device according to the invention.
- FIG. 9 is a flowchart of a third embodiment of the method according to the invention.
- FIG. 1 (A) shows in plan view two cameras K1 and K2 which are mounted on a common stereo base E and aligned with an object point F.
- the vertical distance s between the object point F and the stereo base E is also referred to as parallax.
- the point of intersection of the camera viewing directions, which corresponds to the focused object point F lies on the central axis M between the cameras, so that they have the same distance from the object point F and in each case have an angle ⁇ which is the same in magnitude the parallel viewing direction are pivoted inward.
- this is realized, for example, in such a way that the cameras are pivotally mounted on a common base or platform.
- the dummy window is the area of the real object plane surrounding the object point F in a vertical plane (dummy window plane SF), which is to be imaged onto the display surface of a monitor Mo according to FIG. 1 (B) (also in plan view), from a viewer with the left one and the right eye Al, A2.
- the apparent window spacing represents essentially the distance of the dummy window plane, in which the viewing directions of the cameras Kl and K2 meet in object point F (fixed point).
- the spatial image impression then extends into a region B in front of and behind the targeted object point F.
- all the cameras according to FIG. 3 should have the same distance from the targeted object point F1 or F2, so that they must be positioned on a circle with the relevant object point as the center point. This means that for each target object point, the cameras not only have to be rotated at different angles, but must also be displaced to different degrees in the direction of the object point F1 or F2 (for example in the positions z1 and z2, respectively).
- a viewer can then see a lateral three-dimensional perspective of the object taken for example with the cameras Kl and K2 on an autostereoscopic monitor when the image signals of the cameras Kl and K2 in a corresponding oblique viewing direction on the monitor through this being represented.
- the effort associated with such image acquisition is to be significantly reduced.
- the invention is also advantageous in the above case in which only two cameras are used and only two perspectives of an object point are to be recorded.
- At least two cameras of the known type having the largest possible viewing angle, (in particular substantially 180 °), are used instead of cameras with a conventional viewing angle of, for example, approximately 20 ° to 30 ° Panoramic cameras, used.
- the orientation of these cameras, d. H. the focusing of an object and thus the control of the dummy window, is not done by panning the cameras, but each by selecting a particular field or image area in which the targeted object point F is located from the recorded overall image, the selection is preferably such that the object point F lies in the center of this partial image or image region.
- the size of the selected partial image or image region initially corresponds, for example, essentially to the angle of view of a camera of conventional type (that is to say, for example, between approximately 20 ° and approximately 30 °) or, as will be explained below, is determined.
- the positioning of the panoramic cameras at the same distance from the targeted object point is carried out by electronic processing of the recorded images substantially in such a way that the display size of the partial images or image areas is changed accordingly.
- Almost any panoramic camera can be used, such as those with fish-eye lenses, multiple lenses or faceted lenses.
- the first embodiment of the device according to the invention comprises a number n of panoramic cameras K1,... Kn, which are arranged parallel to one another on a common carrier E, which represents the stereo base, and consecutively numbered from left to right.
- a common carrier E which represents the stereo base
- the image output signals of the panoramic cameras K1,... Kn are electronically processed with a pseudo-window control unit 5 in the above-mentioned manner, so that they can be visualized with a visualization system 10, which in particular drives an autostereoscopic monitor 11
- the signal processing is preferably carried out digitally with one or more appropriately programmed data processing devices.
- each panoramic camera K 1,... Kn preferably has an analog / digital converter, so that the recorded images (overall images) of each camera can be stored in digital form in each case in a first image memory 2.
- the outputs of these first image memories 2 are preferably connected to the inputs of a calibration device 3 with which the images of the various cameras are calibrated depending on the type and quality of the cameras and their mounting, in particular with regard to one or more of the following parameters or also other parameters: Brightness, color spectrum, horizontal and vertical alignment, tilt, tilt, and parallelism and stereo-based alignment.
- the digitized and calibrated overall image taken by each panoramic camera K1,... Kn is then stored in a respective second image memory 4.
- the overall images each have a resolution of about 2000 lines, each with about 10,000 pixels.
- the dummy window control unit 5 reads from the system memory 6, the distance d between each two adjacent panoramic cameras. These distances can be constant and all the same or different, or they can be adjusted individually and, if necessary, independently of one another, for example, if the cameras are mounted correspondingly displaceably. In this case, the setting and reading of the set distances would preferably be done with or from the control unit 7.
- an operator selects an object to be recorded by adjusting its distance s (i.e., the distance s of the dummy window surrounding the object point F). This distance is also transmitted to the dummy window control unit 5.
- the alignment of the cameras K 1, ... Kn on the selected object point F and their positioning on a common circle radius to the selected object point F is carried out by appropriate processing of the images taken by the panoramic camera images through the dummy window control unit. 5
- the images recorded by the panoramic cameras Kl,... Kn are first preferably digitized, calibrated in a step "Kn kal" and stored in the second image memory 4. in order to provide it to the bill window control unit 5 for preferably serial processing.
- the pseudo-window control unit 5 first aligns the individual panorama cameras with the same pseudo-window spacing s (or object point F) by selecting a corresponding partial image (image area) from the overall image recorded by each panoramic camera. Subsequently, the panoramic cameras are thereby positioned at an equal distance from the targeted object point F, that the selected image areas or partial images are each changed in their display size.
- the distance to be set which is the same for all cameras, is preferably the smallest distance that one or two cameras have from the object point F, so that the partial images of the other cameras are each enlarged by different zooming.
- the angle at which it is to be directed to the selected by the setting of the apparent window spacing s with the control unit 7 object point F is first calculated.
- a first step Sl After reading in the number n of cameras and the apparent window distance s from the control unit 7 and the distance d between the cameras from the system memory 6 (or possibly also as explained above from the control unit 7) in a first step Sl is in a second step S2 selects an image of a camera by increasing a running index i or j, and in a third step S3 calculates the angle for this camera as follows.
- a fourth step S4 for the calculated angle with which a camera is to be aligned, the image area (partial image) of the overall image corresponding to this angle is determined in the form of a pixel window of the relevant panoramic camera.
- a camera is generally intended to generate a signal which is compatible with one of the current industry standards, such as the PAL, NTSC or HDTV standard.
- This target resolution to be generated for the pixel windows also reads out the dummy window control unit 5 from the system memory 6 in the first step S1, for example.
- a target resolution of 720 x 576 pixels is to be generated, for example, three pixels and thus a total of 2160 x 1728 pixels of the panorama image can be combined to form a PAL image.
- the PAL image or pixel window could be shifted to the right or left by each 3920 pixel steps and thus swiveled.
- the viewing angle calculated in the third step S3 for a panoramic camera is now in the fourth step S4 in the number of pixel steps ⁇ ; to convert a pixel window from the central or central location in the overall image of the panoramic camera must be moved to the left or right to be aligned according to the calculated viewing angle.
- the camera image angle of 180 ° is first divided in the dummy window control unit 5 by the number of horizontally available pixels of the panorama image.
- an angle ⁇ of 0.018 degrees results per panoramic pixel.
- a pixel step (pixel shift) to the right or left thus corresponds to a change in the angle of the viewing direction by 0.018 degrees to the right or left.
- ⁇ i (90 ° - ⁇ O / ⁇ to the right. The same value applies to a camera j to the right of the central axis, but the pixel shift is to the left.
- a camera i or j After a camera i or j has been directed in this way to the targeted object point F, it now has to be virtually positioned on an equal distance for all cameras from this object point F, ie on a common circle, in the center of which the object point F is located. For this purpose, a corresponding zoom factor z is first calculated in a fifth step S 5 for the relevant camera.
- the radius of this circle is the distance of the middle camera (which lies on the central axis M) from the object point F. This distance r opt is thus equal to the apparent window distance s.
- the common circle radius can be determined by calculating the distance of the two cameras located on the left and right of the central axis from the object point F as follows:
- This zoom factor z; (ZJ) can now be realized in a sixth step S6 for a determined partial image of a panoramic camera i (j) in such a way that a correspondingly smaller number of pixels of the overall image of the panoramic camera in question is combined to a macropixel of the partial image to be displayed as explained above.
- the relevant camera i or j is now virtually arranged on a uniform distance for all cameras from the targeted object point F, so that the calculated partial image can be stored in the third image memory or target memory 8 in a further step TB , At the same time, the procedure is repeated by returning to the second step S2 for a panoramic image of the next camera.
- the procedure for newly captured images of the panoramic cameras can be repeated with the step PB, wherein a re-calibration in general only has to be made when the cameras have been rebuilt or the scene to be recorded, for example, in terms of their brightness o.a. has changed significantly.
- the images can then be received and decompressed in the step Re to be represented with a step Bd with a viewing system such as in particular an autostereoscopic monitor 11.
- a viewing system such as in particular an autostereoscopic monitor 11.
- the dummy window control unit 5 is located at the destination, that is to say at the point of view or of the visualization system 10.
- FIG. 6 A corresponding device is shown schematically in Figure 6, in which the same components as in Figure 4 are each provided with the same reference numerals.
- the overall images taken by the panoramic cameras K1... Kn are also digitized in this device, buffer-stored in a first image memory 2 and calibrated in a calibration device 3.
- the images are then preferably buffered in a second image memory 4, compressed in a compression device 9 and combined in a panoramic image memory 91 and stored in compressed form (together with the value of the distance d between two adjacent panoramic cameras and their number n) to the destination to be transferred.
- the transferred images are decompressed in both cases at the destination, if necessary, and then fed in series or in parallel to the dummy window control unit 5, processed in the manner described above (ie extracting and zooming the pixel windows) and stored in a third image memory (destination memory) 8, combined and finally reproduced with a visualization and viewing system 10, 11.
- This second embodiment has the advantage that a plurality of visualization and viewing systems 10, 11 can be provided, each with its own pseudo-window control unit 5 with control unit 7, which are located at different destinations, but where all the same recorded images are supplied. In this way, with each dummy window control unit 5, a different apparent window spacing s can be set, ie another object can be sighted and displayed on the respectively connected viewing system 11.
- Figure 7 shows a flow chart of this second embodiment of the method, wherein the same steps as in Figure 5 are provided with the same reference numerals.
- the images of all the cameras are first calibrated in a step Kn kal as explained above and stored in the second image memory 4.
- the images are now read into the compression device 9 with the step PB, compressed there with the step TB, combined in the panoramic image memory 91 and then stored to be sent with the step Tr.
- a return is made to compress, combine and send newly captured images from the panoramic cameras, generally only having to recalibrate when the cameras are rebuilt or up the scene to be recorded, for example, in terms of their brightness or the like has changed significantly.
- the emitted images are received in a step Re and fed to the Schem window control unit 5.
- This reads according to the first step Sl the set apparent window spacing s from the control unit 6.
- This and the further steps S2 to S6 correspond to the steps S1 to S6 described above in connection with the first method according to FIG. 5 and will not be described again here.
- the partial images are combined and displayed with the visualization and viewing system 10, 11 according to step Bd, and a return to the step Re, if necessary, to repeat the procedure for another camera positioning or newly recorded and transmitted panorama pictures.
- FIG. 8 shows a block diagram of a third embodiment of the device according to the invention.
- the same or corresponding components as in Figures 4 and 6 are again provided with the same reference numerals.
- the essential difference from the first and second embodiments is that in the third embodiment, conventional cameras are used with a common viewing angle of, for example, in the range between about 20 and about 30 degrees.
- these cameras are on the common rail or base platform (stereo base E) rotatable, for example, mounted on a turntable to make an alignment on the targeted object can.
- the images taken by the cameras are in turn preferably digitized and first calibrated after buffering in a first image memory 2 in a calibration device 3 as explained above, before being temporarily stored in a second image memory 4 and fed to the dummy window control unit 5.
- Each turntable is preferably rotated with a digitally controllable stepper motor. This rotation or activation of the stepper motors takes place by the dummy window control unit 5 as a function of a dummy window spacing s set by means of the control unit 7 and the camera distance d read from the system memory 6 instead of the pixel shift of the partial images of each panoramic camera described above.
- the calculation of the respective swivel angle takes place in the same way as described above for the pixel shift.
- the required zoom factor is also calculated for each camera as explained above. Since macropixel formation is not expedient in the case of the conventional cameras for the abovementioned reasons, zooming in the manner customary for these cameras (for example optically via a change in the lens focal length or in digital form) is performed by the dummy window control unit 5 in order to arrange the cameras virtually at an equal distance around the targeted object.
- the cameras are preferably digitally controlled for these purposes via a known interface such as IEEE 1394 or DCAM by means of the dummy window control unit 5.
- the subsequently acquired images are in turn preferably combined in a third image memory (destination image memory) 8 and stored to be compressed by a compression device 9 and transmitted to a visualization system 10 with a corresponding viewing system 11 such as an autostereoscopic monitor.
- step Kn kal After calibrating the cameras (step Kn kal), the currently set apparent window spacing s as well as the number n and the distance d of the cameras are read into the dummy window control unit 5 in a first step S 1.
- a camera is selected by increasing a running index i or j.
- step S3 the angle for this camera, with which this is to be aligned to the object point F, calculated as explained above, and in a fourth step S4, the camera is pivoted by driving the associated stepping motor with the dummy window control unit 5 accordingly.
- a zoom factor is calculated as explained above and the camera is zoomed in a sixth step S6 in a corresponding manner by the dummy window control unit 5.
- step BA the image is then taken with the camera and stored in the target image memory 8, before this process is repeated by returning to the second step S2 for a next camera.
- the images recorded in this way with all the cameras are combined with the step TB in the destination image memory 8 and optionally compressed in the compression device 9 before being transmitted to a receiving station in a step Tr, so that the process for newly captured images with the first Step S1 can be repeated.
- the received images are optionally decompressed at the receiving station (step Re) and displayed on a viewing system 11 with a visualization system (step Bd).
- An advantage of this third embodiment is that the pixel interpolation required in the case of a non-integer pixel shift or a non-integer zoom factor in the first and second embodiments is not required here, so that the outlay for the signal processing is lower in this respect. If the mechanical parts, in particular the stepping motors and the zooming properties of the camera, do not operate with sufficient accuracy, the generated images can be reworked accordingly by the dummy window control unit.
- the distances between the cameras to optimize the image reproduction and / or to adapt to a selected apparent window spacing and / or the properties of an autostereoscopic monitor in oblique viewing for all cameras can be changed to the same or different extent.
- the orientations of the cameras and the individual zoom factors would have to be calculated taking into account these possibly different distances.
- the number of cameras used is essentially determined by the number of lateral viewing perspectives that are to be displayed with the respective monitor.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Es wird ein Verfahren und eine Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung beschrieben, das / die insbesondere zur Darstellung auch von schrägen Betrachtungsperspektiven eines Objektes auf einem autostereoskopischen Monitor geeignet ist. Zur Aufnahme dieser Perspektiven sind zusätzliche Kameras vorgesehen, deren Ausrichtung und / oder Positionierung relativ zu dem anvisierten Objekt durch die erfindungsgemäße Verarbeitung der aufgenommenen Bilddaten erfolgt.
Description
Verfahren und Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung insbesondere mit einem autostereoskopischen Monitor.
Im Bereich der dreidimensionalen Visualisierung von Raumbildern werden in jüngster Zeit in steigendem Maße autostereoskopische Monitore entwickelt. Diese Monitore haben den Vorteil, dass keine zusätzlichen Sehhilfen wie zum Beispiel Polarisationsbrillen oder ähnliches benötigt werden, um einen räumlichen Bildeindruck zu erhalten. Weiterhin ist es möglich, mit solchen Monitoren gleichzeitig auch eine Anzahl von seitlichen Perspektiven in der Weise darzustellen, dass auch solche Betrachter ein dreidimensionales Bild sehen können, deren Blickrichtung nicht senkrecht, sondern schräg auf die Darstellungsfläche des Monitors gerichtet ist.
Da jeder Betrachter gleichzeitig zwei Perspektiven sehen muss, um einen räumlichen Bildeindruck zu erhalten, sind bei einer gewünschten Anzahl von zum Beispiel 12 schrägen Betrachtungsrichtungen insgesamt 24 Perspektiven eines Objektes gleichzeitig darzustellen. Dies bedeutet, dass 24 einzelne Kameras zu einem einheitlichen Kamerasystem zusammengefasst und die mit diesen Kameras erzeugten Bildsignale übertragen werden müssen.
Es ist offensichtlich, dass die Ansteuerung und Ausrichtung insbesondere im Fall einer so großen Anzahl von Kameras sowie die Verarbeitung und Übertragung der Bildsignale einen relativ hohen Aufwand erfordert.
Eine allgemeine Aufgabe, die der Erfindung zu Grunde liegt, besteht darin, ein Ver- fahren und eine Vorrichtung zu schaffen, mit dem / der Objekte in mindestens zwei Perspektiven mit einem vergleichsweise geringen apparativen und schaltungstechnischen Aufwand mit hoher stereoskopischer Wiedergabequalität dreidimensional
aufgenommen werden können. Diese Aufgabe wird mit einem Verfahren nach Anspruch 1 und / oder nach Anspruch 2 sowie einer Vorrichtung nach Anspruch 8 gelöst.
Insbesondere soll ein Verfahren und eine Vorrichtung der eingangs genannten Art geschaffen werden, mit dem / der Objekte mit einer hohen stereoskopischen Wiedergabequalität auch in einer Mehrzahl von seitlichen Perspektiven aufgenommen werden können, um diese insbesondere auf einem autostereoskopischen Monitor in der Weise zu visualisieren, dass auch solche Betrachter, deren Blickrichtungen nicht senkrecht, sondern schräg auf die Monitoroberfläche gerichtet sind, ein räumliches Bild sehen können.
Diese Aufgabe wird mit einem Verfahren gemäß Anspruch 3 und einer Vorrichtung nach Anspruch 8 gelöst.
Die Unteransprüche haben vorteilhafte Weiterbildungen der Verfahren bzw. der Vorrichtung zum Inhalt.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnung. Es zeigt:
Fig. 1 eine schematische Darstellung der Abbildungsgeometrien im Falle von zwei Perspektiven in Draufsicht; Fig. 2 eine schematische Darstellung der Blickrichtungen einer Mehrzahl von Kameras zur Wiedergabe einer Mehrzahl von Perspektiven;
Fig. 3 eine schematische Darstellung der Positionierung von Kameras zur Wiedergabe einer Mehrzahl von Perspektiven;
Fig. 4 ein Blockschaltbild einer ersten Ausführungsform der erfmdungsgemä- ßen Vorrichtung;
Fig. 5 ein Flussdiagramm einer ersten Ausführungsform des erfindungsgemäßen Verfahrens;
Fig. 6 ein Blockschaltbild einer zweiten Ausführungsform der erfindungsgemäßen Vorrichtung;
Fig. 7 ein Flussdiagramm einer zweiten Ausfuhrungsform des erfindungsgemäßen Verfahrens; Fig. 8 ein Blockschaltbild einer dritten Ausfuhrungsform der erfϊndungsgemä- ßen Vorrichtung und
Fig. 9 ein Flussdiagramm einer dritten Ausfuhrungsform des erfindungsgemäßen Verfahrens.
Untersuchungen haben gezeigt, dass für eine gute Bildqualität und ein angenehmes und natürliches Betrachtungsempfinden einer dreidimensionalen Wiedergabe die korrekte Abbildung eines sogenannten Scheinfensters von besonderer Bedeutung ist. Dies soll anhand der Figur 1 für zwei Perspektiven näher erläutert werden.
Figur 1(A) zeigt in Draufsicht zwei Kameras Kl und K2, die auf einer gemeinsamen Stereobasis E montiert und auf einen Objektpunkt F ausgerichtet sind. Der senkrechte Abstand s zwischen dem Objektpunkt F und der Stereobasis E wird auch als Parallaxe bezeichnet. Bei einer korrekten Stereoaufhahme mit endlicher Parallaxe liegt der Schnittpunkt der Kamerablickrichtungen, der dem fokussierten Objekt- punkt F entspricht, auf der Mittelachse M zwischen den Kameras, so dass diese den gleichen Abstand von dem Objektpunkt F haben und jeweils um einen betragsmäßig gleichen Winkel α aus der parallelen Blickrichtung nach innen geschwenkt sind. Im Falle von zwei Kameras wird dies zum Beispiel in der Weise realisiert, dass die Kameras schwenkbar auf einer gemeinsamen Basis oder Plattform befestigt sind.
Das Scheinfenster ist derjenige, den Objektpunkt F in einer vertikalen Ebene (Scheinfensterebene SF) umgebende Bereich der realen Objektebene, der auf die Darstellungsfläche eines Monitors Mo gemäß Figur l(B) (ebenfalls in Draufsicht) abzubilden ist, um von einem Betrachter mit dem linken und dem rechten Auge Al, A2 betrachtet zu werden. Der Scheinfensterabstand stellt dabei im wesentlichen die Entfernung der Scheinfensterebene dar, in der sich die Blickrichtungen der Kameras
Kl und K2 im Objektpunkt F (Fixpunkt) treffen. Der räumliche Bildeindruck erstreckt sich dann in einen Bereich B vor und hinter dem anvisierten Objektpunkt F.
Im Falle von mehreren Kameras, mit denen auf einem autostereoskopischen Moni- tor die oben genannten schrägen Betrachtungsperspektiven dargestellt werden sollen, können sich hierbei jedoch Schwierigkeiten ergeben. Wie in der Figur 2 beispielhaft für acht Kameras Kl,....K8, die jeweils einen Abstand d voneinander haben, und zwei Objektpunkte Fl, F2, die sich in Scheinfensterebenen mit unterschiedlichen Abständen sl, s2 von der Stereobasis E befinden, dargestellt ist, müs- sen die Kameras Kl, ...K8 in Abhängigkeit von ihrer Position jeweils mit unterschiedlichen Winkeln αl, α2 aus ihren Ausgangs-Blickrichtungen (die vorzugsweise gemäß den Figuren 1 bis 3 in der Ausgangsstellung parallel zueinander und senkrecht zur Stereobasis E verlaufen) auf den jeweils anvisierten Objektpunkt Fl oder F2 gerichtet beziehungsweise auf die gleiche Parallaxe fokussiert werden.
Darüber hinaus sollten aber auch in diesem Fall alle Kameras gemäß Figur 3 den gleichen Abstand von dem anvisierten Objektpunkt Fl oder F2 haben, so dass sie auf einem Kreis mit dem betreffenden Objektpunkt als Mittelpunkt positioniert werden müssen. Dies bedeutet, dass die Kameras für jeden anvisierten Objektpunkt nicht nur mit unterschiedlichen Winkeln gedreht, sondern auch in unterschiedlichem Maße in Richtung auf den Objektpunkt Fl oder F2 (zum Beispiel in die Positionen zl bzw. z2) verschoben werden müssen.
In diesem Fall kann dann ein Betrachter eine seitliche dreidimensionale Perspektive des Objektes, die zum Beispiel mit den Kameras Kl und K2 aufgenommen wird, auf einem autostereoskopischen Monitor sehen, wenn die Bildsignale der Kameras Kl und K2 in einer entsprechend schrägen Blickrichtung auf den Monitor durch diesen dargestellt werden.
Mit der Erfindung soll der mit einer solchen Bildaufnahme verbundene Aufwand erheblich reduziert werden. Die Erfindung ist vorteilhaft jedoch auch in dem zuvor
genannten Fall anwendbar, in dem nur zwei Kameras verwendet werden und nur zwei Perspektiven eines Objektpunktes aufzunehmen sind.
Bei einer ersten und zweiten Ausführungsform werden gemäß den Figuren 4 und 6 bevorzugt anstelle von Kameras mit üblichem Blickwinkel von zum Beispiel etwa 20° bis 30° mindestens zwei Kameras bekannter Art mit einem möglichst großen Blickwinkel, (insbesondere von im wesentlichen 180°), vorzugsweise Panoramakameras, verwendet.
Die Ausrichtung dieser Kameras, d. h. die Fokussierung eines Objektes und damit die Steuerung des Scheinfensters, erfolgt nicht durch Schwenken der Kameras, sondern jeweils durch Auswahl eines bestimmten Teilbildes oder Bildbereiches, in dem sich der anvisierte Objektpunkt F befindet, aus dem aufgenommenen Gesamtbild, wobei die Auswahl vorzugsweise so erfolgt, dass der Objektpunkt F im Zentrum dieses Teilbildes oder Bildbereiches liegt. Die Größe des ausgewählten Teilbildes oder Bildbereiches entspricht dabei zunächst zum Beispiel im wesentlichen dem Blickwinkel einer Kamera üblicher Art (also zum Beispiel zwischen etwa 20° und etwa 30°) oder wird, wie unten noch erläutert wird, festgelegt.
Die Positionierung der Panoramakameras in gleichem Abstand von dem anvisierten Objektpunkt erfolgt durch elektronische Verarbeitung der aufgenommenen Bilder im wesentlichen in der Weise, dass die Darstellungsgröße der Teilbilder oder Bildbereiche jeweils entsprechend verändert wird.
Es können nahezu beliebige Panoramakameras verwendet werden, wie zum Beispiel solche mit Fischaugenlinsen, mehreren Objektiven oder Facettenlinsen.
Die erste Ausführungsform der erfindungsgemäßen Vorrichtung umfasst gemäß Figur 4 eine Anzahl n von Panoramakameras Kl, ...Kn, die auf einem gemeinsamen Träger E, der die Stereobasis darstellt, parallel zueinander angeordnet und fortlaufend, hier von links nach rechts nummeriert sind. Für den einfachsten Fall, in dem nur zwei Panoramakameras verwendet werden, um ein Stereobild ohne die oben
beschriebene Möglichkeit der schrägen Betrachtungsperspektiven zu schaffen, gelten die folgenden Erläuterungen entsprechend.
Die Bild-Ausgangssignale der Panoramakameras Kl, ...Kn werden mit einer Scheinfenster-Steuereinheit 5 in der oben genannten Weise elektronisch verarbeitet, so dass sie mit einem Visualisierungssystem 10, das insbesondere einen autostereoskopischen Monitor 11 ansteuert, zur Darstellung der verschiedenen
Perspektiven wiedergegeben werden können. Die Signalverarbeitung erfolgt dabei vorzugsweise digital mit einer oder mehreren entsprechend programmierten Datenverarbeitungseinrichtungen.
Im einzelnen weist jede Panoramakamera K 1,...Kn vorzugsweise einen Analog/Digitalwandler auf, so dass die aufgenommenen Bilder (Gesamtbilder) jeder Kamera in digitaler Form iri jeweils einem ersten Bildspeicher 2 gespeichert werden können.
Die Ausgänge dieser ersten Bildspeicher 2 sind vorzugsweise mit den Eingängen einer Kalibrierungseinrichtung 3 verbunden, mit der die Bilder der verschiedenen Kameras je nach Art und Güte der Kameras sowie ihrer Montage insbesondere hin- sichtlich einer oder mehrerer der folgenden, oder auch anderer Parameter kalibriert werden: Helligkeit, Farbspektrum, horizontale und vertikale Ausrichtung, Verkann- tung, Verkippung sowie Parallelität und Ausrichtung auf der Stereobasis E.
Das von jeder Panoramakamera Kl, ..Kn aufgenommene, digitalisierte und kalib- rierte Gesamtbild wird dann in jeweils einem zweiten Bildspeicher 4 gespeichert. Die Gesamtbilder haben dabei zum Beispiel jeweils eine Auflösung von etwa 2000 Zeilen mit jeweils etwa 10.000 Pixeln.
Diese Bilder werden nun seriell oder parallel der Scheinfenster-Steuereinheit 5 zur Verarbeitung zugeführt, die auch mit einem Systemspeicher 6 und einem Steuergerät 7 verbunden ist.
Zu diesem Zweck liest die Scheinfenster-Steuereinheit 5 aus dem Systemspeicher 6 den Abstand d zwischen jeweils zwei benachbarten Panoramakameras aus. Diese Abstände können konstant und alle gleich oder unterschiedlich sein, oder sie sind einzeln und ggf. unabhängig voneinander einstellbar, wenn die Kameras zum Bei- spiel entsprechend verschiebbar montiert sind. In diesem Fall würde die Einstellung und Auslesung der eingestellten Abstände vorzugsweise mit bzw. aus dem Steuergerät 7 erfolgen.
Mit Hilfe des Steuergerätes 7 wählt dann eine Bedienperson ein aufzunehmendes Objekt durch Einstellung von dessen Abstand s (d. h. des Abstandes s des den Objektpunkt F umgebenden Scheinfensters). Dieser Abstand wird ebenfalls der Scheinfenster-Steuereinheit 5 übermittelt.
Die Ausrichtung der Kameras K 1,...Kn auf den gewählten Objektpunkt F sowie deren Positionierung auf einem gemeinsamen Kreisradius um den gewählten Objektpunkt F erfolgt durch entsprechende Verarbeitung der von den Panoramakameras aufgenommenen Bilder durch die Scheinfenster-Steuereinheit 5.
Nach der Verarbeitung der Bilder jeder Kamera werden diese schließlich einem dritten Bildspeicher 8 (Zielspeicher) zugeführt und dort kombiniert und können dann gegebenenfalls zur Komprimierung mit einer Komprimierungseinrichtung 9 ausgelesen und zu einem Visualisierungssystem 10 mit z. B. einem autostereoskopi- schen Monitor 11 übertragen werden.
Die Verarbeitung der Bilder der einzelnen Kameras gemäß einer ersten Ausführungsform des erfindungsgemäßen Verfahrens soll im folgenden anhand des in Figur 5 gezeigten Flussdiagramms erläutert werden.
Wie oben bereits erwähnt wurde, werden nach dem Start des Verfahrens die von den Panoramakameras Kl, ..Kn aufgenommenen Bilder zunächst vorzugsweise digitalisiert, in einem Schritt „Kn kal" kalibriert und in dem zweiten Bildspeicher 4 gespei-
chert, um sie der Scheinfenster-Steuereinheit 5 zur vorzugsweise seriellen Verarbeitung zur Verfügung zu stellen.
Zu diesem Zweck werden durch die Scheinfenster-Steuereinheit 5 zunächst die ein- zelnen Panoramakameras auf den gleichen Scheinfensterabstand s (bzw. Objektpunkt F) ausgerichtet, indem aus dem von jeder Panoramakamera aufgenommenen Gesamtbild ein entsprechendes Teilbild (Bildbereich) ausgewählt wird. Anschließend werden die Panoramakameras dadurch auf einem gleichen Abstand von dem anvisierten Objektpunkt F positioniert, dass die ausgewählten Bildbereiche oder Teilbilder jeweils in ihrer Darstellungsgröße verändert werden. Der einzustellende, für alle Kameras gleiche Abstand ist vorzugsweise der kleinste Abstand, den eine oder zwei Kameras von dem Objektpunkt F haben, so dass die Teilbilder der anderen Kameras jeweils durch unterschiedliches Zoomen vergrößert werden.
Somit wird für jede Panoramakamera zunächst der Winkel berechnet, unter dem diese auf den durch Einstellung des Scheinfensterabstandes s mit dem Steuergerät 7 gewählten Objektpunkt F zu richten ist. Nach dem Einlesen der Anzahl n von Kameras sowie des Scheinfensterabstandes s aus dem Steuergerät 7 und des Abstandes d zwischen den Kameras aus dem Systemspeicher 6 (oder ggf. wie oben erläutert ebenfalls aus dem Steuergerät 7) in einem ersten Schritt Sl wird in einem zweiten Schritt S2 ein Bild einer Kamera durch Erhöhung eines Laufindex i bzw. j ausgewählt und in einem dritten Schritt S3 der Winkel für diese Kamera wie folgt berechnet.
Unter der Annahme, dass eine gerade Anzahl n von Kameras vorhanden ist, liegen gemäß den Figuren 2 und 3 jeweils n/2 Kameras links und n/2 Kameras rechts von der Mittelachse M der Stereobasis E.
Der Blickwinkel ergibt sich für eine Kamera i (1 < i < n/2) links der Mittelachse M aus folgender Formel (1):
(1)
Aus Symmetriegründen ergibt sich für den Blickwinkel einer Kamera j rechts der Mittelachse (n/2 < j < n) jeweils gemäß Formel (2) folgender Wert:
(2) Oj = ISO - OCn-J+1
Im Falle einer ungeraden Anzahl n von Kameras ergibt sich für eine links der Mittelachse liegende Kamera i (1 < i < n/2) der Blickwinkel gemäß folgender Formel (3):
Für eine Kamera j (n/2 < j < n) rechts der Mittelachse gilt wiederum die oben ge- nannte Formel (2). Für die mittlere Kamera, die auf der Mittelachse M liegt, ist der Winkel α = 0°.
In einem vierten Schritt S4 wird nun für den berechneten Winkel, mit dem eine Kamera auszurichten ist, der diesem Winkel entsprechende Bildbereich (Teilbild) des Gesamtbildes in Form eines Pixelfensters der betreffenden Panoramakamera ermittelt.
Dabei ist zu berücksichtigen, dass von einer Kamera im allgemeinen ein Signal erzeugt werden soll, das mit einer der zur Zeit gültigen Industrienormen wie zum Bei- spiel dem PAL, NTSC oder HDTV Standard kompatibel ist.
Für die Erzeugung der Pixelfenster sind in diesem Zusammenhang insbesondere die für diese Standards festgelegten Bildauflösungen, nämlich 720 x 576, 640 x 480
bzw. 1920 x 1080 Pixel zu beachten. Diese für die Pixelfenster zu erzeugende Zielauflösung liest die Scheinfenster-Steuereinheit 5 zum Beispiel in dem ersten Schritt Sl ebenfalls aus dem Systemspeicher 6 aus.
Aus weiter unten noch erläuterten Gründen werden vorzugsweise mehrere Pixel des Bildes einer Panoramakamera zu einem Pixel (Makropixel) des zu erzeugenden Pixelfensters zusammengefasst. Wenn eine Zielauflösung von 720 x 576 Pixel erzeugt werden soll, können zum Beispiel jeweils drei Pixel und somit insgesamt 2160 x 1728 Pixel des Panoramabildes zu einem PAL-BiId zusammengefasst wer- den. Bei einem Panoramabild mit einer Pixelauflösung von zum Beispiel 10.000 x 2000 Pixeln könnte in diesem Fall das PAL-BiId bzw. Pixelfenster um jeweils 3920 Pixelschritte nach rechts oder links verschoben und damit geschwenkt werden.
Der in dem dritten Schritt S3 für eine Panoramakamera berechnete Blickwinkel ist nun in dem vierten Schritt S4 in die Anzahl der Pixelschritte γ; umzurechnen, um die ein Pixelfenster aus der mittleren oder zentralen Lage in dem Gesamtbild der Panoramakamera nach links oder rechts verschoben werden muss, um entsprechend dem berechneten Blickwinkel ausgerichtet zu sein. Zu diesem Zweck wird zunächst in der Scheinfenster-Steuereinheit 5 der Kamera-Bildwinkel von 180° durch die Anzahl der horizontal insgesamt verfügbaren Pixel des Panoramabildes dividiert. Bei dem oben genannten Beispiel von 10.000 Pixeln pro Zeile ergibt sich pro Panoramapixel ein Winkel Δα von 0,018 Grad. Ein Pixelschritt (Pixelverschiebung) nach rechts oder links entspricht somit einer Änderung des Winkels der Blickrichtung um 0,018 Grad nach rechts bzw. links.
Für eine Kamera i links der Mittelachse mit der Blickrichtung α; ergibt sich somit eine Anzahl von Pixelschritten, d. h. eine Pixelverschiebung von
(4) γi = (90° - αO / Δα
nach rechts. Für eine Kamera j rechts der Mittelachse gilt der gleiche Wert, jedoch erfolgt die Pixelverschiebung nach links.
Nachdem eine Kamera i bzw. j auf diese Weise auf den anvisierten Objektpunkt F gerichtet worden ist, muss diese nun virtuell auf einem für alle Kameras gleichen Abstand von diesem Objektpunkt F, das heißt auf einem gemeinsamen Kreis positioniert werden, in dessen Mittelpunkt sich der Objektpunkt F befindet. Zu diesem Zweck wird zunächst in einem fünften Schritt S 5 für die betreffende Kamera ein entsprechender Zoomfaktor z berechnet.
Für den Fall einer ungeraden Anzahl n von Panoramakameras ergibt sich als Radius dieses Kreises der Abstand der mittleren Kamera (die auf der Mittelachse M liegt) von dem Objektpunkt F. Dieser Abstand ropt ist somit gleich dem Scheinfenster- Abstand s.
Geht man wiederum davon aus, dass die Panoramakameras fortlaufend gemäß Figur 2 und 3 von links nach rechts nummeriert sind und den Abstand d voneinander haben, so ergibt sich als tatsächliche Abstand einer der Kameras i (1 < i < n/2) von dem Objektpunkt F:
(5) r>=VM-tfd2
Für eine Kamera j (n/2 < j < n) gilt bei symmetrischer Anordnung der Kameras zur Mittelachse M jeweils der gleiche Abstand rj.
Für den Fall einer geraden Anzahl n von Panoramakameras kann der gemeinsame Kreisradius durch Berechnung des Abstandes der beiden links und rechts der Mittelachse liegenden Kameras von dem Objektpunkt F wie folgt festgelegt werden:
(6) ropl - Ϋ s2 + d2y
Der tatsächliche Abstand einer der anderen Kameras i (1 < i < n/2) von dem Objektpunkt F ergibt sich nun wie folgt:
(7) r, =42 +(^-Z + )Z)V
Damit alle Kameras den gleichen Abstand von den Objektpunkt F haben, müssen diese nun um einen Prozentsatz z\ an den Objektpunkt F herangezoomt werden:
(8) z, = r' r°pt - I QQ
Für die Kameras j (n/2 + 1 < j < n) gelten bei symmetrischer Anordnung zur Mittelachse jeweils wiederum die gleichen Abstände η und Zoomfaktoren Zj.
Dieser Zoomfaktor z; (ZJ) kann nun in einem sechsten Schritt S6 für ein ermitteltes Teilbild einer Panoramakamera i (j) in der Weise realisiert werden, dass eine entsprechend geringere Anzahl von Pixeln des Gesamtbildes der betreffenden Panoramakamera gemäß obiger Erläuterung zu einem Makropixel des darzustellenden Teilbildes zusammengefasst wird.
Umgekehrt ist bei der oben erläuterten Makropixelbildung die (maximale) Anzahl der zu einem Makropixel zusammenzufassenden Pixel jeder Panoramakamera so zu wählen, dass der maximale Zoomfaktor (der sich für die beiden ganz außen liegenden Panoramakameras i = 1 und j = n und für einen anzunehmenden geringsten Ob- jektabstand s ergibt) erzeugt werden kann.
Auf diese Weise ist nun virtuell die betreffende Kamera i bzw. j auch auf einem für alle Kameras gleichen Abstand von dem anvisierten Objektpunkt F angeordnet, so dass das berechnete Teilbild in einem weiteren Schritt TB in dem dritten Bildspei- eher oder Zielspeicher 8 abgespeichert werden kann. Gleichzeitig wird das Verfah-
ren durch Rücksprung zu dem zweiten Schritt S2 für ein Panoramabild der nächsten Kamera wiederholt.
Nachdem die Bilder aller Panoramakameras auf diese Weise verarbeitet wurden, können diese in dem Zielbildspeicher 8 kombiniert und gegebenenfalls in der Komprimierungseinrichtung 9 komprimiert werden, bevor sie in einem Schritt Tr zu einer Empfangsstation übertragen werden. Anschließend kann das Verfahren für neu aufgenommene Bilder der Panoramakameras mit dem Schritt PB wiederholt werden, wobei eine erneute Kalibrierung im allgemeinen nur dann vorgenommen wer- den muss, wenn die Kameras neu aufgebaut wurden oder sich die aufzunehmende Szene zum Beispiel hinsichtlich ihrer Helligkeit o.a. wesentlich verändert hat.
An einer Empfangsstation, die zum Beispiel Teil des Visualisierungssystems 10 ist, können die Bilder dann in dem Schritt Re empfangen und dekomprimiert werden, um mit einem Schritt Bd mit einem Betrachtungssystem wie insbesondere einem autostereoskopischen Monitor 11 dargestellt zu werden. Bei der Übertragung einer Folge von Bildern wird dieser Ablauf durch Rücksprung zu dem Schritt Re für neu aufgenommene und verarbeitete Bilder wiederholt.
Bei der Berechnung der Pixelverschiebung mit dem vierten Schritt S4 ist zu berücksichtigen, dass der sich aus der oben genannten Formel (4) ergebende Wert nicht immer ganzzahlig ist. Somit ist entweder eine Interpolation zwischen den zwei nächst liegenden benachbarten ganzzahligen Pixelverschiebungen vorzunehmen, oder es erfolgt eine Rundung, und es wird nur die nächstliegende ganzzahlige Pi- xelverschiebung verwendet. In dem letztgenannten Fall ist die Kamera nicht genau auf den Objektpunkt F ausgerichtet, so dass dieser etwas "verschmiert" dargestellt wird. Sofern die damit verbundene Ungenauigkeit in Bereich von etwa ein bis zwei Prozent liegt, kann dies ohne spürbare Beeinträchtigungen der Bildqualität möglicherweise toleriert werden.
Entsprechendes gilt auch für die Ermittlung des Zoomfaktors und die damit verbundene Verminderung der Anzahl von Pixeln (Interpolation oder Rundung) in dem sechsten Schritt S6, die zu einem Makropixel zusammengefasst werden.
Bei einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung befindet sich die Scheinfenster-Steuereinheit 5 am Zielort, das heißt am Ort der Betrachtung bzw. des Visualisierungssystems 10.
Eine entsprechende Vorrichtung ist schematisch in Figur 6 gezeigt, in der gleiche Komponenten wie in Figur 4 mit jeweils gleichen Bezugszeichen versehen sind.
Auch bei dieser Vorrichtung werden, wie oben erläutert wurde, die von den Panoramakameras Kl, ...Kn aufgenommenen Gesamtbilder vorzugsweise digitalisiert, in einem ersten Bildspeicher 2 zwischengespeichert und in einer Kalibrierungseinrich- tung 3 kalibriert. Die Bilder werden dann vorzugsweise in einem zweiten Bildspeicher 4 zwischengespeichert, in einer Komprimierungseinrichtung 9 komprimiert und in einem Panoramabildspeicher 91 kombiniert und gespeichert, um in komprimierter Form (zusammen mit dem Wert des Abstandes d zwischen zwei benachbarten Panoramakameras und deren Anzahl n) zu dem Zielort übertragen zu werden.
Alternativ dazu wäre es auch möglich, die Bilder der Kameras nicht zu kombinieren, sondern einzeln und nacheinander in synchronisierter und ggf. komprimierter Weise zum Zielort zu übertragen.
Die übertragenen Bilder werden in beiden Fällen am Zielort ggf. dekomprimiert und dann seriell oder parallel der Scheinfenster-Steuereinheit 5 zugeführt, um in der oben beschriebenen Weise verarbeitet (d. h. Extrahieren und Zoomen der Pixelfenster) und in einem dritten Bildspeicher (Zielspeicher) 8 gespeichert, kombiniert und schließlich mit einem Visualisierungs- und Betrachtungssystem 10, 11 wiedergege- ben zu werden.
Diese zweite Ausführungsform hat den Vorteil, dass mehrere Visualisierungs- und Betrachtungssysteme 10, 11 mit jeweils einer eigenen Scheinfenster-Steuereinheit 5 mit Steuergerät 7 vorgesehen sein können, die sich an verschiedenen Zielorten befinden, denen jedoch alle die gleichen aufgenommenen Bilder zugeführt werden. Damit kann dann mit jeder Scheinfenster-Steuereinheit 5 ein anderer Scheinfensterabstand s eingestellt, d. h. ein anderes Objekt anvisiert und auf dem damit jeweils verbundenen Betrachtungssystem 11 dargestellt werden.
Figur 7 zeigt ein Flussdiagramm dieser zweiten Ausführungsform des Verfahrens, wobei gleiche Schritte wie in Figur 5 mit gleichen Bezugszeichen versehen sind.
Wie bereits erwähnt wurde, werden am Ort der Kameras nach dem Start des Verfahrens die Bilder aller Kameras zunächst in einem Schritt Kn kal wie oben erläutert kalibriert und in dem zweiten Bildspeicher 4 gespeichert. Anstelle eines Einle- sens der Bilder jeder Kamera in die Scheinfenster-Steuereinheit 5 gemäß Figur 5, werden die Bilder nun mit dem Schritt PB in die Komprimierungseinrichtung 9 eingelesen, dort mit dem Schritt TB komprimiert, in dem Panoramabildspeicher 91 kombiniert und gespeichert, um dann mit dem Schritt Tr gesendet zu werden. Nachdem dieser Ablauf für die Bilder aller Panoramakameras durchgeführt wurde, erfolgt ein Rücksprung, um neu aufgenommene Bilder der Panoramakameras zu komprimieren, zu kombinieren und zu senden, wobei eine erneute Kalibrierung im allgemeinen nur dann vorgenommen werden muss, wenn die Kameras neu aufgebaut wurden oder sich die aufzunehmende Szene zum Beispiel hinsichtlich ihrer Helligkeit o.a. wesentlich geändert hat.
Die ausgesendeten Bilder werden in einem Schritt Re empfangen und der Schemfenster-Steuereinheit 5 zugeführt. Diese liest gemäß dem ersten Schritt Sl den eingestellten Scheinfensterabstand s aus dem Steuergerät 6 aus. Dieser und die weiteren Schritte S2 bis S6 entsprechen den oben im Zusammenhang mit dem ersten Verfahren gemäß Figur 5 beschriebenen Schritten Sl bis S6 und sollen hier nicht erneut beschrieben werden..
Nachdem auf diese Weise aus den Bildern aller Panoramakameras jeweils ein Teilbild ausgewählt und dieses ggf. entsprechend vergrößert wurde, werden die Teilbilder kombiniert und gemäß Schritt Bd mit dem Visualisierungs- und Betrachtungssystem 10, 11 dargestellt, und es erfolgt ein Rücksprung zu dem Schritt Re, um das Verfahren ggf. für eine andere Kamerapositionierung bzw. neu aufgenommene und übertragene Panoramabilder zu wiederholen.
Für eine eventuell erforderliche Interpolation oder Rundung bei der Berechnung der Pixelverschiebungen und / oder der Zoomfaktoren gelten die obigen Erläuterungen.
Figur 8 zeigt ein Blockschaltbild einer dritten Ausführungsform der erfmdungsge- mäßen Vorrichtung. Gleiche bzw. einander entsprechende Komponenten wie in den Figuren 4 und 6 sind wieder mit gleichen Bezugszeichen versehen.
Der wesentliche Unterschied zu der ersten und zweiten Ausführungsform besteht darin, dass bei der dritten Ausführungsform konventionelle Kameras mit einem üblichen Blickwinkel von zum Beispiel im Bereich zwischen etwa 20 und etwa 30 Grad verwendet werden.
Da in diesem Fall die oben erläuterte Pixelverschiebung der Teilbilder in sinnvollem Umfang nicht möglich ist, sind diese Kameras (mit Ausnahme derjenigen Kamera, die im Falle einer ungeraden Anzahl von Kameras auf der Mittelachse M liegt) auf der gemeinsamen Schiene oder Basisplattform (Stereobasis E) drehbar, zum Beispiel auf einem Drehteller befestigt, um eine Ausrichtung auf das anvisierte Objekt vornehmen zu können.
Die von den Kameras aufgenommenen Bilder werden wiederum vorzugsweise digitalisiert und zunächst nach Zwischenspeicherung in einem ersten Bildspeicher 2 in einer Kalibrierungseinrichtung 3 wie oben erläutert kalibriert, bevor sie in einem zweiten Bildspeicher 4 zwischengespeichert und der Scheinfenster-Steuereinheit 5 zugeführt werden.
Jeder Drehteller wird vorzugsweise mit einem digital steuerbaren Schrittmotor gedreht. Diese Drehung bzw. Ansteuerung der Schrittmotoren erfolgt durch die Scheinfenster-Steuereinheit 5 in Abhängigkeit von einem mittels des Steuergerätes 7 eingestellten Scheinfensterabstand s und dem aus dem Systemspeicher 6 ausgele- senen Kameraabstand d anstelle der oben beschriebenen Pixelverschiebung der Teilbilder jeder Panoramakamera. Die Berechnung der jeweiligen Schwenkwinkel erfolgt dabei in gleicher Weise wie es oben für die Pixelverschiebung beschrieben wurde.
Der erforderliche Zoomfaktor wird ebenfalls für jede Kamera wie oben erläutert berechnet. Da aus den oben genannten Gründen eine Makropixelbildung im Falle der konventionellen Kameras nicht sinnvoll ist, wird das Zoomen in der für diese Kameras üblichen Weise (zum Beispiel optisch über eine Änderung der Objektivbrennweite oder in digitaler Form) durch die Scheinfenster-Steuereinheit 5 vorge- nommen, um die Kameras dadurch virtuell auf einem gleichen Abstand um das anvisierte Objekt anzuordnen.
Die Kameras werden zu diesen Zwecken vorzugsweise über eine bekannte Schnittstelle wie zum Beispiel IEEE 1394 oder DCAM mittels der Scheinfenster- Steuereinheit 5 digital angesteuert.
Die im Anschluss daran aufgenommenen Bilder werden wiederum vorzugsweise in einem dritten Bildspeicher (Zielbildspeicher) 8 kombiniert und gespeichert, um mit einer Komprimierungseinrichtung 9 komprimiert und zu einem Visualisierungssys- tem 10 mit einem entsprechenden Betrachtungssystem 11 wie zum Beispiel einem autostereoskopischen Monitor übertragen zu werden.
Der Ablauf dieser dritten Ausfuhrungsform des Verfahrens ist in dem Flussdiagramm der Figur 9 dargestellt, wobei wiederum gleiche oder einander entsprechen- de Schritte wie in den Figuren 5 und 7 mit gleichen Bezugszeichen versehen sind.
Nach dem Kalibrieren der Kameras (Schritt Kn kal) wird in einem ersten Schritt S 1 zunächst der aktuell eingestellte Scheinfensterabstand s sowie die Anzahl n und der Abstand d der Kameras in die Scheinfenster-Steuereinheit 5 eingelesen. In einem zweiten Schritt S2 wird eine Kamera durch Erhöhung eines Laufindex i bzw. j aus- gewählt. In einem dritten Schritt S3 wird der Winkel für diese Kamera, mit dem diese auf den Objektpunkt F auszurichten ist, wie oben erläutert berechnet, und in einem vierten Schritt S4 wird die Kamera durch Ansteuerung des zugeordneten Schrittmotors mit der Scheinfenster-Steuereinheit 5 entsprechend geschwenkt.
Weiterhin wird in einem fünften Schritt S5 für die betreffende Kamera der Zoomfaktor wie oben erläutert berechnet und die Kamera in einem sechsten Schritt S6 in entsprechender Weise durch die Scheinfenster-Steuereinheit 5 gezoomt.
Mit dem Schritt BA wird dann mit der Kamera das Bild aufgenommen und in dem Zielbildspeicher 8 gespeichert, bevor dieser Ablauf durch Rücksprung zu dem zweiten Schritt S2 für eine nächste Kamera wiederholt wird.
Die auf diese Weise mit sämtlichen Kameras aufgenommenen Bilder werden mit dem Schritt TB in dem Zielbildspeicher 8 kombiniert und gegebenenfalls in der Komprimierungseinrichtung 9 komprimiert, bevor sie in einem Schritt Tr zu einer Empfangsstation übertragen werden, so dass das Verfahren für neu aufgenommene Bilder mit dem ersten Schritt Sl wiederholt werden kann.
Die empfangenen Bilder werden an der Empfangsstation gegebenenfalls de- komprimiert (Schritt Re) und mit einem Visualisierungssystem auf einem Betrachtungssystem 11 dargestellt (Schritt Bd).
Eine Vorteil dieser dritten Ausführungsform besteht darin, dass die bei der ersten und zweiten Ausführungsform im Falle einer nicht ganzzahligen Pixelverschiebung bzw. eines nicht ganzzahligen Zoomfaktors erforderliche Pixel-Interpolation hier nicht erforderlich ist, so dass der Aufwand für die Signalverarbeitung insoweit geringer ist.
Sofern die mechanischen Teile wie insbesondere die Schrittmotoren und die Zoomeigenschaften der Kamera nicht hinreichend genau arbeiten, können die erzeugten Bilder durch die Scheinfenster- Steuereinheit entsprechend nachbearbeitet werden.
Für alle Ausfuhrungsformen gilt, dass die Abstände zwischen den Kameras zur Optimierung der Bildwiedergabe und/oder zur Anpassung an einen gewählten Scheinfensterabstand und/oder an die Eigenschaften eines autostereoskopischen Monitors bei schräger Betrachtung für alle Kameras in gleichem oder unterschiedlichem Ma- ße verändert werden können. In diesem Falle müssten jeweils die Ausrichtungen der Kameras und die einzelnen Zoomfaktoren unter Berücksichtigung dieser ggf. unterschiedlichen Abstände berechnet werden.
Die Anzahl der verwendeten Kameras wird im wesentlichen durch die Anzahl von seitlichen Betrachtungsperspektiven bestimmt, die mit dem betreffenden Monitor dargestellt werden sollen bzw. dargestellt werden können.
Claims
1. Verfahren zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung, mit mindestens zwei Kameras, bei dem die Ausrichtung mindes- tens einer Kamera auf ein Objekt durch Auswahl eines das Objekt enthaltenden Bildbereiches oder Teilbildes aus dem von der Kamera aufgenommenen Gesamtbild vorgenommen wird.
2. Verfahren zur stereoskopischen Aufnahme von Objekten für eine dreidimensiona- Ie Visualisierung, mit mindestens zwei Kameras, die mit einem gleichen Abstand von einem Objekt anzuordnen sind, bei dem der Abstand mindestens einer Kamera von dem Objekt durch Veränderung der Darstellungsgröße eines von der Kamera aufgenommenen Bildes relativ zu der Darstellungsgröße eines von mindestens einer der anderen Kameras aufgenommenen Bildes eingestellt wird.
3. Verfahren zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung, mit mindestens zwei Kameras, die zur Darstellung einer schrägen Betrachtungsperspektive vorgesehen sind, die mit einem ersten Schritt auf das Objekt ausgerichtet und mit einem zweiten Schritt mit einem im wesentlichem glei- chen Abstand von dem Objekt angeordnet werden, wobei mindestens einer dieser Schritte mit einem Verfahren nach Anspruch 1 oder 2 durchgeführt wird.
4. Verfahren nach Anspruch 1, bei dem die Kameras auf einer gemeinsamen Stereobasis angeordnet sind und der Bildbereich oder das Teilbild anhand eines Winkels, mit dem eine Kamera auf ein Objekt zu richten ist, ausgewählt wird, wobei der Winkel anhand des senkrechten Abstandes des Objektes von der Stereobasis und des Abstandes der Kamera von der senkrechten Projektion des Objektes auf die Stereobasis ermittelt wird.
5. Verfahren nach Anspruch 2, bei dem die Darstellungsgröße anhand eines Zoomfaktors verändert wird, der für eine Kamera anhand des Verhältnisses zwischen ihrem tatsächlichen Abstand von dem Objekt und dem tatsächlichen Abstand mindestens einer der anderen Kameras von dem Objekt ermittelt wird.
6. Verfahren nach Anspruch 2, bei dem die Darstellungsgröße durch Veränderung der Anzahl von Bildpixeln eines aufgenommenen Bildes, die zu einem Bildpixel eines Bildbereiches oder Teilbildes zusammengefasst werden, verändert wird.
7. Verfahren nach mindestens einem der Ansprüche 1 bis 3, bei dem ein zu visualisierendes Objekt durch Einstellung des Objektabstandes ausgewählt wird.
8. Vorrichtung zur stereoskopischen Aufnahme von Objekten für eine dreidimensionale Visualisierung, mit einer Steuereinheit (5) zur Durchführung eines Verfahrens nach mindestens einem der vorhergehenden Ansprüche.
9. Vorrichtung nach Anspruch 8, in Kombination mit mindestens zwei auf einer gemeinsamen Basis (E) montierten Panoramakameras (Kl, K2).
10. Vorrichtung nach Anspruch 8, bei der die Steuereinheit (5) zur Verarbeitung der von den Kameras aufgenommenen Bilder gemäß Anspruch 1 und / oder Anspruch 2 in Abhängigkeit von einem durch einen Betrachter in die Steuereinheit (5) eingebbaren Objektabstand vorgese- hen ist.
11. Vorrichtung nach Anspruch 8, mit einer Mehrzahl von Kameras (Kl,....Kn), der Steuereinheit (5) und einer Übertragungseinrichtung (9) zum Übertragen der verarbeiteten Bilder zu einer Betrach- tungsstation, die ein Visualisierungssystem (10) mit einem autostereoskopischen Monitor (11) umfasst.
12. Vorrichtung nach Anspruch 8, mit einer Mehrzahl von Kameras (Kl,....Kn) und einer Übertragungseinrichtung (9) zum Übertragen der aufgenommenen Bilder zu mindestens einer Betrachtungsstation, die jeweils eine Steuereinheit (5) und ein Visualisierungssystem (10) mit einem autostereoskopischen Monitor (11) umfasst.
13. Computerprogramm mit Programmcode-Mitteln zur Durchfuhrung eines Verfahrens oder zur Anwendung in einem Verfahren nach mindestens einem der Ansprüche 1 bis 7, wenn das Programm auf einem programmierbaren Computer ausge- führt wird.
14. Computerprogramm nach Anspruch 13, das dazu vorgesehen ist, in eine Vorrichtung nach mindestens einem der Ansprüche 8 bis 12 geladen zu werden, wenn diese mit dem Internet verbunden ist.
15. Computeφrogramm-Produkt, das auf einem Computer-lesbaren Medium gespeichert ist, mit Programmcode-Mitteln zur Durchführung eines Verfahrens oder zur Anwendung in einem Verfahren nach mindestens einem der Ansprüche 1 bis 7.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP05760830A EP1941745A1 (de) | 2005-06-20 | 2005-06-20 | Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung |
PCT/EP2005/006617 WO2006136181A1 (de) | 2005-06-20 | 2005-06-20 | Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2005/006617 WO2006136181A1 (de) | 2005-06-20 | 2005-06-20 | Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2006136181A1 true WO2006136181A1 (de) | 2006-12-28 |
Family
ID=35482397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2005/006617 WO2006136181A1 (de) | 2005-06-20 | 2005-06-20 | Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP1941745A1 (de) |
WO (1) | WO2006136181A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016113593A1 (de) * | 2016-07-22 | 2017-07-27 | Carl Zeiss Meditec Ag | Digitales Stereo-Operationsmikroskop mit variabler Stereobasis |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0680229A2 (de) * | 1994-04-26 | 1995-11-02 | Canon Kabushiki Kaisha | Stereoskopisches Anzeigeverfahren und Vorrichtung dazu |
EP0804042A2 (de) * | 1996-04-22 | 1997-10-29 | Fujitsu Limited | Verfahren und Vorrichtung zur mehrfachansichtigen, stereoskopischen Bildaufnahme, -verarbeitung und -anzeige |
WO2003054625A1 (en) * | 2001-12-20 | 2003-07-03 | Wave Group Ltd. | A panoramic stereoscopic imaging method and apparatus |
-
2005
- 2005-06-20 EP EP05760830A patent/EP1941745A1/de not_active Withdrawn
- 2005-06-20 WO PCT/EP2005/006617 patent/WO2006136181A1/de active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0680229A2 (de) * | 1994-04-26 | 1995-11-02 | Canon Kabushiki Kaisha | Stereoskopisches Anzeigeverfahren und Vorrichtung dazu |
EP0804042A2 (de) * | 1996-04-22 | 1997-10-29 | Fujitsu Limited | Verfahren und Vorrichtung zur mehrfachansichtigen, stereoskopischen Bildaufnahme, -verarbeitung und -anzeige |
WO2003054625A1 (en) * | 2001-12-20 | 2003-07-03 | Wave Group Ltd. | A panoramic stereoscopic imaging method and apparatus |
Non-Patent Citations (1)
Title |
---|
DOGSON N A: "RESAMPLING RADIALLY CAPTURED IMAGES FOR PERSPECTIVELY CORRECT STEREOSCOPIC DISPLAY", PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, vol. 3295, 26 January 1998 (1998-01-26), pages 100 - 110, XP008022122, ISSN: 0277-786X * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016113593A1 (de) * | 2016-07-22 | 2017-07-27 | Carl Zeiss Meditec Ag | Digitales Stereo-Operationsmikroskop mit variabler Stereobasis |
Also Published As
Publication number | Publication date |
---|---|
EP1941745A1 (de) | 2008-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006055641B4 (de) | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes | |
DE69425481T2 (de) | Bildverarbeitungsverfahren und -gerät zur Erzeugung eines Zielbildes von einem Quellenbild mit Veränderung der Perspektive | |
DE69411849T2 (de) | Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens | |
DE69324224T2 (de) | Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern | |
DE69428611T2 (de) | Autostereoskopische Anzeigevorrichtung | |
EP2027728B1 (de) | Verfahren und vorrichtung zur pseudoholographischen bilderzeugung | |
EP0776576B1 (de) | Verfahren und vorrichtung zur darstellung von stereoskopischen videobildern auf einem display | |
DE69718862T2 (de) | Multidirektionale Bildaufnahmevorrichtung mit mehreren 3D-Kameras | |
DE19640936A1 (de) | Positionsadaptiver Autostereoskoper Monitor (PAM) | |
DE3814644A1 (de) | Verfahren und vorrichtung zum erhalten von bildern zur verwendung beim darstellen eines dreidimensionalen scheinbildes | |
DE102014119580A1 (de) | Digitales optisches Gerät mit Knickbrücke | |
EP3170307B1 (de) | Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor | |
DE102011103378B3 (de) | Überwachungseinrichtung | |
DE102008024732A1 (de) | Medizinisch optisches Beobachtungsgerät und Verfahren zum Erstellen einer stereoskopischen Zwischenperspektive in einem derartigen Gerät | |
WO2006136181A1 (de) | Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung | |
EP2614651A1 (de) | Verfahren und vorrichtung zur aufnahme von dreidimensionalem bildmaterial für unterschiedliche dar stell ungsgrössen unter ausnutzung des jeweils vollen tiefenbudgets | |
DE19840972A1 (de) | Stereoskopisches Anzeigesystem | |
WO2010022805A1 (de) | Anzeigesystem | |
EP0614595B1 (de) | Verfahren und vorrichtung zur wiedergabe dreidimensionaler bilder | |
DE102019118510B4 (de) | Verfahren zur Bildverarbeitung | |
DE102012102962B3 (de) | Verfahren zur Bildaufzeichnung | |
WO1983004155A1 (en) | Stereoscopic television | |
DE202011105267U1 (de) | Vorrichtung zur Erzeugung dreidimensional wirkender Bilder | |
AT518256A4 (de) | Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe | |
DE102019132716A1 (de) | Kamerasystem und Übertragungssystem für den Rennsport |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWW | Wipo information: withdrawn in national office |
Country of ref document: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2005760830 Country of ref document: EP |
|
WWP | Wipo information: published in national office |
Ref document number: 2005760830 Country of ref document: EP |