EP2364553A2 - Stereo camera equipment, method for continuously and automatically calibrating a stereo camera apparatus, computer program, computer program product and monitoring device for wind energy systems, buildings with transparent areas, runways and/or flight corridors of airports - Google Patents
Stereo camera equipment, method for continuously and automatically calibrating a stereo camera apparatus, computer program, computer program product and monitoring device for wind energy systems, buildings with transparent areas, runways and/or flight corridors of airportsInfo
- Publication number
- EP2364553A2 EP2364553A2 EP09771520A EP09771520A EP2364553A2 EP 2364553 A2 EP2364553 A2 EP 2364553A2 EP 09771520 A EP09771520 A EP 09771520A EP 09771520 A EP09771520 A EP 09771520A EP 2364553 A2 EP2364553 A2 EP 2364553A2
- Authority
- EP
- European Patent Office
- Prior art keywords
- stereo camera
- thermal imaging
- camera device
- beam path
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Definitions
- Stereo camera devices methods for the continuous automatic calibration of a stereo camera device, computer program, computer program product and monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports
- the invention relates to a stereo camera device with at least two adjusted, each other at a defined distance angeord- Neten and aligned thermal imaging cameras, which is provided with a calibration device for their continuous automatic calibration. Furthermore, the invention relates to a method for the continuous automatic calibration of such a stereo camera device. The invention also relates to a computer program and a computer program product with program code means for carrying out such a method. Moreover, the invention also relates to a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports with a stereoscopic detection of approaching or existing birds or bird swarms.
- Flocks of birds refer to aggregations of birds of the same size and species, which often fly in the same direction.
- flight corridors in particular of airports with flight paths of birds of regional and national bird migration, which are often based on landscape structures such as waters, valleys or coastlines, this risk is greatly increased. In such collisions, it may damage u. a. come on the engines of airplanes.
- cameras in particular thermal imaging cameras or thermal imagers, are used for measuring tasks, such as the stereoscopy mentioned above, they should have constant properties, in particular mechanical stability. Since the accuracies achievable in the stereo evaluation of the images can not be maintained by simple measures in the construction of the stereo camera device, it must be determined by means of suitable methods how the system properties change in order to possibly correct them downstream.
- the above-mentioned stereo camera device for determining the presence and / or the speed of flight of the birds is based on an accurate determination of the distance traveled by the animals in a relatively short time interval. This requires precise location determination at two points, which is very sensitive to a relative error between the two lines of sight of the cameras.
- the aforementioned stereo camera devices should as far as possible be calibrated so that highly-accurate stereoscopic measurements can be achieved over very long periods of time.
- a detailed adjustment strategy is necessary for each assembly step, which ensures that in the last step at the place of installation with the then only limited available resources a comprehensive calibration the system can be achieved.
- Deviations from the calibration performed during setup of the stereo camera device can often not be completely avoided over the desired operating time. So it may be z. B. by a bending of the mechanical basis or basic structure of the stereo system or by thermally induced changes in the structural elements and also the individual thermal imaging cameras to change the line of sight of the thermal imaging cameras come. For the continuous recognition and correction of these deviations, measures should be conceived which can run simultaneously with the actual measurements in the context of the stereo image evaluation, without disturbing them and which, of course, must not introduce any additional errors into the stereo camera device itself.
- DE 10 2007 050 558 A1 relates to a method for the continuous self-calibration of an image recording device, in particular a stereo camera system, in which a pair of images is detected by means of a stereo method, on the basis of which a rectified image pair is determined by a pixel-by-pixel correspondence analysis along epipolar lines.
- the object of the present invention is to provide a stereo camera device and a method for the continuous automatic calibration of a stereo camera device and a computer program product, which enable a simple and accurate tracking calibration of the stereo camera device, wherein changes of the system parameters determined during the start calibration be determined and corrected if necessary, in particular without generating additional interference or errors by the NachStekalibritation.
- a stereo camera device with at least two adjusted, mutually spaced and aligned thermal imaging cameras is proposed, which is provided with a calibration device for the continuous automatic calibration, wherein the calibration device comprises a radiation source and a reference beam path, by means of which a reference image from the radiation source to the respective thermal imaging camera is imaged, wherein a collimated beam emanating from the radiation source is divided into at least two partial beams, wherein the at least two partial beams are each directed via at least one of the respective thermal imaging camera associated optical deflection and at least one of the optical deflection such. that regardless of the angular position of the optical deflection element in the plane spanned by the main beams of the reference beam path, the deflection angle of the optical deflection element is always constant within a tolerance range.
- an inventive method for continuous automatic calibration of the stereo camera device is proposed, wherein the reference image is located on the at least two thermal imaging cameras at predetermined, in particular regular intervals, after which the relative position and / or the relative orientation of the reference image to the reference images of the other thermal imaging cameras is determined, and after which, upon detection of a change, a corresponding correction of the parameters for the stereo evaluation is determined and made.
- the proposed method is based on a start calibration as well as an automatic follow-up calibration, which determines the changes against the system parameters for the stereo evaluation or the image processing which are present during the start calibration and makes appropriate corrections if necessary.
- a reference to the axis of a reference beam path or reference collimator is established.
- the beam emanating from the reference beam path is divided and deflected the resulting partial beams with suitable deflection elements such as mirrors or prisms in the respective entrance pupil of a thermal imaging camera.
- At least one of the optical deflecting elements Mente is formed such that regardless of the angular position of the optical deflecting element in the plane defined by the main beams of the reference beam path plane of deflection of the optical deflecting element between the entrance angle of the respective partial beam and the exit angle of the respective partial beam is always constant within a tolerance range, it is ensured that the reference beams generated by the deflection are always aligned perpendicular or parallel to the axis of the reference beam path regardless of the exact angular position of the optical deflection element.
- the deflection angle of the optical deflection element is always at least approximately constant regardless of the angle of incidence of the corresponding partial beam in the plane spanned by the partial beam.
- the optical deflection element is, as it were, invariant with respect to disturbance variables (eg tilting). Any changes in angle of the reference beam path or the radiation source or the collimator generate the same-way shelves in both thermal imaging cameras and can thus be detected and distinguished from the relevant errors or deviations. In any case, the reference beams for both thermal imagers remain perpendicular or parallel to the current axis of the reference beam path, so that the lines of sight of the two thermal imagers can be controlled electronically or tracked via the stereo evaluation in the image processing.
- disturbance variables eg tilting
- the tolerance range of the deflection angle can be ⁇ 5 mrad, in particular +1 mrad, preferably ⁇ 0.05 mrad.
- the deflection angle can be between 83 degrees and 97 degrees, in particular at 90 degrees.
- the optical deflecting element may have two reflection surfaces fixed to one another in a corresponding angular position for generating the deflection angle.
- the optical deflecting element may have as reflecting surfaces two mutually fixed plane mirrors.
- optical deflection element is monolithic, in particular designed as a pentaprism.
- a pentaprism as an optical deflecting element of a thermal imaging camera ensures that the reference beams generated by the deflection are always aligned perpendicular or parallel to the axis of the reference beam path, regardless of the exact angular position of the pentaprism, since it is a peculiarity of the pentaprism that the Exit angle of the light beam is always 90 degrees to the entrance angle. Therefore, the pentaprism is invariant to interference (eg tilting of the pentaprism).
- At least one optical subelement is provided for dividing the beam into the sub-beams.
- the optical divider element is designed as a 90-degree prism. Tilting of the 90 degree prism in turn results in the same direction displacement of the reference images or target images, which can also be compensated, so that no further errors or deviations are introduced.
- the reference beam path is symmetrical, since then the geometric conditions for the at least two thermal imaging cameras are the same.
- a mirrored 90-degree prism for pupil division be introduced into the reference beam path.
- the additional 90 degree prism advantageously no new errors are introduced, which are not recognizable.
- the reference beam path can have a collimator or reference collimator.
- the reference beam path itself should not introduce any uncontrollable errors or deviations into the stereo camera device.
- Possible sources of error are primarily unwanted changes in the positioning of the optical elements of the reference beam path, d. H. pentaprism, 90 degree prism and collimator. Purely translatory displacements are unproblematic. Since the added optical components only have plane surfaces and are arranged in the collimated optical reference beam path, only a pupil shift occurs and no change in the image position.
- the radiation source has a thermoelectric element, in particular a Peltier element.
- a thermoelectric element or cooling element can be used for both heating and cooling by applying current.
- the target or reference image can be displayed (reference image has a temperature difference to the ambient temperature) or hidden (reference image has ambient temperature).
- the reference image can be designed, for example, as a crosshair or crosshair structure and can be punched out of a carrier element (for example made of sheet metal) or etched into it. Such a carrier element can then be connected to the thermoelectric element or be at least part of the thermoelectric element.
- the exit surface of the at least one optical deflecting element is arranged at least approximately in the area of the entrance pupil which is preferably located in the entrance pupil of the respective associated thermal imaging camera.
- the division of the beam path in the observation and reference beam path should preferably take place in the entrance pupil plane of the thermal imaging camera in the area of the entrance pupil, so that its image quality is not impaired.
- the reference beam path has a tube. This minimizes unwanted emissions.
- the tube may have matte black inner surfaces and additional aperture rings.
- a defocusing lens which can be swiveled in and out of the viewing beam path of the thermal imaging camera is provided for calibrating the detector of the thermal imaging camera.
- Infrared detector arrays typically have a strong inhomogeneity of their single detector elements in terms of dark current and gain.
- a calibration of the individual detector elements should be carried out (so-called non-uniformity C_orrection, NUC).
- NUC non-uniformity
- the calibration of the individual detector elements should already be able to detect as many of these radiation components as possible.
- the calibration should be performed as close to the scene temperature. It is therefore very advantageous to turn a defocusing lens between the at least one optical deflection element and a viewing window of the stereo camera device during calibration in order to detect the unwanted radiation components during the calibration.
- the radiation source should be switched off during the calibration or regulated correspondingly to the internal temperature of the stereo camera device.
- the reference beam path has at least one, in particular two Kepler telescopes.
- a Kepler telescope is arranged in each case between the optical splitter element and the optical deflecting element in the reference beam path for the at least two partial beams.
- the calibration accuracy can be further increased in an advantageous manner.
- a (1: 1) Kepler telescope much larger image fields, i. H. Reference images are transmitted. Thus, for example, image rotations can be better detected.
- the F-number is also significantly improved.
- the Kepler telescope is also insensitive to adjustment and so to speak largely invariant with respect to disturbances (eg tilting).
- an alternative embodiment of the stereo camera device according to the invention with two adjusted, each other in a defined distance and aligned thermal imaging cameras specified which is provided with a calibration device for the continuous automatic calibration, wherein as a calibration device, the two thermal imaging cameras each in the area of their entrance pupil an optical deflection - Have element that deflects the output from the first thermal imaging camera or its own heat radiation as a reference image in the observation beam path of the second thermal imaging camera.
- a direct relationship between the two axes of the thermal imaging cameras are produced without additional heat or radiation source.
- the respective optical deflecting elements can preferably be designed such that regardless of the angular position of the optical deflecting element in the plane spanned by the main beams of the reference beam path, the deflection angle of the optical deflecting element between the entrance angle of the respective partial beam and the exit angle of the respective partial beam is always within a tolerance range is constant. If, for example, a pentaprism is used for the optical deflecting element, then it is ensured that the reference beams generated by double deflection, regardless of the exact angular position of the respective pentaprism, are always parallel to the output beam, and thus the reference beam path formed by the respective other thermal imaging camera is nonexistent generated another error.
- Claim 19 specifies a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors from airports with stereoscopic detection of approaching or existing birds or bird swarms. This can advantageously be due to the simple and accurate NachStemolkalibri für satusky satusky satusky satusky satusky satusky satusky satusky satusky .
- a rotation of at least one of the thermal imaging cameras or of a detector of at least one of the thermal imaging cameras can be detected around its optical axis.
- the inventive method for continuous automatic calibration of the stereo camera device according to the invention is preferably realized as a computer program on an image processing device of the stereo camera device according to the invention.
- the computer program is stored in a memory element of the image processing device.
- the computer program can be stored on a computer-readable data medium (floppy disk, CD, DVD, hard disk, USB memory stick or the like) or an Internet server as a computer program product and can be transferred from there into the memory element of the image processing device.
- a computer program or computer program product with program code means is specified in claim 24 or claim 25.
- Figure 1 is a schematic representation of a stereo camera device according to the invention in a monitoring device
- FIG. 2 shows a simplified representation of an arrangement of the stereo camera device according to the invention from FIG. 1 in FIG.
- FIG. 3 shows a simplified representation of a start calibration of a stereo camera device
- Figure 4 is a schematic representation of a first embodiment of the stereo camera device according to the invention.
- FIG. 5 shows a simplified schematic representation of the radiation Lengangs the stereo camera device according to the invention according to the first embodiment with an angle change of a collimator
- FIG. 6 a schematic representation of a second embodiment of the stereo camera device according to the invention.
- FIG. 7 shows a simplified schematic illustration of the beam path of the stereo camera device according to the invention according to the second embodiment with a tilting of the collimator
- FIG. 8 shows a simplified schematic representation of a beam path of the stereo camera device according to the invention according to the second embodiment with a tilting of a divider element
- 9 shows a simplified schematic representation of a beam path of the stereo camera device according to the invention according to the second embodiment with an indication of image layers
- FIG. 10 shows a simplified schematic illustration of a visual field of a reference beam path of the stereo camera device according to the invention.
- Figure 11 is a simplified representation of an entrance pupil of a thermal imaging camera of the stereo device according to the invention with a pentaprism
- Figure 12 is a simplified representation of the pitch of the entrance pupil of the thermal imager
- FIG. 13 a simplified representation of the division of the field of view of a thermal imaging camera in the reference beam path
- FIG. 14 shows a schematic representation of the functional principle of a pentaprism
- Figure 15 is a simplified illustration of error propagation of manufacturing errors in a pentaprism
- FIG. 16 shows a simplified illustration of the beam offset due to positioning errors of a pentaprism
- FIG. 17 shows a schematic illustration of a third embodiment of the stereo camera device according to the invention. processing
- Figure 18 is a schematic representation of a part of the stereo camera device according to the invention according to the second embodiment
- Figure 19 is a schematic representation of a portion of the stereo camera device according to the invention according to the second embodiment with pivoted Defokussierlinse;
- FIG. 20 a schematic representation of the stereo camera device according to the invention in accordance with the second embodiment with the defocusing lens pivoted in;
- Figure 21 is a schematic representation of the stereo camera device according to the invention according to the first embodiment with plane mirrors as optical deflection elements;
- Figure 22 is a schematic representation of the stereo camera device according to the invention according to the second embodiment with additional Kepler telescopes.
- the invention is described below as part of a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports. Of course, the invention is not limited to this application.
- a stereo camera device 1 shows a stereo camera device 1 according to the invention for a monitoring device 2 for runways 110 and / or flight corridors 11 (see FIG. 2) of airports with a stereoscopic detection of approaching birds 6 or swarms of birds 6 ', where parameters such as flight altitude, flight direction, Airspeed and type / size of the birds 6 or the birds are 6 'determined, shown.
- One or more of such stereo camera devices 1 are arranged in the area of the runways 110 and / or the flight corridors 11 and have at least two thermal imaging cameras 3a, 3b arranged synchronously to one another in a defined and adapted spacing during the recording.
- the recording times of the thermal imaging cameras 3a, 3b are at least approximately identical and their respective fields of view 4a, 4b have an overlapping region 5.
- a bird 6 is detected as an object.
- the two thermal imaging cameras 3a, 3b are adjusted to each other and calibrated.
- thermal imaging areas such as LWIR, MWIR, VLWIR, FIR, as well as SWIR, NIR come into consideration.
- the stereo camera device 1 has an image processing device 7, which is provided for processing the image data recorded with the two thermal imaging cameras 3a, 3b.
- the stereo camera device 1 also has a radio station 8 as an interface, in particular network interface, for communication with further stereo camera devices 1 or with higher-level systems, in particular air traffic control systems 9 (indicated in FIG. 1 by the double arrow 8 ').
- the stereo camera device 1 operates autonomously. However, by means of the networking or the radio transmission via the radio station 8 further stations or stereo camera devices 1 can be connected. The information as well as the recordings are therefore available outside the individual station. Mainly these data are transmitted to the air traffic control.
- a monitoring method for runways 110 and / or flight corridors 11 of airports, with which approaching birds 6 or flocks of birds 6 'are detected stereoscopically by means of the monitoring device 2 or the stereo camera device 1, runs on the image processing device 7 of the stereo camera device 1 , where parameters such as flight altitude, flight direction, airspeed and type / size of the birds 6 or the bird swarms 6 'or their swarm density are determined.
- the parameters are determined by means of a stereo evaluation. In this case, absolute space points of the birds 6 to be detected or swarms of birds 6 'are determined by the at least two viewing angles on the area 5 recorded by the at least two thermal imaging cameras 3a, 3b of the stereo camera device 1.
- the wing speed of the birds 6 or of the flocks of birds 6 ' is determined by observation over a corresponding period of time. Birds 6 or flocks of birds 6 'at a greater distance can also be detected, with a correspondingly longer focal length being used for the two thermal imaging cameras 3a, 3b. In addition, flying objects such as model airplanes, stunt kites or the like can be detected by the stereo camera device 1 (not shown).
- An evaluation is made on the basis of the parameters and, if appropriate, a corresponding warning message is issued.
- a stereo camera device 1 with a stereo vision region or overlapping region 5 monitors a known flight route 10 of birds 6 or swarms of birds 6 1 .
- the stereo camera device 1 is arranged so that a flight corridor 11 or an intersection region 12 of the flight corridor 11 with the known flight route 10 of the birds 6 or swarms of birds 6 1 is monitored.
- flight corridor 11 an aircraft 13 is shown by way of example. An arrival time of the detected birds 6 or the detected flock of birds 6 'at the crossing area 12 with the flight corridor 11 of the aircraft 13 is also determined.
- a warning message for initiating countermeasures or abatement or avoidance measures to the higher-level system, in particular air traffic control system 9, or to take-off or landing aircraft 13 is output, if necessary.
- the stereo camera device 1 can monitor in the context of the monitoring device 2, as indicated by dashed lines in Figure 2, also runways 110, wind turbines 111 or buildings with transparent areas 112.
- the stereo camera device 1 should have constant properties, in particular mechanical stability. Since the at the Stereoausêt the image processing achievable accuracies can not be kept constant by simple measures in the mechanical arrangement of the stereo camera device 1, must be determined by means of suitable methods, as the system properties of the stereo camera device 1 temporally change in order to possibly correct them downstream.
- FIG. 3 the basic structure as part of a stereo camera device 1 according to the invention is shown.
- the thermal imaging cameras 3a, 3b are arranged and aligned on a base structure 14 in a housing 15 at a defined distance from one another.
- the housing 15 has viewing windows 16 for the observation beam paths or lines of sight 17a, 17b for the visual fields 4a, 4b of the thermal imaging cameras 3a, 3b.
- the thermal imaging cameras 3a, 3b When the thermal imaging cameras 3a, 3b are mounted on the base structure 14 in the preferably air-conditioned housing 15, all previous residual errors add up to the assembly errors and the angular errors caused by the viewing windows 16.
- suitable targets 18 in the landscape are used at a known position.
- goals 18 are, for example, posts, panels or the like. The distance should ideally correspond to the later working distance.
- the start calibration process is then performed by locating the targets 18 through the stereo camera device 1 with a measurement of the associated angular coordinates and a comparison with the actual known positions of the targets 18 in the landscape.
- the result is a constant calibration of the thermal imaging cameras 3a, 3b, ie the individual pixels are assigned field angles.
- a plausibility test is carried out with the known heat map data.
- the first measurement of the follow-up calibration should then be carried out after that.
- system accuracies can be achieved that are not achievable through passive measures.
- An automatic follow-up calibration or self-calibration is performed, which detects changes compared to the system parameters available during the start calibration.
- the optical deflecting elements 23a, 23b are designed in such a way that, independently of the angular position of the optical deflecting element 23a, 23b, in the plane spanned by the main beams of the reference beam path 20 (intermediate plane in FIG. 4 as well as in FIGS. 5 to 9 and 21).
- the deflection angle 29 of the optical deflection element 23a, 23b between the entry angle of the respective partial beam 22a, 22b and the exit angle of the respective partial beam 22a, 22b is always constant within a tolerance range.
- the tolerance range of the deflection angle 29 is ⁇ 5 mrad, in particular ⁇ 1 mrad, preferably ⁇ 0.05 mrad.
- the diversion angle 29 is between 83 degrees and 97 degrees, especially at 90 degrees.
- the optical deflecting elements 23a, 23b have two reflecting surfaces 40a, 40b, 41a, 41b arranged at a corresponding angular position to generate the deflection angle 29.
- the optical deflection elements are monolithically designed as pentaprisms 23a, 23b.
- the reference beam path 20 has a collimator 24 for collimating the radiation beams.
- an alternative embodiment of an optical deflecting element 23a ', 23b' has as reflection surfaces two plane mirrors 40a ', 40b', 41a ', 41b' which are fixedly arranged relative to one another.
- the thermal imaging cameras 3a, 3b have detectors 25a, 25b with individual detector elements (not shown).
- the pentaprisms 23a, 23b have inlet surfaces 26a, 26b and outlet surfaces 27a, 27b.
- the exit surfaces 27a, 27b of the pentaprisms 23a, 23b are arranged at least approximately in the region of the entrance pupils 28a, 28b of the respective associated thermal imaging cameras 3a, 3b.
- the observation beam paths 17a, 17b and the reference beam path 20 of the stereo camera device 1 according to the invention are indicated in greatly simplified form.
- any angular change of the collimator 24 results in co-located shelves in both thermal imaging cameras 3a, 3b and their detectors 25a, 25b, respectively.
- the reference beams or partial beams 22a, 22b for both thermal imaging cameras 3a, 3b remain in any case perpendicular to the current axis of the collimator 24, so that the lines of sight 17a, 17b of the two thermal imaging cameras 3a, 3b can optionally be controlled and tracked electronically.
- FIG. 6 shows a further embodiment of a stereo camera device 1 'according to the invention with a symmetrically designed reference beam path 20'.
- This is an optimal beautiful splitter element 30 for dividing the beam 22 into the partial beams 22a, 22b provided.
- the optical subelement is designed as a 90 degree prism 30. It is advantageous to construct the reference beam path 20 as symmetrically as possible, so that the geometric conditions for both thermal imaging cameras 3a, 3b are as equal as possible. This is possible in a simple manner with a correspondingly mirrored 90-degree prism 30 for pupil division in the reference beam path 20.
- the following error analysis shows that the additional 90-degree prism 30 can not give rise to any new errors which are not recognizable.
- a reference beam path 20, 20 'must not itself generate uncontrollable errors.
- Possible sources of error in the stereo camera device 1, 1 'according to the invention are primarily unwanted changes in the positioning of the added optical elements (pentaprisms 23a, 23b, 90-degree prism 30 and collimator 24). Purely translatory shifts are rather unproblematic. Since the added optical components 23a, 23b, 24, 30 have only planar surfaces and are arranged in the collimated beam path 22, only a pupil shift and no change in the image position can occur.
- a tilting of the 90-degree prism 30 results in the same-direction displacement of the reference images in both thermal imaging cameras 3a, 3b, which can also be compensated so that no further errors occur (see FIGS. there deflection angle 29).
- Storage error 8 2 F w • tan 2 ⁇ 2 [mm].
- a rotation of the collimator 24 about its optical axis generates a synchronous rotation of the reference images in both thermal imaging cameras 3a, 3b, since the image positions in both thermal imaging cameras 3a, 3b, as indicated in Fig. 9, are the same. This deviation can also be compensated so that no new errors occur.
- the respective image layers are indicated in FIG. 9 by crossed arrows 31.
- Reference field FOV REF 20C 3 .
- the division of the beam path in observation beam path 17a, 17b and reference beam path 20, 20 ' should be done in the entrance pupil 28a, 28b of the thermal imaging camera 3a, 3b, so that the image quality is not impaired.
- a realistic division ratio can be seen from FIG.
- the entrance pupil 28a, 28b of the thermal imaging camera 3a, 3b has a diameter of 27.5 mm.
- the taprism 23a, 23b has an area of 10 mm ⁇ 10 mm, with shadowing 32 of the pupil 28a, 28b of the thermal imaging camera 3a, 3b of 11 mm ⁇ 11 mm being present.
- the pupil of the reference beam path 20, 20 ' is therefore 10 mm ⁇ 10 mm.
- the entrance surface 26a, 2 ⁇ b of the pentaprism 23a, 23b represents the effective pupil surface for the reference beam path 20, 20 '.
- the thermal imaging camera 3a, 3b with the largest part 34 of its entrance pupil 28a, 28b looks at the pentaprism 23a, 23b over.
- the smaller part 35 of the entrance pupil 28a, 28b looks through the pentaprism 23a, 23b in the direction of the collimator 24. Due to the large focal length b and the small collimator pupil, however, the collimator 24 only fills the very small part 35 of the visual field with a diameter of 23 mm, while the much larger part 34 of the entrance pupil 28a, 28b complicatschaut the collimator 24.
- the part 35 must be blocked with appropriate apertures to prevent unwanted image information (eg from hot device components or the like) from being detected.
- FIG. 14 shows a pentaprism 23a, 23b with the mechanical dimensions and the functional principle.
- the height of the entrance surface 26a, 26b is designated by x.
- the pentaprisms 23a, 23b generate a dropping beam that is at 90 degrees to the incident beam within manufacturing tolerances.
- This 90 degree deflection is independent of the angle of incidence in the plane defined by these beams.
- a faulty position of the pentaprism 23a, 23b thus produces no faulty storage of the desired 90 degree direction.
- a pentaprism 23a, 23b can also have production-related pyramidal defects.
- the pyramidal errors can theoretically be attributed to the tilting of the reflecting surface. In the case of pentaprisms 23a, 23b, this results in a corresponding angular deflection relative to the tangential plane (drawing plane in FIG. 15).
- Another error is that the surfaces need not be flat, but may have a very flat curvature, which leads to a refractive power. For technical reasons, this is often positive; in the general case, it will also be cylindrical.
- the pentaprism 23a, 23b is then a combination of a lens with concave mirrors and forms an optical system with a corresponding refractive power.
- positioning errors in the tangential plane do not produce any angle errors, but result in only one beam offset ⁇ y.
- the pentaprism 23a, 23b is operated in the collimated beam path, this only means a pupil offset ⁇ y, which as a rule is harmless.
- the positioning errors are indicated by dashed lines in FIG. In the left part of the figure in Figure 16 is an angle error, in the middle part of the figure to a radial displacement and the right part of the figure to an axial displacement.
- a third embodiment of a stereo camera device is l '1 with two aligned, mutually arranged at a defined distance and aligned heat mesentianas 3a, 3b, which with a calibration device 19''for their continuous automatic calibration
- the two thermal imaging cameras 3a, 3b each have, in the region of their entrance pupils 28a, 28b, an optical deflection element formed as pentaprism 23a, 23b, which transmits the image emitted by the first thermal imaging camera 3a or its detector 25a own heat radiation as a reference image in the observation beam 17b of the second thermal imaging camera 3b deflects.
- a direct relationship between the two axes of the thermal imaging cameras 3a, 3b can also be produced passively (without additional heat source or radiation source 21).
- a small part of the pupil of a thermal imaging camera 3a, 3b with prisms 23a, 23b or mirrors is in each case deflected into the pupil of the respective other thermal imaging camera 3a, 3b. Since the temperature of the detector surfaces is very low relative to the scene, each thermal imaging camera 3a, 3b sees a cold image detail of the detector surface of its counterpart embedded in the scene.
- Thermal image detector arrays typically exhibit strong inhomogeneity of their single detectors in terms of dark current and gain. In order nevertheless to achieve an acceptable image quality, therefore, at least one calibration of the detector elements must be carried out. This is known as Non-Uniformity Correction (NUC). However, this is generally not sufficient for a good homogenization of the image background since, in addition to the desired scene radiation, there are other radiation sources in the infrared range which contribute undesirably to the image information. As can be seen from FIG. 18 for a cutout region of the stereo camera device I 1 according to the invention, there are the following irradiation mechanisms. The inner surfaces of the measuring structure radiate via the residual reflection of lenses, prisms 23a and viewing windows 16 on the detector surface.
- the calibration method should be able to detect as many of these radiation components as possible.
- the unwanted radiation components are indicated in FIG. 18 by dashed arrows. Since the inside temperature of the device and the scene temperature (eg, cold sky) are often extremely different, the calibration should be performed at a temperature near the scene temperature if possible.
- a defocusing lens 38 is provided in front of the pentaprism 23a of the thermal imager 3a for calibrating the detector 25a of the thermal imager 3a, in the observation beam path 17a of the thermal imager 3a. If the defocussing lens 38 is placed between the pentaprism 23a and the viewing window 16, virtually all unwanted irradiation components are detected.
- the scene is provided with the reference numeral 39.
- FIG. 19 shows the normal operating situation with the defocusing lens 38 swiveled out, in which the observation beam path 17a and the reference beam path 20 'are focused onto the detector 25a.
- the detector 25a also sees unwanted heat radiation from the tube 36 and the device interior.
- the defocusing lens 38 is swiveled in for calibration, whereby the observation beam path 17a is purposefully defocused and the image of the scene 39 on the detector 25a is smeared.
- the detector 25a thus experiences a quasi-homogeneous illumination with thermal radiation, the intensity of which corresponds to the scene temperature.
- the unwanted heat radiation from the tube 36 and the device interior again hits the detector 25a.
- a calibration is carried out in this configuration, then in addition to the scene-typical radiation background, all unwanted effects are recorded and can thus be eliminated by suitable image correction algorithms from the subsequently recorded thermal images.
- the heat source or radiation source 21 must be switched off behind the reference structure or even better regulated to the internal device temperature. This is done by the thermoelectric cooler or the pelletizing element of the radiation source 21.
- FIG. 22 again shows the second embodiment of the stereo camera device 1 according to the invention according to FIG. 6.
- a Kepler is provided in the reference beam path 20 'for the at least two partial beams 22a, 22b between the optical splitter element 30 and the optical deflection elements formed as pentaprisms 23a, 23b Telescope 42a, 42b arranged.
- the Kepler telescopes 42a, 42b can in principle be equipped with the necessary manoeuvrable changes in all embodiments of the stereo camera device 1, 1 ', 1 according to the invention ? I will be employed.
- a rotation of at least one of the thermal imaging cameras 3a, 3b or the detector 25a, 25b of at least one of the thermal imaging cameras 3a, 3b is detected about its optical axis.
- the inventive method for continuous automatic calibration of the stereo camera device 1 according to the invention, 1 ', l' 1 is preferably beitungs noticed as a computer program on theêtverar- 7 of the stereo camera device according to the invention 1,1 ', I 1' realized, other solutions also occur naturally in question.
- the computer program is stored in a memory element, not shown, of the image processing device 7.
- the computer program can be stored on a computer-readable medium (floppy disk, CD, DVD, hard disk, ÜSB). Memory stick or the like) or an internet server as a computer program product and from there to the storage element of the image processing device 7.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
The invention relates to a stereo camera apparatus (1') comprising at least two adjusted thermal imaging cameras (3a, 3b) disposed at a defined distance to and aligned with one another, said apparatus provided with a calibration apparatus (19') for the continuous automatic calibration thereof, wherein the calibration apparatus (19') comprises a radiation source (21) and a reference beam path (20') for imaging a reference image of the radiation source (21) onto the respective thermal imaging camera (3a, 3b), wherein an outgoing collimated beam bundle (22) from the radiation source (21) is divided into at least two partial beam bundles (22a, 22b). Each of the at least two partial beam bundles (22a, 22b) are redirected to the camera through at least one optical redirecting element (23a, 23b) associated with the respective thermal imaging camera (3a, 3b), wherein at least one of the optical redirecting elements (23a, 23b) is adapted such that the redirection angle of the optical redirecting element (23a, 23b) is always constant within a tolerance range independent of the angular position of the optical redirecting element (23a, 23b) in the plane occupied by the primary beams of the reference beam path (20').
Description
Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von FlughäfenStereo camera devices, methods for the continuous automatic calibration of a stereo camera device, computer program, computer program product and monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports
Die Erfindung betrifft eine Stereokameraeinrichtung mit wenigstens zwei justierten, zueinander in definiertem Abstand angeord- neten und ausgerichteten Wärmebildkameras, welche mit einer Kalibriereinrichtung zu deren fortlaufenden automatischen Kalibrierung versehen ist. Des Weiteren betrifft die Erfindung ein Verfahren zur fortlaufenden automatischen Kalibrierung einer derartigen Stereokameraeinrichtung. Die Erfindung betrifft eben- falls ein Computerprogramm und ein Computerprogrammprodukt mit Programmcodemitteln, um ein derartiges Verfahren durchzuführen. Darüber hinaus betrifft die Erfindung auch eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughä- fen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen.The invention relates to a stereo camera device with at least two adjusted, each other at a defined distance angeord- Neten and aligned thermal imaging cameras, which is provided with a calibration device for their continuous automatic calibration. Furthermore, the invention relates to a method for the continuous automatic calibration of such a stereo camera device. The invention also relates to a computer program and a computer program product with program code means for carrying out such a method. Moreover, the invention also relates to a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports with a stereoscopic detection of approaching or existing birds or bird swarms.
Bei Start und Landung von Flugzeugen kommt es häufig zu Kollisionen mit Vögeln oder Vogelschwärmen. Vogelschwärme bezeichnen dabei Aggregationen von Vögeln meist gleicher Größe und Art, welche oft in dieselbe Richtung fliegen. Insbesondere beim Kreuzen von Flugkorridoren insbesondere von Flughäfen mit Flugrouten von Vögeln des regionalen und überregionalen Vogelzugs, welche sich häufig an Landschaftsstrukturen wie Gewässern, Tälern oder Küstenlinien orientieren, ist diese Gefahr stark erhöht. Bei derartigen Kollisionen kann es zu Schäden u. a. an den Triebwerken von Flugzeugen kommen.When taking off and landing aircraft, there are often collisions with birds or bird swarms. Flocks of birds refer to aggregations of birds of the same size and species, which often fly in the same direction. In particular, when cruising flight corridors in particular of airports with flight paths of birds of regional and national bird migration, which are often based on landscape structures such as waters, valleys or coastlines, this risk is greatly increased. In such collisions, it may damage u. a. come on the engines of airplanes.
In der älteren nicht vorveröffentlichten DE 10 2008 018 880.8 wird dazu eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen
und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogel- schwärmen zur Durchführung eines Überwachungsverfahrens vorgeschlagen, wobei Parameter wie Flughöhe, Flugrichtung, Flugge- schwindigkeit, Art und Größe der Vögel oder der Vogelschwärme ermittelbar sind. Im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore ist wenigstens eine Stereokameraeinrichtung vorgesehen, welche wenigstens zwei zueinander in definiertem und an- gepassten Abstand angeordnete während der Aufnahme synchron laufende Kameras, insbesondere Wärmebildkameras, aufweist, deren Aufnahmezeitpunkte wenigstens annähernd identisch sind und deren jeweilige Sehfelder einen überlappenden Bereich aufweisen.In the older unpublished DE 10 2008 018 880.8 there is a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors proposed by airports with a stereoscopic detection of approaching or existing birds or bird swarms for carrying out a monitoring method, wherein parameters such as altitude, flight direction, flight speed, type and size of the birds or the bird swarms can be determined. In the field of wind turbines, buildings with transparent areas, runways and / or flight corridors, at least one stereo camera device is provided, which has at least two mutually defined and adapted spaced synchronous cameras during the recording, in particular thermal imaging cameras, whose Recording times are at least approximately identical and their respective fields of view have an overlapping area.
Werden Kameras, insbesondere Wärmebildkameras oder Wärmebildgeräte zu Messaufgaben, wie beispielsweise die vorstehend erwähnte Stereoskopie verwendet, sollten diese konstante Eigenschaften, insbesondere mechanische Stabilität besitzen. Da die bei der Stereoauswertung der Bilder erreichbaren Genauigkeiten nicht durch einfache Maßnahmen im Aufbau der Stereokameraeinrichtung gehalten werden können, muss mittels geeigneter Verfahren ermittelt werden, wie sich die Systemeigenschaften ändern, um diese eventuell nachgeschaltet korrigieren zu können. Die vorstehend angeführte Stereokameraeinrichtung zur Bestimmung des Vorhanden- seins und/oder der Fluggeschwindigkeit der Vögel beruht auf einer genauen Bestimmung des in einem relativ kurzen Zeitintervall zurückgelegten Weges der Tiere. Dazu ist eine genaue Ortsbestimmung an zwei Punkten notwendig, die sehr empfindlich gegenüber einem relativen Fehler zwischen den beiden Sichtlinien der Kame- ras ist. Die vorgenannten Stereokameraeinrichtungen sollten möglichst so kalibriert werden, dass über sehr lange Zeiträume hochgenaue stereoskopische Messungen erreicht werden können. Für einen Aufbau derartiger Messsysteme ist eine detaillierte Justa- gestrategie für jeden Aufbauschritt notwendig, welche sicher- stellt, dass im letzten Schritt am Aufstellungsort mit den dann nur noch begrenzt verfügbaren Mitteln eine umfassende Kalibrie-
rung des Systems erreicht werden kann.If cameras, in particular thermal imaging cameras or thermal imagers, are used for measuring tasks, such as the stereoscopy mentioned above, they should have constant properties, in particular mechanical stability. Since the accuracies achievable in the stereo evaluation of the images can not be maintained by simple measures in the construction of the stereo camera device, it must be determined by means of suitable methods how the system properties change in order to possibly correct them downstream. The above-mentioned stereo camera device for determining the presence and / or the speed of flight of the birds is based on an accurate determination of the distance traveled by the animals in a relatively short time interval. This requires precise location determination at two points, which is very sensitive to a relative error between the two lines of sight of the cameras. The aforementioned stereo camera devices should as far as possible be calibrated so that highly-accurate stereoscopic measurements can be achieved over very long periods of time. For a setup of such measuring systems, a detailed adjustment strategy is necessary for each assembly step, which ensures that in the last step at the place of installation with the then only limited available resources a comprehensive calibration the system can be achieved.
Abweichungen von der beim Aufbau der Stereokameraeinrichtung durchgeführten Kalibrierung können über die angestrebte Be- triebszeit oftmals nicht völlig vermieden werden. So kann es z. B. durch eine Verbiegung der mechanischen Basis- bzw. Grundstruktur des Stereosystems oder durch thermisch bedingte Veränderungen der Strukturelemente und auch der einzelnen Wärmebildkameras zu Veränderungen der Sichtlinien der Wärmebildkameras kommen. Zur fortlaufenden Erkennung und Korrektur dieser Abweichungen sollten Maßnahmen konzipiert werden, die gleichzeitig mit den eigentlichen Messungen im Rahmen der Stereobildauswertung ablaufen können, ohne diese zu stören und die natürlich selbst keine zusätzlichen Fehler in die Stereokameraeinrichtung einbringen dürfen.Deviations from the calibration performed during setup of the stereo camera device can often not be completely avoided over the desired operating time. So it may be z. B. by a bending of the mechanical basis or basic structure of the stereo system or by thermally induced changes in the structural elements and also the individual thermal imaging cameras to change the line of sight of the thermal imaging cameras come. For the continuous recognition and correction of these deviations, measures should be conceived which can run simultaneously with the actual measurements in the context of the stereo image evaluation, without disturbing them and which, of course, must not introduce any additional errors into the stereo camera device itself.
Starke Temperaturschwankungen und/oder mechanische Beanspruchungen z. B. Vibrationen können zu Veränderungen von Kameraparametern der Stereokameraeinrichtung, insbesondere von Änderungen in der Position und Lage sowie der Ausrichtung der jeweiligen Kamera führen. Daher kann es erforderlich sein die Stereokameraeinrichtung in kurzen Abständen neu zu kalibrieren bzw. sollte die eingesetzte Stereokameraeinrichtung in der Lage sein, eine kontinuierliche Selbstkalibrierung vorzunehmen.Strong temperature fluctuations and / or mechanical stresses z. B. Vibrations can lead to changes in camera parameters of the stereo camera device, in particular changes in the position and position and the orientation of the respective camera. Therefore, it may be necessary to recalibrate the stereo camera device at frequent intervals or should the stereo camera device employed be capable of continuous self-calibration.
Die DE 10 2007 050 558 Al betrifft ein Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung, insbesondere eines Stereo-Kamerasystems, bei welchem mittels eines Stereo-Verfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien ein rektifiziertes Bildpaar ermittelt wird.DE 10 2007 050 558 A1 relates to a method for the continuous self-calibration of an image recording device, in particular a stereo camera system, in which a pair of images is detected by means of a stereo method, on the basis of which a rectified image pair is determined by a pixel-by-pixel correspondence analysis along epipolar lines.
Ein System und ein Verfahren zur Erzeugung von räumlichen Bilddarstellungen, insbesondere von räumlichen Wärmebildern, ist in der EP 1 484 628 Al angegeben.
Zum weiteren Stand der Technik wird auf die JP 01251990 A verwiesen.A system and a method for generating spatial image representations, in particular of spatial thermal images, is disclosed in EP 1 484 628 A1. For further prior art, reference is made to JP 01251990 A.
Ausgehend davon liegt der vorliegenden Erfindung die Aufgabe zu Grunde, eine Stereokameraeinrichtung und ein Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung bzw. ein Computerprogramm und ein Computerprogrammprodukt zu schaffen, welche eine einfache und genaue Nachführkalibrierung der Stereokameraeinrichtung ermöglichen, wobei Änderungen der bei der Startkalibrierung bestimmten Systemparameter ermittelt und gegebenenfalls korrigiert werden, insbesondere ohne zusätzliche Störungen oder Fehler durch die Nachführkalibrierung zu erzeugen.Based on this, the object of the present invention is to provide a stereo camera device and a method for the continuous automatic calibration of a stereo camera device and a computer program product, which enable a simple and accurate tracking calibration of the stereo camera device, wherein changes of the system parameters determined during the start calibration be determined and corrected if necessary, in particular without generating additional interference or errors by the Nachführkalibrierung.
Diese Aufgabe wird erfindungsgemäß durch Anspruch 1 gelöst. Die Aufgabe wird ebenfalls durch Anspruch 15 gelöst. Hinsichtlich des Verfahrens zur fortlaufenden automatischen Kalibrierung einer Stereoeinrichtung wird die Aufgabe durch Anspruch 20 gelöst. Bezüglich des Computerprogramms bzw. des Computerprogrammpro- dukts wird die Aufgabe durch Anspruch 24 bzw. Anspruch 25 gelöst.This object is achieved by claim 1. The object is also solved by claim 15. With regard to the method for continuous automatic calibration of a stereo device, the object is achieved by claim 20. With regard to the computer program or the computer program product, the object is achieved by claim 24 or claim 25.
Erfindungsgemäß wird eine Stereokameraeinrichtung mit wenigstens zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras vorgeschlagen, welche mit einer Kalibriereinrichtung zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung eine Strahlungsquelle und einen Referenzstrahlengang aufweist, mittels welchem ein Referenzbild von der Strahlungsquelle auf die jeweilige Wärmebildkamera abgebildet wird, wobei ein von der Strahlungsquelle ausgehendes kollimiertes Strahlenbündel in wenigstens zwei Teilstrahlenbündel geteilt wird, wobei die wenigstens zwei Teilstrahlenbündel jeweils über wenigstens ein der jeweiligen Wärmebildkamera zugeordnetes optisches Umlenkelement auf diese gelenkt werden und wobei wenigstens eines der optischen Umlenkelemente derart ausgebildet ist, dass unabhängig von
der Winkelposition des optischen Umlenkelements in der durch die Hauptstrahlen des Referenzstrahlengangs aufgespannten Ebene der Umlenkwinkel des optischen Umlenkelements stets innerhalb eines Toleranzbereichs konstant ist.According to the invention, a stereo camera device with at least two adjusted, mutually spaced and aligned thermal imaging cameras is proposed, which is provided with a calibration device for the continuous automatic calibration, wherein the calibration device comprises a radiation source and a reference beam path, by means of which a reference image from the radiation source to the respective thermal imaging camera is imaged, wherein a collimated beam emanating from the radiation source is divided into at least two partial beams, wherein the at least two partial beams are each directed via at least one of the respective thermal imaging camera associated optical deflection and at least one of the optical deflection such. that regardless of the angular position of the optical deflection element in the plane spanned by the main beams of the reference beam path, the deflection angle of the optical deflection element is always constant within a tolerance range.
Des Weiteren wird ein erfindungsgemäßes Verfahren zur fortlaufenden automatischen Kalibrierung der erfindungsgemäßen Stereokameraeinrichtung vorgeschlagen, wobei das Referenzbild auf den wenigstens zwei Wärmebildkameras in vorgegebenen, insbesondere regelmäßigen Zeitabständen lokalisiert wird, wonach die relative Position und/oder die relative Orientierung des Referenzbildes zu den Referenzbildern der weiteren Wärmebildkameras bestimmt wird, und wonach daraus bei Erkennung einer Veränderung eine entsprechende Korrektur der Parameter für die Stereoauswertung ermittelt und vorgenommen wird.Furthermore, an inventive method for continuous automatic calibration of the stereo camera device according to the invention is proposed, wherein the reference image is located on the at least two thermal imaging cameras at predetermined, in particular regular intervals, after which the relative position and / or the relative orientation of the reference image to the reference images of the other thermal imaging cameras is determined, and after which, upon detection of a change, a corresponding correction of the parameters for the stereo evaluation is determined and made.
Durch diese Maßnahmen wird es ermöglicht Stereokameraeinrichtungen, insbesondere Stereowärmebildkameras so zu kalibrieren, dass über sehr lange Zeiträume hochgenaue stereoskopische Messungen erzielt werden können. Es werden Systemgenauigkeiten erreicht, die durch passive Maßnahmen nicht realisierbar sind. Das vorgeschlagene Verfahren basiert auf einer Startkalibrierung sowie auf einer automatischen Nachführkalibrierung, welche die Änderungen gegen die bei der Startkalibrierung vorhandenen Systempa- rameter für die Stereoauswertung bzw. die Bildverarbeitung ermittelt und gegebenenfalls entsprechende Korrekturen vornimmt.These measures make it possible to calibrate stereo camera devices, in particular stereo thermal imaging cameras, so that highly accurate stereoscopic measurements can be achieved over very long periods of time. System accuracies are achieved which can not be realized by passive measures. The proposed method is based on a start calibration as well as an automatic follow-up calibration, which determines the changes against the system parameters for the stereo evaluation or the image processing which are present during the start calibration and makes appropriate corrections if necessary.
Um die Sichtlinien der beiden Wärmebildkameras, welche auf einer Basisstruktur mit gegebenenfalls höherer Basislänge montiert sind, über längere Zeit ausgerichtet zu halten, wird ein Bezug zur Achse eines Referenzstrahlengangs oder Referenzkollimators hergestellt. Dazu wird das von dem Referenzstrahlengang ausgehende Strahlenbündel geteilt und die entstehenden Teilstrahlenbündel mit geeigneten Umlenkelementen wie Spiegeln oder Prismen in die jeweilige Eintrittspupille einer Wärmebildkamera umgelenkt. Dadurch, dass wenigstens eines der optischen Umlenkele-
mente derart ausgebildet ist, dass unabhängig von der Winkelposition des optischen Umlenkelements in der durch die Hauptstrahlen des Referenzstrahlengangs aufgespannten Ebene der Umlenkwinkel des optischen Umlenkelements zwischen dem Eintrittswinkel des jeweiligen Teilstrahlenbündels und dem Austrittswinkel des jeweiligen Teilstrahlenbündels stets innerhalb eines Toleranzbereichs konstant ist, ist sichergestellt, dass die durch die Umlenkung erzeugten Referenzstrahlen unabhängig von der genauen Winkelposition des optischen Umlenkelements stets senkrecht oder parallel zur Achse des Referenzstrahlengangs ausgerichtet sind. Der Umlenkwinkel des optischen Umlenkelements ist unabhängig vom Einfallswinkel des entsprechenden Teilstrahlenbündels in der durch das Teilstrahlenbündel aufgespannten Ebene stets wenigstens annähernd konstant. Das optische Umlenkelement ist sozusa- gen invariant gegenüber Störgrößen (z. B. Verkippen). Etwaige Winkeländerungen des Referenzstrahlengangs bzw. der Strahlungsquelle oder des Kollimators erzeugen gleichsinnige Ablagen in beiden Wärmebildkameras und können somit erkannt und von den relevanten Fehlern oder Abweichungen unterschieden werden. Die Re- ferenzstrahlen für beide Wärmebildkameras bleiben in jedem Fall senkrecht oder parallel zur aktuellen Achse des Referenzstrahlengangs, so dass die Sichtlinien der beiden Wärmebildkameras kontrolliert und elektronisch bzw. über die Stereoauswertung in der Bildverarbeitung nachgeführt werden können.In order to keep the line of sight of the two thermal imaging cameras, which are mounted on a base structure with possibly higher base length, aligned for a long time, a reference to the axis of a reference beam path or reference collimator is established. For this purpose, the beam emanating from the reference beam path is divided and deflected the resulting partial beams with suitable deflection elements such as mirrors or prisms in the respective entrance pupil of a thermal imaging camera. In that at least one of the optical deflecting elements Mente is formed such that regardless of the angular position of the optical deflecting element in the plane defined by the main beams of the reference beam path plane of deflection of the optical deflecting element between the entrance angle of the respective partial beam and the exit angle of the respective partial beam is always constant within a tolerance range, it is ensured that the reference beams generated by the deflection are always aligned perpendicular or parallel to the axis of the reference beam path regardless of the exact angular position of the optical deflection element. The deflection angle of the optical deflection element is always at least approximately constant regardless of the angle of incidence of the corresponding partial beam in the plane spanned by the partial beam. The optical deflection element is, as it were, invariant with respect to disturbance variables (eg tilting). Any changes in angle of the reference beam path or the radiation source or the collimator generate the same-way shelves in both thermal imaging cameras and can thus be detected and distinguished from the relevant errors or deviations. In any case, the reference beams for both thermal imagers remain perpendicular or parallel to the current axis of the reference beam path, so that the lines of sight of the two thermal imagers can be controlled electronically or tracked via the stereo evaluation in the image processing.
Der Toleranzbereich des Umlenkwinkels kann ±5 mrad, insbesondere +1 mrad, vorzugsweise ±0,05 mrad betragen.The tolerance range of the deflection angle can be ± 5 mrad, in particular +1 mrad, preferably ± 0.05 mrad.
Der Umlenkwinkel kann zwischen 83 Grad und 97 Grad, insbesondere bei 90 Grad liegen.The deflection angle can be between 83 degrees and 97 degrees, in particular at 90 degrees.
Erfindungsgemäß kann vorgesehen sein, dass das optische Umlenkelement zur Erzeugung des Umlenkwinkels zwei in entsprechender Winkelposition fest zueinander angeordnete Reflexionsflächen aufweist.
In einer konstruktiven Ausgestaltung der Erfindung kann das optische Umlenkelement als Reflexionsflächen zwei fest zueinander angeordnete Planspiegel aufweisen.According to the invention, provision may be made for the optical deflecting element to have two reflection surfaces fixed to one another in a corresponding angular position for generating the deflection angle. In a constructive embodiment of the invention, the optical deflecting element may have as reflecting surfaces two mutually fixed plane mirrors.
Sehr vorteilhaft ist es, wenn das optische Umlenkelement monolithisch, insbesondere als Pentaprisma ausgeführt ist.It is very advantageous if the optical deflection element is monolithic, in particular designed as a pentaprism.
Durch eine monolithische Ausführung des optischen Umlenkelements wird eine Verkippung der Reflexionsflächen zueinander vermieden. Durch den Einsatz eines Pentaprismas als optisches Umlenkelement einer Wärmebildkamera ist sichergestellt, dass die durch die Umlenkung erzeugten Referenzstrahlen unabhängig von der genauen Winkelposition des Pentaprismas stets senkrecht oder parallel zur Achse des Referenzstrahlengangs ausgerichtet sind, da es ei- ne Besonderheit des Pentaprismas ist, dass der Austrittswinkel des Lichtstrahls immer 90 Grad zum Eintrittswinkel steht. Daher ist das Pentaprisma invariant gegenüber Störgrößen (z. B. Verkippen des Pentaprismas) .By a monolithic design of the optical deflection element tilting of the reflection surfaces is avoided to each other. The use of a pentaprism as an optical deflecting element of a thermal imaging camera ensures that the reference beams generated by the deflection are always aligned perpendicular or parallel to the axis of the reference beam path, regardless of the exact angular position of the pentaprism, since it is a peculiarity of the pentaprism that the Exit angle of the light beam is always 90 degrees to the entrance angle. Therefore, the pentaprism is invariant to interference (eg tilting of the pentaprism).
Erfindungsgemäß kann ferner vorgesehen sein, dass wenigstens ein optisches Teilelement zur Teilung des Strahlenbündels in die Teilstrahlenbündel vorgesehen ist.According to the invention, it may further be provided that at least one optical subelement is provided for dividing the beam into the sub-beams.
Dadurch können verschiedenartige, insbesondere symmetrische Re- ferenzstrahlengänge eingesetzt werden.As a result, various, in particular symmetrical reference beam paths can be used.
Vorteilhaft ist es, wenn das optische Teilerelement als 90-Grad- Prisma ausgebildet ist. Eine Verkippung des 90-Grad-Prismas hat wiederum eine gleichsinnige Verschiebung der Referenzbilder bzw. Target-Bilder zur Folge, welche ebenfalls kompensiert werden kann, so dass keine weiteren Fehler oder Abweichungen eingebracht werden.It is advantageous if the optical divider element is designed as a 90-degree prism. Tilting of the 90 degree prism in turn results in the same direction displacement of the reference images or target images, which can also be compensated, so that no further errors or deviations are introduced.
Sehr vorteilhaft ist es, wenn der Referenzstrahlengang symmet- risch ausgeführt ist, da dann die geometrischen Verhältnisse für die wenigstens zwei Wärmebildkameras gleich sind. Hierzu kann
ein verspiegeltes 90-Grad-Prisma zur Pupillenteilung in den Referenzstrahlengang eingebracht sein. Durch das zusätzliche 90- Grad-Prisma werden vorteilhafterweise keine neuen Fehler eingebracht, die nicht erkennbar sind.It is very advantageous if the reference beam path is symmetrical, since then the geometric conditions for the at least two thermal imaging cameras are the same. For this purpose can a mirrored 90-degree prism for pupil division be introduced into the reference beam path. The additional 90 degree prism advantageously no new errors are introduced, which are not recognizable.
Zur Kollimierung des von der Strahlungsquelle ausgehenden Strahlenbündels kann der Referenzstrahlengang einen Kollimator bzw. Referenzkollimator aufweisen.For collimating the radiation beam emanating from the radiation source, the reference beam path can have a collimator or reference collimator.
Der Referenzstrahlengang sollte selbstverständlich selbst keine unkontrollierbaren Fehler oder Abweichungen in die Stereokameraeinrichtung einbringen. Mögliche Fehlerquellen sind in erster Linie ungewollte Veränderungen der Positionierung der optischen Elemente des Referenzstrahlengangs, d. h. des Pentaprismas, des 90-Grad-Prismas und des Kollimators. Rein translatorische Verschiebungen sind dabei unproblematisch. Da die hinzugefügten optischen Bauelemente nur Planflächen aufweisen und in dem kolli- mierten optischen Referenzstrahlengang angeordnet sind, tritt lediglich eine Pupillenverschiebung auf und keine Änderung der Bildlage.Of course, the reference beam path itself should not introduce any uncontrollable errors or deviations into the stereo camera device. Possible sources of error are primarily unwanted changes in the positioning of the optical elements of the reference beam path, d. H. pentaprism, 90 degree prism and collimator. Purely translatory displacements are unproblematic. Since the added optical components only have plane surfaces and are arranged in the collimated optical reference beam path, only a pupil shift occurs and no change in the image position.
Vorteilhaft ist es, wenn die Strahlungsquelle ein thermoelektri- sches Element, insbesondere ein Peltierelement aufweist. Ein derartiges thermoelektrisches Element oder Kühlelement kann un- ter Beaufschlagung von Strom sowohl zum Erwärmen als auch zum Kühlen eingesetzt werden. Demnach kann das Target- bzw. Referenzbild eingeblendet (Referenzbild weist eine Temperaturdifferenz zur Umgebungstemperatur auf) oder ausgeblendet (Referenzbild hat Umgebungstemperatur) werden. Das Referenzbild kann bei- spielsweise als Kreuz- bzw. Fadenkreuzstruktur ausgebildet sein und aus einem Trägerelement (beispielsweise aus Blech) herausgestanzt oder in dieses reingeätzt sein. Ein derartiges Trägerelement kann dann mit dem thermoelektrischen Element verbunden oder wenigstens ein Teil des thermoelektrischen Elements sein.It is advantageous if the radiation source has a thermoelectric element, in particular a Peltier element. Such a thermoelectric element or cooling element can be used for both heating and cooling by applying current. Accordingly, the target or reference image can be displayed (reference image has a temperature difference to the ambient temperature) or hidden (reference image has ambient temperature). The reference image can be designed, for example, as a crosshair or crosshair structure and can be punched out of a carrier element (for example made of sheet metal) or etched into it. Such a carrier element can then be connected to the thermoelectric element or be at least part of the thermoelectric element.
Erfindungsgemäß kann ferner vorgesehen sein, dass die Austritts-
fläche des wenigstens einen optischen Umlenkelements wenigstens annähernd im Bereich Eintrittspupille der vorzugsweise in der Eintrittspupille der jeweiligen zugeordneten Wärmebildkamera angeordnet ist.According to the invention, it may further be provided that the exit surface of the at least one optical deflecting element is arranged at least approximately in the area of the entrance pupil which is preferably located in the entrance pupil of the respective associated thermal imaging camera.
Die Teilung des Strahlengangs in Beobachtungs- und Referenzstrahlengang sollte im Bereich der Eintrittspupille vorzugsweise in der Eintrittspupillenebene der Wärmebildkamera erfolgen, damit deren Bildqualität nicht beeinträchtigt wird.The division of the beam path in the observation and reference beam path should preferably take place in the entrance pupil plane of the thermal imaging camera in the area of the entrance pupil, so that its image quality is not impaired.
Vorteilhaft ist es, wenn der Referenzstrahlengang einen Tubus aufweist. Dadurch werden unerwünschte Abstrahlungen minimiert. Zusätzlich kann der Tubus mattschwarz ausgeführte Innenflächen und zusätzliche Blendenringe aufweisen.It is advantageous if the reference beam path has a tube. This minimizes unwanted emissions. In addition, the tube may have matte black inner surfaces and additional aperture rings.
Erfindungsgemäß kann ferner vorgesehen sein, dass in Ausbreitungsrichtung des Beobachtungslichts der jeweiligen Wärmebildkamera vor dem optischen Umlenkelement der Wärmebildkamera zur Kalibrierung des Detektors der Wärmebildkamera eine in den Beo- bachtungsstrahlengang der Wärmebildkamera ein- und aus- schwenkbare Defokussierlinse vorgesehen ist.According to the invention, it can further be provided that in the direction of propagation of the observation light of the respective thermal imaging camera in front of the optical deflection element of the thermal imaging camera, a defocusing lens which can be swiveled in and out of the viewing beam path of the thermal imaging camera is provided for calibrating the detector of the thermal imaging camera.
Infrarotdetektor-Arrays weisen in der Regel eine starke Inhomogenität ihrer Einzeldetektorelemente hinsichtlich Dunkelstrom und Verstärkung auf. Um trotzdem eine akzeptable Bildqualität erreichen zu können, sollte eine Kalibrierung der Einzeldetektorelemente durchgeführt werden (sog. Non-Uniformity C_orrection, NUC) . Für eine ausreichend gute Homogenisierung des Bildhintergrunds ist dies in der Regel jedoch nicht ausreichend, da es im Infrarotbereich außer der gewünschten Szenenstrahlung noch weitere Strahlungsquellen gibt, die unerwünscht zu der Beobachtungsbildinformation beitragen. Aufgrund der zu erwartenden starken und zudem inhomogenen Einstrahlung aus dem Referenzstrahlengang in die Wärmebildkamera sollte die Kalibrierung der Einzeldetektorelemente möglichst viele dieser Strahlungsanteile bereits erfassen können. Da sich die Innentemperatur der Stereo-
kameraeinrichtung und die Szenentemperatur (z. B. kalter Himmel) sehr stark voneinander unterscheiden können, sollte die Kalibrierung möglichst nahe bei der Szenentemperatur durchgeführt werden. Sehr vorteilhaft ist es daher, bei der Kalibrierung eine Defokussierlinse zwischen dem wenigstens einen optischen Umlenkelement und einem Ausblickfenster der Stereokameraeinrichtung einzuschwenken, um die unerwünschten Strahlungsanteile bei der Kalibrierung mit zu erfassen. Um zu verhindern, dass die Referenzstruktur bzw. das Referenzbild durch die Kalibrierung vorab entfernt wird, sollte die Strahlungsquelle bei der Kalibrierung abgeschaltet oder entsprechend auf die Innentemperatur der Stereokameraeinrichtung geregelt werden.Infrared detector arrays typically have a strong inhomogeneity of their single detector elements in terms of dark current and gain. In order to still be able to achieve an acceptable image quality, a calibration of the individual detector elements should be carried out (so-called non-uniformity C_orrection, NUC). For a sufficiently good homogenization of the image background, however, this is generally not sufficient, since in the infrared range there are, in addition to the desired scene radiation, further radiation sources which undesirably contribute to the observation image information. Due to the expected strong and also inhomogeneous radiation from the reference beam path into the thermal imaging camera, the calibration of the individual detector elements should already be able to detect as many of these radiation components as possible. Since the internal temperature of the stereo Camera equipment and the scene temperature (eg cold sky) can be very different from each other, the calibration should be performed as close to the scene temperature. It is therefore very advantageous to turn a defocusing lens between the at least one optical deflection element and a viewing window of the stereo camera device during calibration in order to detect the unwanted radiation components during the calibration. In order to prevent the reference structure or the reference image from being removed in advance by the calibration, the radiation source should be switched off during the calibration or regulated correspondingly to the internal temperature of the stereo camera device.
Sehr vorteilhaft ist es, wenn der Referenzstrahlengang wenigs- tens ein, insbesondere zwei Kepler-Teleskope aufweist. Dabei kann erfindungsgemäß ferner vorgesehen sein, dass in dem Referenzstrahlengang für die wenigstens zwei Teilstrahlenbündel jeweils zwischen dem optischen Teilerelement und dem optischen Umlenkelement ein Kepler-Teleskop angeordnet ist.It is very advantageous if the reference beam path has at least one, in particular two Kepler telescopes. In this case, it can further be provided according to the invention that a Kepler telescope is arranged in each case between the optical splitter element and the optical deflecting element in the reference beam path for the at least two partial beams.
Durch diese Maßnahmen kann die Kalibrierungsgenauigkeit in vorteilhafter Weise weiter erhöht werden. Durch den Einsatz eines (1 : 1) -Kepler-Teleskops können wesentlich größere Bildfelder, d. h. Referenzbilder übertragen werden. Somit können beispielsweise Bilddrehungen besser erkannt werden. Auch die F-Zahl wird wesentlich verbessert. Das Kepler-Teleskop ist ebenfalls justierunempfindlich und sozusagen weitgehend invariant gegenüber Störgrößen (z. B. Verkippen).By these measures, the calibration accuracy can be further increased in an advantageous manner. By using a (1: 1) Kepler telescope, much larger image fields, i. H. Reference images are transmitted. Thus, for example, image rotations can be better detected. The F-number is also significantly improved. The Kepler telescope is also insensitive to adjustment and so to speak largely invariant with respect to disturbances (eg tilting).
In Anspruch 15 ist eine alternative Ausführungsform der erfindungsgemäßen Stereokameraeinrichtung mit zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras angegeben, welche mit einer Kalibriereinrichtung zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei als Kalibriereinrichtung die beiden Wärmebildkameras jeweils im Bereich ihrer Eintrittspupillen ein optisches Umlenk-
element aufweisen, welches die von der ersten Wärmebildkamera bzw. von deren Detektor abgegebene eigene Wärmestrahlung als Referenzbild in den Beobachtungsstrahlengang der zweiten Wärmebildkamera umlenkt.In claim 15, an alternative embodiment of the stereo camera device according to the invention with two adjusted, each other in a defined distance and aligned thermal imaging cameras specified, which is provided with a calibration device for the continuous automatic calibration, wherein as a calibration device, the two thermal imaging cameras each in the area of their entrance pupil an optical deflection - Have element that deflects the output from the first thermal imaging camera or its own heat radiation as a reference image in the observation beam path of the second thermal imaging camera.
Um die Sichtlinien der beiden Wärmebildkameras ausgerichtet zu halten, kann auch passiv, d. h. vorteilhafterweise ohne zusätzliche Wärme- bzw. Strahlungsquelle ein direkter Bezug zwischen den beiden Achsen der Wärmebildkameras hergestellt werden. Dazu kann jeweils ein kleiner Teil der Pupille einer Wärmebildkamera mit einem Umlenkelement, z. B. einem Prisma oder einem Spiegel, in die Pupille der anderen Wärmebildkamera umgelenkt werden. Da die Temperatur der Detektoroberflächen relativ zur Szene sehr niedrig ist, erfasst jede Wärmebildkamera einen kalten Bildaus- schnitt der Detektoroberfläche ihres Gegenübers eingebettet in die Szene. Die jeweiligen optischen Umlenkelemente können vorzugsweise derart ausgebildet sein, dass unabhängig von der Winkelposition des optischen Umlenkelements in der durch die Hauptstrahlen des Referenzstrahlengangs aufgespannten Ebene der Um- lenkwinkel des optischen Umlenkelements zwischen dem Eintrittswinkel des jeweiligen Teilstrahlenbündels und dem Austrittswinkel des jeweiligen Teilstrahlenbündels stets innerhalb eines Toleranzbereichs konstant ist. Wird für das optische Umlenkelement beispielsweise ein Pentaprisma eingesetzt, dann ist sicherge- stellt, dass die durch zweifache Umlenkung erzeugten Referenzstrahlen, unabhängig von der genauen Winkelposition des jeweiligen Pentaprismas, immer parallel zum Ausgangsstrahl sind, und somit der durch die jeweils andere Wärmebildkamera gebildete Referenzstrahlengang keine weiteren Fehler erzeugt.In order to keep the line of sight of the two thermal imaging cameras aligned, passive, d. H. Advantageously, a direct relationship between the two axes of the thermal imaging cameras are produced without additional heat or radiation source. For this purpose, in each case a small part of the pupil of a thermal imaging camera with a deflection element, for. As a prism or a mirror, are deflected into the pupil of the other thermal imaging camera. Since the temperature of the detector surfaces is very low relative to the scene, each thermal imager captures a cold image detail of the detector surface of its counterpart embedded in the scene. The respective optical deflecting elements can preferably be designed such that regardless of the angular position of the optical deflecting element in the plane spanned by the main beams of the reference beam path, the deflection angle of the optical deflecting element between the entrance angle of the respective partial beam and the exit angle of the respective partial beam is always within a tolerance range is constant. If, for example, a pentaprism is used for the optical deflecting element, then it is ensured that the reference beams generated by double deflection, regardless of the exact angular position of the respective pentaprism, are always parallel to the output beam, and thus the reference beam path formed by the respective other thermal imaging camera is nonexistent generated another error.
In Anspruch 19 ist eine Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln oder Vogelschwärmen angegeben. Diese kann in vorteilhafter Weise aufgrund der einfachen und genauen Nachführkalibrierung ihrer we-
nigstens einen erfindungsgemäßen Stereokameraeinrichtung über sehr große Zeiträume hinweg autark arbeiten.Claim 19 specifies a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors from airports with stereoscopic detection of approaching or existing birds or bird swarms. This can advantageously be due to the simple and accurate Nachführkalibrierung their we- at least one stereo camera device according to the invention operate independently over very long periods away.
Aufgrund einer erkannten relativen Verschiebung des Referenzbil- des zu den Referenzbildern der weiteren Wärmebildkameras kann eine Verschiebung eines Detektors wenigstens einer der Wärmebildkameras oder eine Verkippung oder Verbiegung wenigstens einer der Wärmebildkameras parallel und/oder senkrecht zur Bezugsebene oder zu einer Basisstruktur bzw. Basislinie der Stereoka- meraeinrichtung erkannt werden.Due to a detected relative shift of the reference image to the reference images of the further thermal imaging cameras, a displacement of a detector of at least one of the thermal imaging cameras or a tilting or bending of at least one of the thermal imaging cameras parallel and / or perpendicular to the reference plane or to a baseline of the stereo camera. be recognized meraeinrichtung.
Aufgrund einer relativen Rotation des Referenzbildes zu den Referenzbildern der weiteren Wärmebildkameras kann eine Verdrehung wenigstens einer der Wärmebildkameras oder eines Detektors we- nigstens einer der Wärmebildkameras um dessen optische Achse erkannt werden.Due to a relative rotation of the reference image to the reference images of the further thermal imaging cameras, a rotation of at least one of the thermal imaging cameras or of a detector of at least one of the thermal imaging cameras can be detected around its optical axis.
Vorteilhaft ist es, wenn eine Startkalibrierung der Stereokameraeinrichtung durchgeführt wird.It is advantageous if a start calibration of the stereo camera device is performed.
Nach Aufbau der Wärmebildkameras der Stereokameraeinrichtung können Restfehler vorhanden sein, welche nicht durch Justage e- liminiert werden können. Derartige Fehler können dann nur durch eine Kalibrierung mit Hilfe von geeigneten Bildverarbeitungsme- thoden reduziert werden. Hierzu werden geeignete Ziele bzw. Targets in der Landschaft an bekannter Position verwendet. Die Entfernung sollte idealerweise der späteren Arbeitsentfernung entsprechen, was jedoch durch räumliche Gegebenheiten oft nicht gewährleistet ist. Der Kalibriervorgang erfolgt dann durch Ver- gleiche mit den bekannten Target-Positionen in der Szene. Das Ergebnis der Kalibrierung ist eine konstante Zuordnung der Feldwinkel zu den Pixeln der Wärmebildkameras. Da sich ab diesem Zeitpunkt Änderungen in der Anordnung ergeben können, sollte parallel sofort mit dem erfindungsgemäßen Verfahren zur fortlau- fenden automatischen Kalibrierung der Stereokameraeinrichtung begonnen werden. Diese kann dann relativ zu den späteren Messun-
gen Veränderungen der Anordnung zeigen.After building the thermal imaging cameras of the stereo camera device residual errors may be present, which can not be e- limited by adjustment. Such errors can then be reduced only by calibration using suitable image processing methods. For this purpose, suitable targets or targets are used in the landscape at a known position. The distance should ideally correspond to the later working distance, which is however often not guaranteed by spatial conditions. The calibration process is then performed by comparison with the known target positions in the scene. The result of the calibration is a constant assignment of the field angles to the pixels of the thermal imaging cameras. Since changes in the arrangement may result from this point in time, the procedure for the continuous automatic calibration of the stereo camera device should be started immediately in parallel with the method according to the invention. This can then be compared to the later gene changes of the arrangement show.
Das erfindungsgemäße Verfahren zur fortlaufenden automatischen Kalibrierung der erfindungsgemäßen Stereokameraeinrichtung ist vorzugsweise als Computerprogramm auf einer Bildverarbeitungseinrichtung der erfindungsgemäßen Stereokameraeinrichtung realisiert. Dazu ist das Computerprogramm in einem Speicherelement der Bildverarbeitungseinrichtung gespeichert. Durch Abarbeitung auf einem Mikroprozessor der Bildverarbeitungseinrichtung wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen wer- den. Ein derartiges Computerprogramm bzw. Computerprogrammprodukt mit Programmcodemitteln ist in Anspruch 24 bzw. Anspruch 25 angegeben.The inventive method for continuous automatic calibration of the stereo camera device according to the invention is preferably realized as a computer program on an image processing device of the stereo camera device according to the invention. For this purpose, the computer program is stored in a memory element of the image processing device. By processing on a microprocessor of the image processing device, the method is carried out. The computer program can be stored on a computer-readable data medium (floppy disk, CD, DVD, hard disk, USB memory stick or the like) or an Internet server as a computer program product and can be transferred from there into the memory element of the image processing device. Such a computer program or computer program product with program code means is specified in claim 24 or claim 25.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen. Nachfolgend sind anhand der Zeichnungen prinzipmäßig Ausführungsbeispiele der Erfindung angegeben.Advantageous embodiments and modifications of the invention will become apparent from the dependent claims. Below are shown in principle embodiments of the invention with reference to the drawings.
Es zeigen:Show it:
Figur 1 eine schematische Darstellung einer erfindungsgemäßen Stereokameraeinrichtung in einer Überwachungsvorrichtung;Figure 1 is a schematic representation of a stereo camera device according to the invention in a monitoring device;
Figur 2 eine vereinfachte Darstellung einer Anordnung der er- findungsgemäßen Stereokameraeinrichtung aus Figur 1 imFIG. 2 shows a simplified representation of an arrangement of the stereo camera device according to the invention from FIG. 1 in FIG
Bereich eines Flugkorridors eines Flugzeugs; Figur 3 eine vereinfachte Darstellung einer Startkalibrierung einer Stereokameraeinrichtung;Area of a flight corridor of an aircraft; FIG. 3 shows a simplified representation of a start calibration of a stereo camera device;
Figur 4 eine schematische Darstellung einer ersten Ausführungs- form der erfindungsgemäßen Stereokameraeinrichtung;Figure 4 is a schematic representation of a first embodiment of the stereo camera device according to the invention;
Figur 5 eine vereinfachte schematische Darstellung des Strah-
lengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der ersten Ausführungsform mit einer Winkeländerung eines Kollimators;FIG. 5 shows a simplified schematic representation of the radiation Lengangs the stereo camera device according to the invention according to the first embodiment with an angle change of a collimator;
Figur 6 eine schematische Darstellung einer zweiten Ausfüh- rungsform der erfindungsgemäßen Stereokameraeinrichtung;FIG. 6 a schematic representation of a second embodiment of the stereo camera device according to the invention;
Figur 7 eine vereinfachte schematische Darstellung des Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit einer Verkippung des Kollimators;FIG. 7 shows a simplified schematic illustration of the beam path of the stereo camera device according to the invention according to the second embodiment with a tilting of the collimator;
Figur 8 eine vereinfachte schematische Darstellung eines Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit einer Verkippung eines Teilerelements; Figur 9 eine vereinfachte schematische Darstellung eines Strahlengangs der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit einer Andeutung von Bildlagen;FIG. 8 shows a simplified schematic representation of a beam path of the stereo camera device according to the invention according to the second embodiment with a tilting of a divider element; 9 shows a simplified schematic representation of a beam path of the stereo camera device according to the invention according to the second embodiment with an indication of image layers;
Figur 10 eine vereinfachte schematische Darstellung eines Seh- feldes eines Referenzstrahlengangs der erfindungsgemäßen Stereokameraeinrichtung;FIG. 10 shows a simplified schematic illustration of a visual field of a reference beam path of the stereo camera device according to the invention;
Figur 11 eine vereinfachte Darstellung einer Eintrittspupille einer Wärmebildkamera der erfindungsgemäßen Stereoeinrichtung mit einem Pentaprisma; Figur 12 eine vereinfachte Darstellung der Teilung der Eintrittspupille der Wärmebildkamera;Figure 11 is a simplified representation of an entrance pupil of a thermal imaging camera of the stereo device according to the invention with a pentaprism; Figure 12 is a simplified representation of the pitch of the entrance pupil of the thermal imager;
Figur 13 eine vereinfachte Darstellung der Aufteilung des Sehfelds einer Wärmebildkamera im Referenzstrahlengang;FIG. 13 a simplified representation of the division of the field of view of a thermal imaging camera in the reference beam path;
Figur 14 eine schematische Darstellung des Funktionsprinzips ei- nes Pentaprismas;FIG. 14 shows a schematic representation of the functional principle of a pentaprism;
Figur 15 eine vereinfachte Darstellung einer Fehlerfortpflanzung von Herstellungsfehlern in einem Pentaprisma;Figure 15 is a simplified illustration of error propagation of manufacturing errors in a pentaprism;
Figur 16 eine vereinfachte Darstellung des Strahlenversatzes durch Positionierungsfehler eines Pentaprismas; Figur 17 eine schematische Darstellung einer dritten Ausführungsform der erfindungsgemäßen Stereokameraeinrich-
tung;FIG. 16 shows a simplified illustration of the beam offset due to positioning errors of a pentaprism; FIG. 17 shows a schematic illustration of a third embodiment of the stereo camera device according to the invention. processing;
Figur 18 eine schematische Darstellung eines Teils der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform; Figur 19 eine schematische Darstellung eines Teils der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit ausgeschwenkter Defokussierlinse;Figure 18 is a schematic representation of a part of the stereo camera device according to the invention according to the second embodiment; Figure 19 is a schematic representation of a portion of the stereo camera device according to the invention according to the second embodiment with pivoted Defokussierlinse;
Figur 20 eine schematische Darstellung der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungs- form mit eingeschwenkter Defokussierlinse;FIG. 20 a schematic representation of the stereo camera device according to the invention in accordance with the second embodiment with the defocusing lens pivoted in;
Figur 21 eine schematische Darstellung der erfindungsgemäßen Stereokameraeinrichtung gemäß der ersten Ausführungsform mit Planspiegeln als optische Umlenkelemente; undFigure 21 is a schematic representation of the stereo camera device according to the invention according to the first embodiment with plane mirrors as optical deflection elements; and
Figur 22 eine schematische Darstellung der erfindungsgemäßen Stereokameraeinrichtung gemäß der zweiten Ausführungsform mit zusätzlichen Kepler-Teleskopen.Figure 22 is a schematic representation of the stereo camera device according to the invention according to the second embodiment with additional Kepler telescopes.
Die Erfindung wird nachfolgend im Rahmen einer Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Berei- chen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen beschrieben. Die Erfindung ist selbstverständlich nicht auf diese Anwendung beschränkt.The invention is described below as part of a monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports. Of course, the invention is not limited to this application.
In Figur 1 ist eine erfindungsgemäße Stereokameraeinrichtung 1 einer Überwachungsvorrichtung 2 für Start- und Landebahnen 110 und/oder Flugkorridore 11 (siehe Figur 2) von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden Vögeln 6 oder Vogelschwärmen 6', wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe der Vögel 6 oder der Vogel- schwärme 6' ermittelbar sind, dargestellt. Eine oder mehrere derartiger Stereokameraeinrichtungen 1 sind im Bereich der Start- und Landebahnen 110 und/oder der Flugkorridore 11 angeordnet und weisen wenigstens zwei zueinander in definiertem und angepasstem Abstand angeordnete während der Aufnahme synchron laufende Wärmebildkameras 3a, 3b auf. Die Aufnahmezeitpunkte der Wärmebildkameras 3a, 3b sind wenigstens annähernd identisch und
deren jeweilige Sehfelder 4a, 4b weisen einen überlappenden Bereich 5 auf. In dem überlappenden Bereich 5 wird als Objekt ein Vogel 6 erfasst. Die zwei Wärmebildkameras 3a, 3b sind zueinander justiert und kalibriert. Für die Wärmebildkameras 3a, 3b kommen sowohl Wärmebildbereiche wie LWIR, MWIR, VLWIR, FIR, als auch SWIR, NIR in Betracht.1 shows a stereo camera device 1 according to the invention for a monitoring device 2 for runways 110 and / or flight corridors 11 (see FIG. 2) of airports with a stereoscopic detection of approaching birds 6 or swarms of birds 6 ', where parameters such as flight altitude, flight direction, Airspeed and type / size of the birds 6 or the birds are 6 'determined, shown. One or more of such stereo camera devices 1 are arranged in the area of the runways 110 and / or the flight corridors 11 and have at least two thermal imaging cameras 3a, 3b arranged synchronously to one another in a defined and adapted spacing during the recording. The recording times of the thermal imaging cameras 3a, 3b are at least approximately identical and their respective fields of view 4a, 4b have an overlapping region 5. In the overlapping area 5, a bird 6 is detected as an object. The two thermal imaging cameras 3a, 3b are adjusted to each other and calibrated. For the thermal imaging cameras 3a, 3b both thermal imaging areas such as LWIR, MWIR, VLWIR, FIR, as well as SWIR, NIR come into consideration.
Die Stereokameraeinrichtung 1 weist eine Bildverarbeitungseinrichtung 7 auf, welche zur Verarbeitung der mit den zwei Wärme- bildkameras 3a, 3b aufgenommenen Bilddaten vorgesehen ist.The stereo camera device 1 has an image processing device 7, which is provided for processing the image data recorded with the two thermal imaging cameras 3a, 3b.
Die Stereokameraeinrichtung 1 weist darüber hinaus eine Funkstation 8 als Schnittstelle, insbesondere Netzwerkschnittstelle, zur Kommunikation mit weiteren Stereokameraeinrichtungen 1 oder mit übergeordneten Systemen, insbesondere Flugsicherungssystemen 9, auf (in Figur 1 durch den Doppelpfeil 8' angedeutet). Die Stereokameraeinrichtung 1 arbeitet autonom. Jedoch können mittels der Vernetzung bzw. der Funkübertragung über die Funkstation 8 weitere Stationen bzw. Stereokameraeinrichtungen 1 verbun- den werden. Die Informationen wie auch die Aufnahmen stehen somit außerhalb der einzelnen Station zur Verfügung. Hauptsächlich werden diese Daten der Flugsicherung übermittelt.The stereo camera device 1 also has a radio station 8 as an interface, in particular network interface, for communication with further stereo camera devices 1 or with higher-level systems, in particular air traffic control systems 9 (indicated in FIG. 1 by the double arrow 8 '). The stereo camera device 1 operates autonomously. However, by means of the networking or the radio transmission via the radio station 8 further stations or stereo camera devices 1 can be connected. The information as well as the recordings are therefore available outside the individual station. Mainly these data are transmitted to the air traffic control.
Auf der Bildverarbeitungseinrichtung 7 der Stereόkameraeinrich- tung 1 läuft u. a. ein Überwachungsverfahren für Start- und Landebahnen 110 und/oder Flugkorridore 11 von Flughäfen ab, mit welchem sich nähernde Vögel 6 oder Vogelschwärme 6' stereoskopisch mittels der Überwachungsvorrichtung 2 bzw. der Stereokameraeinrichtung 1 erfasst werden, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit und Art/Größe der Vögel 6 oder der Vogelschwärme 6' bzw. deren Schwarmdichte ermittelt werden. Die Parameter werden mittels einer Stereoauswertung bestimmt. Dabei werden durch die wenigstens zwei Blickwinkel auf den durch die wenigstens zwei Wärmebildkameras 3a, 3b der Stereokameraein- richtung 1 aufgenommenen Bereich 5 absolute Raumpunkte der zu erfassenden Vögel 6 oder Vogelschwärme 6' bestimmt. Die Flügge-
schwindigkeit der Vögel 6 oder der Vogelschwärme 6' wird durch eine Betrachtung über eine entsprechende Zeitspanne bestimmt. Auch Vögel 6 oder Vogelschwärme 6' in größerer Entfernung können erfasst werden, wobei eine entsprechend längere Brennweite für die zwei Wärmebildkameras 3a, 3b verwendet wird. Zusätzlich können auch Flugobjekte wie Modellflugzeuge, Lenkdrachen oder dergleichen von der Stereokameraeinrichtung 1 erfasst werden (nicht dargestellt) .A monitoring method for runways 110 and / or flight corridors 11 of airports, with which approaching birds 6 or flocks of birds 6 'are detected stereoscopically by means of the monitoring device 2 or the stereo camera device 1, runs on the image processing device 7 of the stereo camera device 1 , where parameters such as flight altitude, flight direction, airspeed and type / size of the birds 6 or the bird swarms 6 'or their swarm density are determined. The parameters are determined by means of a stereo evaluation. In this case, absolute space points of the birds 6 to be detected or swarms of birds 6 'are determined by the at least two viewing angles on the area 5 recorded by the at least two thermal imaging cameras 3a, 3b of the stereo camera device 1. The wing speed of the birds 6 or of the flocks of birds 6 'is determined by observation over a corresponding period of time. Birds 6 or flocks of birds 6 'at a greater distance can also be detected, with a correspondingly longer focal length being used for the two thermal imaging cameras 3a, 3b. In addition, flying objects such as model airplanes, stunt kites or the like can be detected by the stereo camera device 1 (not shown).
Anhand der Parameter wird eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben.An evaluation is made on the basis of the parameters and, if appropriate, a corresponding warning message is issued.
Wie aus Figur 2 ersichtlich, überwacht eine Stereokameraeinrichtung 1 mit einem Stereosichtbereich bzw. überlappenden Bereich 5 eine bekannte Flugroute 10 von Vögeln 6 bzw. Vogelschwärmen 61. Die Stereokameraeinrichtung 1 ist dabei so angeordnet, dass ein Flugkorridor 11 bzw. ein Kreuzungsbereich 12 des Flugkorridors 11 mit der bekannten Flugroute 10 der Vögel 6 oder Vogelschwärme 61 überwacht wird. Im Flugkorridor 11 ist ein Flugzeug 13 bei- spielhaft dargestellt. Ein Ankunftszeitpunkt der erfassten Vögel 6 oder der erfassten Vogelschwärme 6' an dem Kreuzungsbereich 12 mit dem Flugkorridor 11 des Flugzeugs 13 wird ebenfalls bestimmt .As can be seen from FIG. 2, a stereo camera device 1 with a stereo vision region or overlapping region 5 monitors a known flight route 10 of birds 6 or swarms of birds 6 1 . The stereo camera device 1 is arranged so that a flight corridor 11 or an intersection region 12 of the flight corridor 11 with the known flight route 10 of the birds 6 or swarms of birds 6 1 is monitored. In flight corridor 11, an aircraft 13 is shown by way of example. An arrival time of the detected birds 6 or the detected flock of birds 6 'at the crossing area 12 with the flight corridor 11 of the aircraft 13 is also determined.
Bei Erfassung von Vögeln 6 oder Vogelschwärmen 6' wird gegebenenfalls eine Warnmeldung zur Einleitung von Gegenmaßnahmen bzw. Minderungs- oder Vermeidungsmaßnahmen an das übergeordnete System, insbesondere Flugsicherungssystem 9, oder an startende oder landende Flugzeuge 13 ausgegeben. Die Stereokameraeinrichtung 1 kann im Rahmen der Überwachungsvorrichtung 2, wie in Figur 2 gestrichelt angedeutet, auch Start- und Landebahnen 110, Windkraftanlagen 111 oder Gebäude mit transparenten Bereichen 112 überwachen.Upon detection of birds 6 or swarms of birds 6 ', a warning message for initiating countermeasures or abatement or avoidance measures to the higher-level system, in particular air traffic control system 9, or to take-off or landing aircraft 13 is output, if necessary. The stereo camera device 1 can monitor in the context of the monitoring device 2, as indicated by dashed lines in Figure 2, also runways 110, wind turbines 111 or buildings with transparent areas 112.
Die Stereokameraeinrichtung 1 sollte konstante Eigenschaften, insbesondere mechanische Stabilität besitzen. Da die bei der
Stereoauswertung der Bildverarbeitung erreichbaren Genauigkeiten nicht durch einfache Maßnahmen in der mechanischen Anordnung der Stereokameraeinrichtung 1 gleichbleibend gehalten werden können, muss mittels geeigneter Verfahren ermittelt werden, wie sich die Systemeigenschaften der Stereokameraeinrichtung 1 zeitlich ändern, um diese eventuell nachgeschaltet korrigieren zu können.The stereo camera device 1 should have constant properties, in particular mechanical stability. Since the at the Stereoauswertung the image processing achievable accuracies can not be kept constant by simple measures in the mechanical arrangement of the stereo camera device 1, must be determined by means of suitable methods, as the system properties of the stereo camera device 1 temporally change in order to possibly correct them downstream.
Nach Aufbau der Wärmebildkameras 3a, 3b der Stereokameraeinrichtung 1 können Restfehler vorhanden sein, die nicht durch mecha- nische Justage eliminiert werden können. Derartige Fehler kann man nur durch eine Kalibrierung vor Ort mit Hilfe von geeigneten Bildverarbeitungsmethoden auf der Bildverarbeitungseinrichtung 7 reduzieren. In Fig. 3 ist dazu die Grundstruktur als Teil einer erfindungsgemäßen Stereokameraeinrichtung 1 gezeigt. Die Wärme- bildkameras 3a, 3b sind auf einer Basisstruktur 14 in einem Gehäuse 15 zueinander in definiertem Abstand angeordnet und ausgerichtet. Das Gehäuse 15 weist Ausblickfenster 16 für die Beobachtungsstrahlengänge bzw. Sichtlinien 17a, 17b für die Sehfelder 4a, 4b der Wärmebildkameras 3a, 3b auf. Wenn die Wärmebildka- meras 3a, 3b auf die Basisstruktur 14 im vorzugsweise klimatisierten Gehäuse 15 montiert sind, addieren sich alle bisherigen Restfehler zu den Montagefehlern und den durch die Ausblickfenster 16 verursachten Winkelfehlern. Zur Startkalibrierung werden geeignete Targets bzw. Ziele 18 in der Landschaft an bekannter Position eingesetzt. Als Ziele 18 eignen sich beispielsweise Pfosten, Tafeln oder dergleichen. Die Entfernung sollte idealerweise der späteren Arbeitsentfernung entsprechen. Der Startkalibriervorgang erfolgt dann durch Lokalisierung der Ziele 18 durch die Stereokameraeinrichtung 1 mit einer Messung der zuge- hörigen Winkelkoordinaten und einem Vergleich mit den tatsächlichen bekannten Positionen der Ziele 18 in der Landschaft. Das Resultat ist eine konstante Eichung der Wärmebildkameras 3a, 3b, d. h. den einzelnen Pixeln werden Feldwinkel zugeordnet. Des Weiteren erfolgt ein Plausibilitätstest mit den bekannten Wärme- bildkameradaten. Da sich ab diesem Zeitpunkt Änderungen in der Anordnung ergeben können, beispielsweise durch Temperaturände-
rungen bedingte Verbiegungen der Basisstruktur 14, sollte anschließend bereits die erste Messung der Nachführkalibrierung durchgeführt werden. Somit ist es möglich die Stereokameraeinrichtung 1 derart automatisch zu kalibrieren, dass über sehr lange Zeiträume hochgenaue stereoskopische Messungen ermöglicht werden. Dadurch können Systemgenauigkeiten erzielt werden, die durch passive Maßnahmen nicht erreichbar sind. Es erfolgt eine automatische Nachführkalibrierung bzw. Selbstkalibrierung, die Veränderungen gegenüber den bei der Startkalibrierung vorhande- nen Systemparametern ermittelt.After construction of the thermal imaging cameras 3a, 3b of the stereo camera device 1, residual errors may be present which can not be eliminated by mechanical adjustment. Such errors can only be reduced by a local calibration using suitable image processing methods on the image processing device 7. In FIG. 3, the basic structure as part of a stereo camera device 1 according to the invention is shown. The thermal imaging cameras 3a, 3b are arranged and aligned on a base structure 14 in a housing 15 at a defined distance from one another. The housing 15 has viewing windows 16 for the observation beam paths or lines of sight 17a, 17b for the visual fields 4a, 4b of the thermal imaging cameras 3a, 3b. When the thermal imaging cameras 3a, 3b are mounted on the base structure 14 in the preferably air-conditioned housing 15, all previous residual errors add up to the assembly errors and the angular errors caused by the viewing windows 16. For starting calibration, suitable targets 18 in the landscape are used at a known position. As goals 18 are, for example, posts, panels or the like. The distance should ideally correspond to the later working distance. The start calibration process is then performed by locating the targets 18 through the stereo camera device 1 with a measurement of the associated angular coordinates and a comparison with the actual known positions of the targets 18 in the landscape. The result is a constant calibration of the thermal imaging cameras 3a, 3b, ie the individual pixels are assigned field angles. Furthermore, a plausibility test is carried out with the known heat map data. Since from this point on changes in the arrangement may result, for example due to temperature changes. The first measurement of the follow-up calibration should then be carried out after that. Thus, it is possible to automatically calibrate the stereo camera device 1 so that highly accurate stereoscopic measurements are made possible over very long periods of time. As a result, system accuracies can be achieved that are not achievable through passive measures. An automatic follow-up calibration or self-calibration is performed, which detects changes compared to the system parameters available during the start calibration.
Wie aus Fig. 4 ersichtlich, wird erfindungsgemäß eine Stereokameraeinrichtung 1 mit zwei justierten zueinander in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras 3a, 3b vorgeschlagen, welche mit einer Kalibriereinrichtung 19 zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung 19 einen Referenzstrahlengang 20 mit einer als thermoelektrisches Element bzw. Peltierelement mit einer Referenzstruktur ausgebildeten Strahlungsquelle 21 aufweist, mit- tels welchem ein Referenzbild von der Strahlungsquelle 21 auf die jeweilige Wärmebildkamera 3a, 3b abgebildet wird, wobei ein von der Strahlungsquelle 21 ausgehendes kollimiertes Strahlenbündel 22 in zwei Teilstrahlenbündel 22a, 22b geteilt wird, wobei die zwei Teilstrahlenbündel 22a, 22b jeweils über ein der jeweiligen Wärmebildkamera 3a, 3b zugeordnetes optisches Umlenkelement 23a, 23b auf diese gelenkt werden. Die optischen Umlenkelemente 23a, 23b sind derart ausgebildet, dass unabhängig von der Winkelposition des optischen Umlenkelements 23a, 23b in der durch die Hauptstrahlen des Referenzstrahlengangs 20 aufgespann- ten Ebene (Zwischenebene in Fig. 4 wie auch in den Figuren 5 bis 9 und 21) der Umlenkwinkel 29 des optischen Umlenkelements 23a, 23b zwischen dem Eintrittswinkel des jeweiligen Teilstrahlenbündels 22a, 22b und dem Äustrittswinkel des jeweiligen Teilstrahlenbündels 22a, 22b stets innerhalb eines Toleranzbereichs kon- stant ist. Der Toleranzbereich des Umlenkwinkels 29 beträgt ±5 mrad, insbesondere ±1 mrad, vorzugsweise ±0,05 mrad. Der Umlenk-
winkel 29 liegt zwischen 83 Grad und 97 Grad, insbesondere bei 90 Grad. Die optischen Umlenkelemente 23a, 23b weisen zur Erzeugung des Umlenkwinkels 29 zwei in entsprechender Winkelposition fest zueinander angeordnete Reflexionsflächen 40a, 40b, 41a, 41b auf. Die optischen Umlenkelemente sind monolithisch als Pentaprismen 23a, 23b ausgebildet. Der Referenzstrahlengang 20 weist zur Kollimierung der Strahlenbündel einen Kollimator 24 auf.4, according to the invention a stereo camera device 1 with two adjusted to each other in a defined distance and aligned thermal imaging cameras 3a, 3b proposed, which is provided with a calibration device 19 for the continuous automatic calibration, wherein the calibration device 19 a reference beam path 20 with a As a thermoelectric element or Peltier element with a reference structure formed radiation source 21, by means of which a reference image from the radiation source 21 is imaged onto the respective thermal imaging camera 3a, 3b, wherein an emanating from the radiation source 21 collimated beam 22 in two partial beams 22a, 22b is divided, wherein the two partial beams 22a, 22b are each directed to one of the respective thermal imaging camera 3a, 3b optical deflection element 23a, 23b directed to this. The optical deflecting elements 23a, 23b are designed in such a way that, independently of the angular position of the optical deflecting element 23a, 23b, in the plane spanned by the main beams of the reference beam path 20 (intermediate plane in FIG. 4 as well as in FIGS. 5 to 9 and 21). the deflection angle 29 of the optical deflection element 23a, 23b between the entry angle of the respective partial beam 22a, 22b and the exit angle of the respective partial beam 22a, 22b is always constant within a tolerance range. The tolerance range of the deflection angle 29 is ± 5 mrad, in particular ± 1 mrad, preferably ± 0.05 mrad. The diversion angle 29 is between 83 degrees and 97 degrees, especially at 90 degrees. The optical deflecting elements 23a, 23b have two reflecting surfaces 40a, 40b, 41a, 41b arranged at a corresponding angular position to generate the deflection angle 29. The optical deflection elements are monolithically designed as pentaprisms 23a, 23b. The reference beam path 20 has a collimator 24 for collimating the radiation beams.
In Fig. 21 weist ein alternative Ausführungsform eines optischen Umlenkelements 23a' , 23b' als Reflexionsflächen zwei fest zueinander angeordnete Planspiegel 40a', 40b', 41a', 41b' auf.In FIG. 21, an alternative embodiment of an optical deflecting element 23a ', 23b' has as reflection surfaces two plane mirrors 40a ', 40b', 41a ', 41b' which are fixedly arranged relative to one another.
Wie weiter aus der Fig. 4 ersichtlich, weisen die Wärmebildkame- ras 3a, 3b Detektoren 25a, 25b mit nicht näher dargestellten Einzeldetektorelementen auf. Die Pentaprismen 23a, 23b weisen Eintrittsflächen 26a, 26b und Austrittsflächen 27a, 27b auf. Die Austrittsflächen 27a, 27b der Pentaprismen 23a, 23b sind wenigstens annähernd im Bereich der Eintrittspupillen 28a, 28b der je- weiligen zugeordneten Wärmebildkameras 3a, 3b angeordnet.As can be seen further from FIG. 4, the thermal imaging cameras 3a, 3b have detectors 25a, 25b with individual detector elements (not shown). The pentaprisms 23a, 23b have inlet surfaces 26a, 26b and outlet surfaces 27a, 27b. The exit surfaces 27a, 27b of the pentaprisms 23a, 23b are arranged at least approximately in the region of the entrance pupils 28a, 28b of the respective associated thermal imaging cameras 3a, 3b.
In Fig. 5 sind die Beobachtungsstrahlengänge 17a, 17b und der Referenzstrahlengang 20 der erfindungsgemäßen Stereokameraeinrichtung 1 stark vereinfacht angedeutet. Wie durch die Winkel 29 gezeigt, resultiert eine etwaige Winkelveränderung des Kollimators 24 in gleichsinnigen Ablagen in beiden Wärmebildkameras 3a, 3b bzw. auf deren Detektoren 25a, 25b. Die Referenzstrahlen bzw. Teilstrahlenbündel 22a, 22b für beide Wärmebildkameras 3a, 3b bleiben jedoch in jedem Fall senkrecht zur aktuellen Achse des Kollimators 24, so dass die Sichtlinien 17a, 17b der beiden Wärmebildkameras 3a, 3b gegebenenfalls kontrolliert und elektronisch nachgeführt werden können.5, the observation beam paths 17a, 17b and the reference beam path 20 of the stereo camera device 1 according to the invention are indicated in greatly simplified form. As shown by the angles 29, any angular change of the collimator 24 results in co-located shelves in both thermal imaging cameras 3a, 3b and their detectors 25a, 25b, respectively. However, the reference beams or partial beams 22a, 22b for both thermal imaging cameras 3a, 3b remain in any case perpendicular to the current axis of the collimator 24, so that the lines of sight 17a, 17b of the two thermal imaging cameras 3a, 3b can optionally be controlled and tracked electronically.
In Figur 6 ist eine weitere Ausführungsform einer erfindungsge- mäßen Stereokameraeinrichtung 1' mit einem symmetrisch ausgeführten Referenzstrahlengang 20' dargestellt. Dazu ist ein opti-
sches Teilerelement 30 zur Teilung des Strahlenbündels 22 in die Teilstrahlenbündel 22a, 22b vorgesehen. Das optische Teilelement ist als 90-Grad-Prisma 30 ausgebildet. Es ist vorteilhaft, den Referenzstrahlengang 20 möglichst symmetrisch aufzubauen, damit die geometrischen Verhältnisse für beide Wärmebildkameras 3a, 3b möglichst gleich sind. Dies ist in einfacher Weise mit einem entsprechend verspiegelten 90-Grad-Prisma 30 zur Pupillenteilung im Referenzstrahlengang 20 möglich. Die nachfolgende Fehleranalyse zeigt, dass durch das zusätzliche 90-Grad-Prisma 30 keine neuen Fehler entstehen können, welche nicht erkennbar sind.FIG. 6 shows a further embodiment of a stereo camera device 1 'according to the invention with a symmetrically designed reference beam path 20'. This is an optimal beautiful splitter element 30 for dividing the beam 22 into the partial beams 22a, 22b provided. The optical subelement is designed as a 90 degree prism 30. It is advantageous to construct the reference beam path 20 as symmetrically as possible, so that the geometric conditions for both thermal imaging cameras 3a, 3b are as equal as possible. This is possible in a simple manner with a correspondingly mirrored 90-degree prism 30 for pupil division in the reference beam path 20. The following error analysis shows that the additional 90-degree prism 30 can not give rise to any new errors which are not recognizable.
Ein Referenzstrahlengang 20, 20' darf selbstverständlich nicht selbst unkontrollierbare Fehler erzeugen. Mögliche Fehlerquellen bei der erfindungsgemäßen Stereokameraeinrichtung 1, 1' sind in erster Linie ungewollte Veränderungen der Positionierung der hinzugefügten optischen Elemente (Pentaprismen 23a, 23b, 90- Grad-Prisma 30 und Kollimator 24). Rein translatorische Verschiebungen sind dabei eher unproblematisch. Da die hinzugefügten optischen Bauelemente 23a, 23b, 24, 30 nur Planflächen auf- weisen und im kollimierten Strahlengang 22 angeordnet sind, kann lediglich eine Pupillenverschiebung und keine Änderung der Bildlage auftreten.Of course, a reference beam path 20, 20 'must not itself generate uncontrollable errors. Possible sources of error in the stereo camera device 1, 1 'according to the invention are primarily unwanted changes in the positioning of the added optical elements (pentaprisms 23a, 23b, 90-degree prism 30 and collimator 24). Purely translatory shifts are rather unproblematic. Since the added optical components 23a, 23b, 24, 30 have only planar surfaces and are arranged in the collimated beam path 22, only a pupil shift and no change in the image position can occur.
Für die Genauigkeit der Positionsgeschwindigkeitsberechnungen sind alle Winkeländerungen in der Bezugsebene, welche vorliegend von der Basisstruktur 14 und den Sichtlinien 17a, 17b der Wärmebildkameras 3a, 3b aufgespannt wird, besonders kritisch. Eine Verdrehung der Pentaprismen 23a, 23b bewirkt aufgrund des besonderen Funktionsprinzips dieser Bauelemente keine Winkeländerun- gen und erzeugt somit keine zusätzlichen Fehler. Eine Verkippung des Kollimators 24 bewirkt wiederum eine gleichsinnige Verschiebung der Referenzbilder in beiden Wärmebildkameras 3a, 3b (siehe Fig. 7 bzw. dort Umlenkwinkel 29) , welche erkannt und kompensiert werden können und somit auch keinen Fehler erzeugt.For the accuracy of the position velocity calculations, all angular changes in the reference plane, which in the present case is spanned by the base structure 14 and the lines of sight 17a, 17b of the thermal imaging cameras 3a, 3b, are particularly critical. Due to the special functional principle of these components, a rotation of the pentaprisms 23a, 23b does not cause any angle changes and thus does not generate any additional errors. A tilting of the collimator 24, in turn, causes a shift of the reference images in the same direction in both thermal imaging cameras 3a, 3b (see FIG. 7 or deflection angle 29), which can be detected and compensated, and thus also produces no error.
Aus einem Kippwinkel αi des Kollimators 24 ergibt sich die resul-
tierende fehlerhafte Abweichung δi des einzelnen Referenzbildes auf dem jeweiligen Detektor 25a, 25b mit Hilfe der Brennweite Fw der Wärmebildkamera 3a, 3b zu:From a tilt angle αi of the collimator 24 results in the result erroneous deviation δi of the individual reference image on the respective detector 25a, 25b with the aid of the focal length F w of the thermal imaging camera 3a, 3b to:
Ablagefehler δx = Fw • tan oci [mm] .Filing error δ x = F w • tan oci [mm].
Eine Verkippung des 90-Grad-Prismas 30 hat wie bei dem Kollimator 24 eine gleichsinnige Verschiebung der Referenzbilder in beiden Wärmebildkameras 3a, 3b zur Folge, die ebenfalls kompen- siert werden kann, so dass keine weiteren Fehler entstehen (siehe Fig. 8 bzw. dort Umlenkwinkel 29) .As in the case of the collimator 24, a tilting of the 90-degree prism 30 results in the same-direction displacement of the reference images in both thermal imaging cameras 3a, 3b, which can also be compensated so that no further errors occur (see FIGS. there deflection angle 29).
Aus dem Kippwinkel 0C2 des 90-Grad-Prismas 30 ergibt sich die resultierende fehlerhafte Abweichung 82 der einzelnen Referenzbil- der auf dem jeweiligen Detektor 25a, 25b mit Hilfe der Brennweite Fw der Wärmebildkameras 3a, 3b zu:From the tilt angle 0C 2 of the 90-degree prism 30, the resulting erroneous deviation 8 2 of the individual reference images on the respective detector 25 a, 25 b results with the aid of the focal length F w of the thermal imaging cameras 3 a, 3 b:
Ablagefehler 82 = Fw • tan 2α2 [mm] .Storage error 8 2 = F w • tan 2α 2 [mm].
Eine Rotation des Kollimators 24 um seine optische Achse erzeugt eine gleichsinnige Rotation der Referenzbilder in beiden Wärmebildkameras 3a, 3b, da die Bildlagen in beiden Wärmebildkameras 3a, 3b, wie in Fig. 9 angedeutet, gleich sind. Auch diese Abweichung kann kompensiert werden, so dass keine neuen Fehler ent- stehen. Die jeweiligen Bildlagen sind in Fig. 9 durch gekreuzte Pfeile 31 angedeutet.A rotation of the collimator 24 about its optical axis generates a synchronous rotation of the reference images in both thermal imaging cameras 3a, 3b, since the image positions in both thermal imaging cameras 3a, 3b, as indicated in Fig. 9, are the same. This deviation can also be compensated so that no new errors occur. The respective image layers are indicated in FIG. 9 by crossed arrows 31.
Die Auswirkungen von fehlerhaften Verkippungen der optischen Bauelemente 23a, 23b, 24, 30 senkrecht zur Bezugsebene sind we- niger gravierend, da sie nicht direkt in die Genauigkeit der Stereoauswertung eingehen. Eine Verkippung des Kollimators 24 und/oder des 90-Grad-Prismas 30 wirkt wiederum gleichsinnig auf beide Wärmebildkameras 3a, 3b und kann daher erkannt und kompensiert werden. Eine Verkippung eines einzelnen Pentaprismas 23a, 23b führt zu einer Verschiebung des Referenzbildes auf der zuge-
hörigen Wärmebildkamera 3a, 3b, die nicht von den Fehlern des übrigen Messsystems zu unterscheiden ist und daher zu einem zusätzlichen Fehler führen kann. Bei entsprechend stabilem Aufbau kann man jedoch davon ausgehen, dass derartige Fehler gering bzw. selten und damit tolerierbar sind.The effects of erroneous tilting of the optical components 23a, 23b, 24, 30 perpendicular to the reference plane are less serious since they do not directly affect the accuracy of the stereo evaluation. A tilting of the collimator 24 and / or the 90-degree prism 30 in turn acts in the same direction on both thermal imaging cameras 3a, 3b and can therefore be detected and compensated. A tilting of a single pentaprism 23a, 23b leads to a shift of the reference image on the supplied impaired thermal imaging camera 3a, 3b, which can not be distinguished from the errors of the rest of the measuring system and therefore can lead to an additional error. With a correspondingly stable construction, however, it can be assumed that such errors are small or rare and thus tolerable.
Aus dem Kippwinkel ß3 des Pentaprismas 23a, 23b ergibt sich die resultierende fehlerhafte Abweichung 63 des zugehörigen Referenzbildes auf dem Detektor 25a, 25b bzw. der Wärmebildkamera 3a, 3b mit Hilfe der Brennweite Fw der Wärmebildkameras 3a, 3b zu:From the tilt angle β 3 of the pentaprism 23a, 23b, the resulting erroneous deviation 6 3 of the associated reference image on the detector 25a, 25b or the thermal imaging camera 3a, 3b with the aid of the focal length F w of the thermal imaging cameras 3a, 3b yields:
Ablagefehler 63 = Fw • tan ß3 [mm] .Filing error 6 3 = F w • tan ß 3 [mm].
Die Eintrittspupille des Kollimators 24 liegt in seinem Objektiv (nicht näher bezeichnet) , während die Eintrittspupillen 28a, 28b der Objektive der Wärmebildkameras 3a, 3b in relativ geringem Abstand vor dem jeweils ersten Linsenscheitel liegen. Da sonst keinerlei Linsenoptik im Referenzstrahlengang 20, 20' vorgesehen ist, ergibt sich das maximal übertragbare Referenzsehfeld FOVREF des Referenzstrahlengangs 20, 20' aus der Größe des Pentaprismas 23a, 23b und der Basislänge b (im vorliegenden Ausführungsbeispiel ist b = 1,5 m) . Für größere Feldwinkel werden die Strahlenbündel bis zu 100 % beschnitten. Aus der in Figur 10 dargestellten Geometrie ergibt sich, dass nur dann ein Feldpunkt von einer Wärmebildkamera 3a, 3b noch mit endlicher Helligkeit abgebildet werden kann, wenn das zugehörige Strahlenbündel auf die Eintrittsfläche 26a, 26b des zugehörigen Pentaprismas 23a, 23b trifft. Aus der Winkelbedingung für das gerade nicht mehr auftreffende Randstrahlenbündel (Vergleich auf vollständigen Be- schnitt des Bildpunktes) ergibt sich ein Randwinkel α des Sehfelds für den Referenzstrahlengang 20' zu:The entrance pupil of the collimator 24 lies in its objective (unspecified), while the entrance pupils 28a, 28b of the objectives of the thermal imaging cameras 3a, 3b lie in a relatively small distance in front of the respective first lens vertices. Since no lens optics is otherwise provided in the reference beam path 20, 20 ', the maximum transferable reference field FOV REF of the reference beam path 20, 20' results from the size of the pentaprism 23a, 23b and the base length b (b = 1.5 m in the present exemplary embodiment) ). For larger field angles, the beams are cut up to 100%. From the geometry shown in FIG. 10, it follows that only a field point from a thermal imaging camera 3a, 3b can still be imaged with finite brightness when the associated beam strikes the entrance surface 26a, 26b of the associated pentaprism 23a, 23b. From the angle condition for the marginal ray bundle which is just no longer impinging (comparison to complete section of the pixel), a contact angle α of the field of view for the reference beam path 20 'results:
Sehfeldrandwinkel α3 = arc tan p/b,Field of view edge angle α 3 = arc tan p / b,
wobei b die Basislänge und p die Höhe der Eintrittsfläche 26a,
26b des Pentaprismas 23a, 23b ist. Das volle Sehfeld FOVREF ist doppelt so groß, d. h.where b is the base length and p is the height of the entrance surface 26a, 26b of the pentaprism 23a, 23b. The full field of view FOV REF is twice as large, ie
Referenzsehfeld FOVREF = 20C3.Reference field FOV REF = 20C 3 .
Für b = 3 m und p = 10 mm ergibt sich für CX3 = 0,2 Grad. Das volle Referenzsehfeld FOVREF ist also ca. 0,4 Grad, was ungefähr 24 Pixeln entspricht. Die Helligkeit ist in der Mitte maximal und fällt zum Rand hin auf 0 % ab. Auf dem Detektor 25a, 25b der Wärmebildkamera 3a, 3b mit 640 x 512 Pixeln nimmt das Referenzbild maximal 24 x 24 Pixel in Anspruch.For b = 3 m and p = 10 mm results for CX 3 = 0.2 degrees. The full reference field FOV REF is thus about 0.4 degrees, which corresponds to about 24 pixels. The brightness is maximum in the middle and falls to the edge to 0%. On the detector 25a, 25b of the thermal imaging camera 3a, 3b with 640 x 512 pixels, the reference image occupies a maximum of 24 x 24 pixels.
Die Teilung des Strahlengangs in Beobachtungsstrahlengang 17a, 17b und Referenzstrahlengang 20, 20' sollte in der Eintrittspu- pille 28a, 28b der Wärmebildkamera 3a, 3b geschehen, damit die Bildqualität nicht beeinträchtigt wird. Ein realistisches Teilungsverhältnis ist aus Figur 11 ersichtlich. Im vorliegenden Ausführungsbeispiel weist die Eintrittspupille 28a, 28b der Wärmebildkamera 3a, 3b einen Durchmesser von 27,5 mm auf. Das Pen- taprisma 23a, 23b weist eine Fläche von 10 mm x 10 mm auf, wobei eine Abschattung 32 der Pupille 28a, 28b der Wärmebildkamera 3a, 3b von 11 mm x 11 mm vorhanden ist. Die Pupille des Referenzstrahlengangs 20, 20' beträgt daher 10 mm x 10 mm. Bedingt durch die räumliche Ausdehnung des Pentaprismas 23a, 23b entsteht ein zusätzlicher Flächenverlust durch Abschattung, wie in Figur 12 dargestellt. Das resultierende Sehfeld 33 ist in Figur 12 nochmals gezeigt. Durch das eingefügte Pentaprisma 23a, 23b und die Abschattung 32 wird die Fläche der Eintrittspupille 28a, 28b des Beobachtungsstrahlengangs 17a, 17b der Wärmebildkamera 3a, 3b verkleinert, wodurch sich die F-Zahl etwas verschlechtert.The division of the beam path in observation beam path 17a, 17b and reference beam path 20, 20 'should be done in the entrance pupil 28a, 28b of the thermal imaging camera 3a, 3b, so that the image quality is not impaired. A realistic division ratio can be seen from FIG. In the present exemplary embodiment, the entrance pupil 28a, 28b of the thermal imaging camera 3a, 3b has a diameter of 27.5 mm. The taprism 23a, 23b has an area of 10 mm × 10 mm, with shadowing 32 of the pupil 28a, 28b of the thermal imaging camera 3a, 3b of 11 mm × 11 mm being present. The pupil of the reference beam path 20, 20 'is therefore 10 mm × 10 mm. Due to the spatial extent of the pentaprism 23a, 23b, an additional loss of area due to shadowing occurs, as shown in FIG. The resulting field of view 33 is shown again in FIG. As a result of the inserted pentaprism 23a, 23b and the shadowing 32, the area of the entrance pupil 28a, 28b of the observation beam path 17a, 17b of the thermal imaging camera 3a, 3b is reduced, as a result of which the F number deteriorates somewhat.
Die Eintrittsfläche 26a, 2βb des Pentaprismas 23a, 23b stellt die wirksame Pupillenfläche für den Referenzstrahlengang 20, 20' dar. Wie in Figur 13 dargestellt, schaut die Wärmebildkamera 3a, 3b mit dem größten Teil 34 ihrer Eintrittspupille 28a, 28b an dem Pentaprisma 23a, 23b vorbei. Der kleinere Teil 35 der Eintrittspupille 28a, 28b schaut durch das Pentaprisma 23a, 23b in Richtung des Kollimators 24. Aufgrund der großen Schnittweite bzw. Basislänge b und der kleinen Kollimatorpupille füllt der Kollimator 24 aber nur den sehr kleinen Teil 35 des Sehfelds mit einem Durchmesser von 23 mm aus, während der weitaus größere Teil 34 der Eintrittspupille 28a, 28b am Kollimator 24 vorbeischaut. Der Teil 35 muss mit geeigneten Blenden abgeblockt werden, um zu verhindern, dass unerwünschte Bildinformationen (z. B. von heißen Gerätekomponenten oder dergleichen) erfasst werden.The entrance surface 26a, 2βb of the pentaprism 23a, 23b represents the effective pupil surface for the reference beam path 20, 20 '. As shown in FIG. 13, the thermal imaging camera 3a, 3b with the largest part 34 of its entrance pupil 28a, 28b looks at the pentaprism 23a, 23b over. The smaller part 35 of the entrance pupil 28a, 28b looks through the pentaprism 23a, 23b in the direction of the collimator 24. Due to the large focal length b and the small collimator pupil, however, the collimator 24 only fills the very small part 35 of the visual field with a diameter of 23 mm, while the much larger part 34 of the entrance pupil 28a, 28b vorbeischaut the collimator 24. The part 35 must be blocked with appropriate apertures to prevent unwanted image information (eg from hot device components or the like) from being detected.
In Figur 14 ist ein Pentaprisma 23a, 23b mit den mechanischen Abmessungen und dem Funktionsprinzip dargestellt. Die Höhe der Eintrittsfläche 26a, 26b ist mit x bezeichnet. Durch zweifache 45 Grad-Ablenkung erzeugen die Pentaprismen 23a, 23b einen ausfallenden Strahl, der innerhalb der Fertigungstoleranzen unter einem Winkel von 90 Grad zum einfallenden Strahl verläuft. Diese 90 Grad-Ablenkung ist unabhängig vom Einfallswinkel in der durch diese Strahlen aufgespannten Ebene. In der Praxis bedeutet dies, dass ein Pentaprisma 23a, 23b unabhängig von seiner Winkelposition den einfallenden Strahl immer um 90 Grad ablenkt. Eine fehlerhafte Position des Pentaprismas 23a, 23b erzeugt also keine fehlerhafte Ablage von der gewünschten 90 Grad-Richtung.
Die Genauigkeit der Strahlablenkung wird durch die herstellungsbedingten Winkeltoleranzen des Pentaprismas 23a, 23b bestimmt. Aus den Winkelfehlern α4, ß4 und γ4 und der Brechzahl n des Pris- mensubstrats ergibt sich, wie in Figur 15 dargestellt, der gesamte Winkelfehler des ausfallenden Strahls zu δ4 = n- (3α4 + ß4 +FIG. 14 shows a pentaprism 23a, 23b with the mechanical dimensions and the functional principle. The height of the entrance surface 26a, 26b is designated by x. By two-fold 45 degree deflection, the pentaprisms 23a, 23b generate a dropping beam that is at 90 degrees to the incident beam within manufacturing tolerances. This 90 degree deflection is independent of the angle of incidence in the plane defined by these beams. In practice, this means that a pentaprism 23a, 23b, regardless of its angular position, always deflects the incident beam by 90 degrees. A faulty position of the pentaprism 23a, 23b thus produces no faulty storage of the desired 90 degree direction. The accuracy of the beam deflection is determined by the manufacturing angle tolerances of the pentaprism 23a, 23b. From the angle errors α 4 , β 4 and γ 4 and the refractive index n of the prism substrate, as shown in FIG. 15, the total angle error of the emergent beam is δ 4 = n- (3α 4 + β 4 +
Y4) •Y4) •
Außer den Winkelfehlern in der Tangentialebene kann ein Pen- taprisma 23a, 23b auch herstellbedingte Pyramidalfehler haben. Die Pyramidalfehler lassen sich gedanklich auf die Verkippung der reflektierenden Fläche zurückführen. Bei Pentaprismen 23a, 23b ergibt sich dadurch, bezogen auf die Tangentialebene (Zeichenebene in Figur 15) , eine entsprechende Winkelauslenkung. Als weiterer Fehler kommt hinzu, dass die Flächen nicht eben sein müssen, sondern eine sehr flache Krümmung aufweisen können, die zu einer Brechkraft führt. Aus schleiftechnischen Gründen ist diese oft positiv; im allgemeinen Fall wird sie auch zylindrisch sein. Das Pentaprisma 23a, 23b ist dann eine Vereinigung von ei- ner Linse mit Hohlspiegeln und bildet ein optisches System mit einer entsprechenden Brechkraft. Wie aus Figur 16 ersichtlich, erzeugen Positionierungsfehler in der Tangentialebene keine Winkelfehler, sondern haben nur einen Strahlversatz δy zur Folge. Solange das Pentaprisma 23a, 23b im kollimierten Strahlengang betrieben wird, bedeutet dies lediglich einen Pupillenversatz δy, der in der Regel unbedenklich ist. Die Positionierungsfehler sind in Figur 16 gestrichelt angedeutet. Bei der linken Teilfigur in Figur 16 handelt es sich um einen Winkelfehler, bei der mittleren Teilfigur um eine radiale Verschiebung und bei der rechten Teilfigur um eine axiale Verschiebung.In addition to the angular errors in the tangential plane, a pentaprism 23a, 23b can also have production-related pyramidal defects. The pyramidal errors can theoretically be attributed to the tilting of the reflecting surface. In the case of pentaprisms 23a, 23b, this results in a corresponding angular deflection relative to the tangential plane (drawing plane in FIG. 15). Another error is that the surfaces need not be flat, but may have a very flat curvature, which leads to a refractive power. For technical reasons, this is often positive; in the general case, it will also be cylindrical. The pentaprism 23a, 23b is then a combination of a lens with concave mirrors and forms an optical system with a corresponding refractive power. As can be seen from FIG. 16, positioning errors in the tangential plane do not produce any angle errors, but result in only one beam offset δy. As long as the pentaprism 23a, 23b is operated in the collimated beam path, this only means a pupil offset δy, which as a rule is harmless. The positioning errors are indicated by dashed lines in FIG. In the left part of the figure in Figure 16 is an angle error, in the middle part of the figure to a radial displacement and the right part of the figure to an axial displacement.
In Figur 17 ist eine dritte Ausführungsform einer erfindungsgemäßen Stereokameraeinrichtung l'1 mit zwei justierten, zueinander in definiertem Abstand angeordneten und ausgerichteten Wär- mebildkameras 3a, 3b dargestellt, welche mit einer Kalibriereinrichtung 19'' zu deren fortlaufenden automatischen Kalibrierung
versehen ist, wobei als Kalibriereinrichtung 19'' die beiden Wärmebildkameras 3a, 3b jeweils im Bereich ihrer Eintrittspupillen 28a, 28b ein als Pentaprisma 23a, 23b ausgebildetes optisches Umlenkelement aufweisen, welches die von der ersten Wärme- bildkamera 3a bzw. von deren Detektor 25a abgegebene eigene Wärmestrahlung als Referenzbild in den Beobachtungsstrahlengang 17b der zweiten Wärmebildkamera 3b umlenkt.In Figure 17, a third embodiment of a stereo camera device according to the invention is l '1 with two aligned, mutually arranged at a defined distance and aligned heat mebildkameras 3a, 3b, which with a calibration device 19''for their continuous automatic calibration The two thermal imaging cameras 3a, 3b each have, in the region of their entrance pupils 28a, 28b, an optical deflection element formed as pentaprism 23a, 23b, which transmits the image emitted by the first thermal imaging camera 3a or its detector 25a own heat radiation as a reference image in the observation beam 17b of the second thermal imaging camera 3b deflects.
Um die Sichtlinien 17a, 17b der beiden Wärmebildkameras 3a, 3b ausgerichtet zu halten, kann auch passiv (ohne zusätzliche Wärmequelle bzw. Strahlungsquelle 21) ein direkter Bezug zwischen den beiden Achsen der Wärmebildkameras 3a, 3b hergestellt werden. Dazu wird wechselseitig jeweils ein kleiner Teil der Pupille einer Wärmebildkamera 3a, 3b mit Prismen 23a, 23b oder Spie- geln in die Pupille der jeweils anderen Wärmebildkamera 3a, 3b umgelenkt. Da die Temperatur der Detektoroberflächen relativ zur Szene sehr niedrig ist, sieht jede Wärmebildkamera 3a, 3b einen kalten Bildausschnitt der Detektorfläche seines Gegenübers eingebettet in die Szene. Benutzt man für die Umlenkung Pentapris- men 23a, 23b, dann ist wiederum sichergestellt, dass die durch zweifache Umlenkung erzeugten Referenzstrahlen immer parallel zum Ausgangsstrahl sind, unabhängig von der genauen Winkelposition des jeweiligen Pentaprismas 23a, 23b und somit das Referenzsystem keine neuen Fehler erzeugt.In order to keep the lines of sight 17a, 17b of the two thermal imaging cameras 3a, 3b aligned, a direct relationship between the two axes of the thermal imaging cameras 3a, 3b can also be produced passively (without additional heat source or radiation source 21). For this purpose, in each case a small part of the pupil of a thermal imaging camera 3a, 3b with prisms 23a, 23b or mirrors is in each case deflected into the pupil of the respective other thermal imaging camera 3a, 3b. Since the temperature of the detector surfaces is very low relative to the scene, each thermal imaging camera 3a, 3b sees a cold image detail of the detector surface of its counterpart embedded in the scene. If one uses pentaprisms 23a, 23b for the deflection, then again it is ensured that the reference beams generated by double deflection are always parallel to the output beam, regardless of the exact angular position of the respective pentaprism 23a, 23b and thus the reference system does not generate new errors.
Wärmebilddetektorarrays zeigen typischerweise eine starke Inhomogenität ihrer Einzeldetektoren bezüglich Dunkelstrom und Verstärkung. Um trotzdem eine akzeptable Bildqualität zu erreichen, muss deshalb mindestens eine Kalibrierung der Detektorelemente durchgeführt werden. Diese ist bekannt als Non-Uniformity Cor- rection (NUC) . Für eine gute Homogenisierung des Bildhintergrunds ist dies in der Regel aber nicht ausreichend, da es im Infrarotbereich außer der gewünschten Szenenstrahlung noch andere Strahlungsquellen gibt, die unerwünscht zur Bildinformation beitragen. Wie aus Figur 18 für einen Ausschnittsbereich der erfindungsgemäßen Stereokameraeinrichtung I1 ersichtlich, gibt es
die folgenden Einstrahlungsmechanismen. Die Innenflächen des Messaufbaus strahlen über die Restreflexion von Linsen, Prismen 23a und Ausblickfenstern 16 auf die Detektorfläche. Dieser Effekt tritt auch in jeder Wärmebildkamera 3a auf. Die Befesti- gungsteile des Pentaprismas 23a bestrahlen den Detektor 25a homogen, da sie in der Eintrittspupille 28a liegen. Der unvermeidliche Sehfeldbeschnitt im Referenzstrahlengang 20 durch einen Tubus 36, bedeutet, dass umgekehrt die Tubuswände in das Sehfeld stark und zudem auch inhomogen einstrahlen. Das Referenzbild im Kollimator 24 und die umgebenden Strukturen werden zwangsläufig auf den Detektor 25a der Wärmebildkamera 3a scharf abgebildet. Insgesamt ergibt sich ein hoher Strahlungsuntergrund. Wirksame Maßnahmen zur Verringerung dieses Effekts sind z. B. mattschwarze Innenflächen des Tubus 36 mit zusätzlichen Blendenringen 36a sowie eine raue mattschwarze Ausführung der Fläche des Referenzbilds und des Inneren des Kollimators 24 sowie Einbringung einer Sehfeldblende 37 in einer Zwischenbildebene des Objektivs der Wärmebildkamera 3a. Trotzdem ist eine umfassende Kalibrierung unter Einbeziehung möglichst vieler unerwünschter Strahlungs- quellen zusätzlich notwendig. Aufgrund der zu erwartenden starken und zudem inhomogenen Einstrahlung aus dem Referenzstrahlengang 20' in die Wärmebildkamera 3a sollte die Kalibriermethode möglichst viele dieser Strahlungsanteile erfassen können. Die unerwünschten Strahlungsanteile sind in Figur 18 durch gestri- chelte Pfeile angedeutet. Da sich die Geräteinnentemperatur und die Szenentemperatur (z. B. kalter Himmel) häufig extrem unterscheiden, sollte die Kalibrierung möglichst bei einer Temperatur nahe der Szenentemperatur durchgeführt werden. In Ausbreitungsrichtung des Beobachtungslichts der Wärmebildkamera 3a ist vor dem Pentaprisma 23a der Wärmebildkamera 3a zur Kalibrierung des Detektors 25a der Wärmebildkamera 3a eine in den Beobachtungsstrahlengang 17a der Wärmebildkamera 3a ein- und ausschwenkbare Defokussierlinse 38 vorgesehen. Wird die Defokussierlinse 38 zwischen dem Pentaprisma 23a und dem Ausblickfenster 16 plat- ziert, erfasst man praktisch alle unerwünschten Einstrahlungsanteile.
Die Szene bzw. Landschaft ist mit dem Bezugszeichen 39 versehen.Thermal image detector arrays typically exhibit strong inhomogeneity of their single detectors in terms of dark current and gain. In order nevertheless to achieve an acceptable image quality, therefore, at least one calibration of the detector elements must be carried out. This is known as Non-Uniformity Correction (NUC). However, this is generally not sufficient for a good homogenization of the image background since, in addition to the desired scene radiation, there are other radiation sources in the infrared range which contribute undesirably to the image information. As can be seen from FIG. 18 for a cutout region of the stereo camera device I 1 according to the invention, there are the following irradiation mechanisms. The inner surfaces of the measuring structure radiate via the residual reflection of lenses, prisms 23a and viewing windows 16 on the detector surface. This effect also occurs in each thermal imaging camera 3a. The attachment parts of the pentaprism 23a irradiate the detector 25a homogeneously since they are located in the entrance pupil 28a. The unavoidable Sehfeldbeschnitt in the reference beam 20 through a tube 36, means that, conversely, the tube walls in the field of view strong and also radiate inhomogeneous. The reference image in the collimator 24 and the surrounding structures are inevitably imaged sharply on the detector 25a of the thermal imaging camera 3a. Overall, there is a high radiation background. Effective measures to reduce this effect are z. B. matt black inner surfaces of the tube 36 with additional aperture rings 36a and a rough dull black version of the surface of the reference image and the interior of the collimator 24 and introduction of a field stop 37 in an intermediate image plane of the lens of the thermal imaging camera 3a. Nevertheless, a comprehensive calibration involving as many unwanted radiation sources as possible is additionally necessary. Due to the expected strong and also inhomogeneous radiation from the reference beam path 20 'in the thermal imaging camera 3a, the calibration method should be able to detect as many of these radiation components as possible. The unwanted radiation components are indicated in FIG. 18 by dashed arrows. Since the inside temperature of the device and the scene temperature (eg, cold sky) are often extremely different, the calibration should be performed at a temperature near the scene temperature if possible. In the direction of propagation of the observation light of the thermal imaging camera 3a, a defocusing lens 38 is provided in front of the pentaprism 23a of the thermal imager 3a for calibrating the detector 25a of the thermal imager 3a, in the observation beam path 17a of the thermal imager 3a. If the defocussing lens 38 is placed between the pentaprism 23a and the viewing window 16, virtually all unwanted irradiation components are detected. The scene is provided with the reference numeral 39.
In Figur 19 ist der normale Betriebsfall mit ausgeschwenkter De- fokussierlinse 38 dargestellt, bei dem der Beobachtungsstrahlengang 17a und Referenzstrahlengang 20' auf den Detektor 25a fo- kussiert werden. Der Detektor 25a sieht darüber hinaus unerwünschte Wärmestrahlung aus dem Tubus 36 und dem Geräteinneren.FIG. 19 shows the normal operating situation with the defocusing lens 38 swiveled out, in which the observation beam path 17a and the reference beam path 20 'are focused onto the detector 25a. The detector 25a also sees unwanted heat radiation from the tube 36 and the device interior.
In Figur 20 ist die Defokussierlinse 38 für die Kalibrierung eingeschwenkt, wodurch der Beobachtungsstrahlengang 17a gezielt defokussiert wird und das Bild der Szene 39 auf dem Detektor 25a verschmiert wird. Insgesamt erfährt der Detektor 25a dadurch eine quasi homogene Ausleuchtung mit Wärmestrahlung, deren Inten- sität der Szenentemperatur entspricht. Zusätzlich trifft wieder die unerwünschte Wärmestrahlung aus dem Tubus 36 und dem Geräteinneren auf den Detektor 25a. Wird in dieser Konfiguration nun eine Kalibrierung durchgeführt, dann werden zusätzlich zum szenentypischen Strahlungshintergrund alle unerwünschten Effekte erfasst und können so durch geeignete Bildkorrekturalgorithmen aus den nachfolgend aufgenommenen Wärmebildern beseitigt werden. Um zu verhindern, dass die Referenzstrichmarke oder das Referenzbild bei der Kalibrierung sozusagen eingebrannt wird, d. h. in die Kalibrierung mit einfließt, muss die Wärmequelle bzw. Strahlungsquelle 21 hinter der Referenzstruktur abgeschaltet oder besser noch auf die Geräteinnentemperatur geregelt werden. Dies erfolgt durch den thermoelektrischen Kühler bzw. das PeI- tierelement der Strahlungsquelle 21.In FIG. 20, the defocusing lens 38 is swiveled in for calibration, whereby the observation beam path 17a is purposefully defocused and the image of the scene 39 on the detector 25a is smeared. Overall, the detector 25a thus experiences a quasi-homogeneous illumination with thermal radiation, the intensity of which corresponds to the scene temperature. In addition, the unwanted heat radiation from the tube 36 and the device interior again hits the detector 25a. If a calibration is carried out in this configuration, then in addition to the scene-typical radiation background, all unwanted effects are recorded and can thus be eliminated by suitable image correction algorithms from the subsequently recorded thermal images. To prevent the reference mark or reference image from being burned during calibration, d. H. is included in the calibration, the heat source or radiation source 21 must be switched off behind the reference structure or even better regulated to the internal device temperature. This is done by the thermoelectric cooler or the pelletizing element of the radiation source 21.
Figur 22 zeigt nochmals die zweite Ausführungsform der erfindungsgemäßen Stereokameraeinrichtung 1 gemäß Figur 6. Dabei ist in dem Referenzstrahlengang 20' für die wenigstens zwei Teilstrahlenbündel 22a, 22b jeweils zwischen dem optischen Teilerelement 30 und den als Pentaprismen 23a, 23b ausgebildeten opti- sehen Umlenkelementen ein Kepler-Teleskop 42a, 42b angeordnet. Die Kepler-Teleskope 42a, 42b können grundsätzlich mit den not-
wendigen Änderungen in allen Ausführungsformen der erfindungsgemäßen Stereokameraeinrichtung 1, 1', 1? I eingesetzt werden.FIG. 22 again shows the second embodiment of the stereo camera device 1 according to the invention according to FIG. 6. In this case, a Kepler is provided in the reference beam path 20 'for the at least two partial beams 22a, 22b between the optical splitter element 30 and the optical deflection elements formed as pentaprisms 23a, 23b Telescope 42a, 42b arranged. The Kepler telescopes 42a, 42b can in principle be equipped with the necessary manoeuvrable changes in all embodiments of the stereo camera device 1, 1 ', 1 according to the invention ? I will be employed.
Auf der Bildverarbeitungseinrichtung 7 kann nun im Rahmen der Stereoauswertung ein Verfahren zur fortlaufenden automatischen Kalibrierung der Stereokameraeinrichtung 1, I1, l'! ausgeführt werden, wobei das Referenzbild auf den zwei Wärmebildkameras 3a, 3b in vorgegebenen, vorzugsweise regelmäßigen Zeitabständen lokalisiert wird, wonach die relative Position und/oder die rela- tive Orientierung des Referenzbilds zu den Referenzbildern der weiteren Wärmebildkameras 3a, 3b bestimmt wird und wonach daraus bei Erkennung einer Veränderung eine entsprechende Korrektur der Parameter für die Stereoauswertung ermittelt und vorgenommen wird.In the context of the stereo evaluation, a method for the continuous automatic calibration of the stereo camera device 1, I 1 , I 'can now be provided on the image processing device 7 ! wherein the reference image is located on the two thermal imaging cameras 3a, 3b at predetermined, preferably regular time intervals, after which the relative position and / or the relative orientation of the reference image to the reference images of the further thermal imaging cameras 3a, 3b is determined and from this upon detection of a change, a corresponding correction of the parameters for the stereo evaluation is determined and carried out.
Aufgrund einer erkannten relativen Verschiebung des Referenzbilds wird eine Verschiebung des Detektors 25a, 25b wenigstens einer der Wärmebildkameras 3a, 3b oder eine Verkippung oder Verbiegung wenigstens einer der Wärmebildkameras 3a, 3b parallel und/oder senkrecht zur Bezugsebene oder zu der Basislinie bzw. Basisstruktur 14 der Stereokameraeinrichtung 1, 1', I'1 erkannt. Darüber hinaus wird aufgrund einer relativen Rotation des Referenzbildes eine Verdrehung wenigstens einer der Wärmebildkameras 3a, 3b oder des Detektors 25a, 25b wenigstens einer der Wärme- bildkameras 3a, 3b um dessen optische Achse erkannt.Due to a detected relative displacement of the reference image, a displacement of the detector 25a, 25b of at least one of the thermal imaging cameras 3a, 3b or a tilting or bending of at least one of the thermal imaging cameras 3a, 3b parallel and / or perpendicular to the reference plane or to the baseline 14 of the Stereo camera device 1, 1 ', I' 1 detected. In addition, due to a relative rotation of the reference image, a rotation of at least one of the thermal imaging cameras 3a, 3b or the detector 25a, 25b of at least one of the thermal imaging cameras 3a, 3b is detected about its optical axis.
Das erfindungsgemäße Verfahren zur fortlaufenden automatischen Kalibrierung der erfindungsgemäßen Stereokameraeinrichtung 1, 1', l'1 ist vorzugsweise als Computerprogramm auf der Bildverar- beitungseinrichtung 7 der erfindungsgemäßen Stereokameraeinrichtung 1,1', I1' realisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu ist das Computerprogramm in einem nicht näher dargestellten Speicherelement der Bildverarbeitungseinrichtung 7 gespeichert. Durch Abarbeitung auf einem Mik- roprozessor der Bildverarbeitungseinrichtung 7 wird das Verfahren ausgeführt. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, ÜSB-
Memorystick oder dergleichen) oder einem Internetserver als Com- puterprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung 7 übertragen werden.
The inventive method for continuous automatic calibration of the stereo camera device 1 according to the invention, 1 ', l' 1 is preferably beitungseinrichtung as a computer program on the Bildverar- 7 of the stereo camera device according to the invention 1,1 ', I 1' realized, other solutions also occur naturally in question. For this purpose, the computer program is stored in a memory element, not shown, of the image processing device 7. By processing on a microprocessor of the image processing device 7, the method is carried out. The computer program can be stored on a computer-readable medium (floppy disk, CD, DVD, hard disk, ÜSB). Memory stick or the like) or an internet server as a computer program product and from there to the storage element of the image processing device 7.
Claims
1. Stereokameraeinrichtung (1,1',I1') mit wenigstens zwei justierten, zueinander in definiertem Abstand angeordneten und aus- gerichteten Wärmebildkameras (3a, 3b), welche mit einer Kalibriereinrichtung (19,19') zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei die Kalibriereinrichtung (19,19') eine Strahlungsquelle (21) und einen Referenzstrahlengang (20,20' ,20' ') aufweist, mittels welchem ein Referenzbild von der Strahlungsquelle (21) auf die jeweilige Wärmebildkamera (3a, 3b) abgebildet wird, wobei ein von der Strahlungsquelle (21) ausgehendes kollimiertes Strahlenbündel (22) in wenigstens zwei Teilstrahlenbündel (22a, 22b) geteilt wird, wobei die wenigstens zwei Teilstrahlenbündel (22a, 22b) jeweils über wenigstens ein der jeweiligen Wärmebildkamera (3a, 3b) zugeordnetes optisches Umlenkelement (23a, 23a' , 23b, 23b' ) auf diese gelenkt werden, und wobei wenigstens eines der optischen Umlenkelemente (23a, 23a' ,23b, 23b') derart ausgebildet ist, dass unabhängig von der Winkelposition des optischen Umlenkelements (23a, 23a' , 23b, 23b' ) in der durch die Hauptstrahlen des Referenzstrahlengangs (20,20', 20'') aufgespannten Ebene der Umlenkwinkel (29) des optischen Umlenkelements (23a, 23a' , 23b, 23b' ) stets innerhalb eines Toleranzbereichs konstant ist.1. Stereocamera device (1,1 ', I 1 ') with at least two adjusted, mutually spaced at a defined distance and aligned thermal imaging cameras (3a, 3b), which provided with a calibration device (19,19 ') for their continuous automatic calibration wherein the calibration device (19, 19 ') has a radiation source (21) and a reference beam path (20, 20', 20 ''), by means of which a reference image from the radiation source (21) onto the respective thermal imaging camera (3a, 3b) wherein a collimated beam (22) emanating from the radiation source (21) is divided into at least two partial beams (22a, 22b), wherein the at least two partial beams (22a, 22b) are respectively connected via at least one of the respective thermal imaging camera (3a, 3b ) are directed to this, and wherein at least one of the optical deflection elements (23a, 23a ', 23b, 23b') is formed such that regardless of the angular position of the optical deflection element (23a, 23a ', 23b, 23b') in the plane defined by the main beams of the reference beam path (20, 20 ', 20''), the deflection angle (29) of the optical deflection element (23a, 23a') , 23b, 23b ') is always constant within a tolerance range.
2. Stereokameraeinrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Toleranzbereich des Umlenkwinkels ±5 mrad, insbesondere ±1 mrad, vorzugsweise ±0,05 mrad beträgt.2. Stereo camera device according to claim 1, characterized in that the tolerance range of the deflection angle ± 5 mrad, in particular ± 1 mrad, preferably ± 0.05 mrad.
3. Stereokameraeinrichtung nach Anspruch 1 oder 2, dadurch ge- kennzeichnet, dass der Umlenkwinkel (29) zwischen 83 Grad und 973. Stereo camera device according to claim 1 or 2, character- ized in that the deflection angle (29) between 83 degrees and 97
Grad, insbesondere bei 90 Grad liegt.Degrees, especially at 90 degrees.
4. Stereokameraeinrichtung nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass das optische Umlenkelement (23a, 23a', 23b, 23b') zur Erzeugung des Umlenkwinkels zwei in entsprechender Winkelposition fest zueinander angeordnete Reflexionsflächen ( 4 Oa, 4 Ob, 4 Ia , 4 Ib, 40a' , 40b' , 41a' , 41b' ) aufweist .4. Stereo camera device according to claim 1, 2 or 3, characterized in that the optical deflection element (23a, 23a ', 23b, 23b') for generating the deflection angle two in a corresponding angular position fixed to each other arranged reflection surfaces (4 Oa, 4 Ob, 4 Ia, 4 Ib, 40a ', 40b', 41a ', 41b').
5. Stereokameraeinrichtung nach Anspruch 4, dadurch gekennzeichnet, dass das optische Umlenkelernent (23a, 23b) als Reflexions- flächen zwei fest zueinander angeordnete Planspiegel (4Oa', 40b' ,41a' ,41b' ) aufweist.5. Stereo camera device according to claim 4, characterized in that the optical Umlenkelernent (23a, 23b) as reflection surfaces two mutually fixed plane mirror (4Oa ', 40b', 41a ', 41b').
6. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das optische Umlenkelement monolit- hisch, insbesondere als Pentaprisma (23a, 23b) ausgeführt ist.6. Stereo camera device according to one of claims 1 to 4, characterized in that the optical deflection element monolithic, in particular as a pentaprism (23a, 23b) is executed.
7. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass wenigstens ein optisches Teilerelement (29) zur Teilung des Strahlenbündels (22) in die Teilstrah- lenbündel (22a, 22b) vorgesehen ist.7. Stereo camera device according to one of claims 1 to 6, characterized in that at least one optical splitter element (29) for dividing the beam (22) in the Teilstrah- lenbündel (22a, 22b) is provided.
8. Stereokameraeinrichtung nach Anspruch 7, dadurch gekennzeichnet, dass das optische Teilerelement als 90-Grad-Prisma (29) ausgebildet ist.8. Stereo camera device according to claim 7, characterized in that the optical splitter element is formed as a 90-degree prism (29).
9. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Referenzstrahlengang (20',2O1') symmetrisch ausgeführt ist.9. Stereo camera device according to one of claims 1 to 8, characterized in that the reference beam path (20 ', 2O 1 ') is symmetrical.
10. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Referenzstrahlengang (20,20') einen Kollimator (24) aufweist.10. Stereo camera device according to one of claims 1 to 9, characterized in that the reference beam path (20,20 ') has a collimator (24).
11. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Strahlungsquelle (21) ein ther- moelektrisches Element, insbesondere ein Peltierelement (21) aufweist .11. Stereo camera device according to one of claims 1 to 10, characterized in that the radiation source (21) has a thermoelectric element, in particular a Peltier element (21).
12. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Austrittsfläche (26a, 26b) des optischen Umlenkelements (23a, 23a' , 23b, 23b' ) (23a, 23b) im Be- reich der Eintrittspupille (27a, 27b), vorzugsweise in der Eintrittspupille (27a, 27b) der jeweiligen zugeordneten Wärmebildkamera (3a, 3b) angeordnet ist.12. Stereo camera device according to one of claims 1 to 11, characterized in that the exit surface (26a, 26b) of the optical deflecting element (23a, 23a ', 23b, 23b') (23a, 23b) in the loading rich of the entrance pupil (27a, 27b), preferably in the entrance pupil (27a, 27b) of the respective associated thermal imaging camera (3a, 3b) is arranged.
13. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass der Referenzstrahlengang (20, 20',2O11) einen Tubus (35) aufweist.13. Stereo camera device according to one of claims 1 to 12, characterized in that the reference beam path (20, 20 ', 2O 11 ) has a tube (35).
14. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass in Ausbreitungsrichtung des Beobachtungslichts der jeweiligen Wärmebildkamera (3a, 3b) vor dem optischen Umlenkelement (23a, 23a' , 23b, 23b' ) der Wärmebildkamera (3a, 3b) zur Kalibrierung des Detektors (25a, 25b) der Wärmebildkamera (3a, 3b) eine in den Beobachtungsstrahlengang (17) der Wärmebildkamera (3a, 3b) ein- und ausschwenkbare Defokussierlinse (38) vorgesehen ist.14. Stereo camera device according to one of claims 1 to 13, characterized in that in the propagation direction of the observation light of the respective thermal imager (3a, 3b) in front of the optical deflecting element (23a, 23a ', 23b, 23b') of the thermal imaging camera (3a, 3b) Calibration of the detector (25a, 25b) of the thermal imaging camera (3a, 3b) is provided in the observation beam path (17) of the thermal imaging camera (3a, 3b) and can be pivoted defocusing lens (38).
15. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass der Referenzstrahlengang (20') we- nigstens ein, insbesondere zwei Kepler-Teleskope (42a, 42b) aufweist .15. Stereo camera device according to one of claims 1 to 14, characterized in that the reference beam path (20 ') at least one, in particular two Kepler telescopes (42a, 42b).
16. Stereokameraeinrichtung nach Anspruch 15, dadurch gekennzeichnet, dass in dem Referenzstrahlengang (20') für die wenigs- tens zwei Teilstrahlenbündel (22a, 22b) jeweils zwischen dem optischen Teilerelement (30) und dem optischen Umlenkelement (23a, 23b) ein Kepler-Teleskop (42a, 42b) angeordnet ist.16. Stereocamera device according to claim 15, characterized in that in the reference beam path (20 ') for at least two partial beams (22a, 22b) between the optical splitter element (30) and the optical deflecting element (23a, 23b) a Kepler Telescope (42a, 42b) is arranged.
17. Stereokameraeinrichtung (l'?) mit zwei justierten, zueinan- der in definiertem Abstand angeordneten und ausgerichteten Wärmebildkameras (3a, 3b), welche mit einer Kalibriereinrichtung( '? L) 17 adjusted stereo camera device having two, zueinan- the arranged at a defined distance and aligned thermal imaging cameras (3a, 3b) provided with a calibration device
(19' ') zu deren fortlaufenden automatischen Kalibrierung versehen ist, wobei als Kalibriereinrichtung (19'') die beiden Wärmebildkameras (3a, 3b) jeweils im Bereich ihrer Eintrittspupillen (27a, 27b) ein optisches Umlenkelement (23a, 23a' , 23b, 23b' ) aufweisen, welches die von der ersten Wärmebildkamera (3a) und/oder von deren Detektor (25a) abgegebene eigene Wärmestrahlung, als Referenzbild in den Beobachtungsstrahlengang (17) der zweiten Wärmebildkamera (3b) umlenkt.(19 '') is provided for their continuous automatic calibration, wherein as calibration means (19 ''), the two thermal imaging cameras (3a, 3b) each in the region of their entrance pupil (27a, 27b) an optical deflecting element (23a, 23a ', 23b, 23b '), which the from the first thermal imaging camera (3a) and / or from the detector (25a) emitted own thermal radiation, as a reference image in the observation beam path (17) of the second thermal imaging camera (3b) deflects.
18. Stereokameraeinrichtung nach einem der Ansprüche 1 bis 17, welche wenigstens ein Teil einer Überwachungsvorrichtung (2) für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore (11) von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhan- denen Vögeln (6) oder Vogelschwärmen (61) zur Durchführung eines Überwachungsverfahrens, ist, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel (6) oder der Vogelschwärme (β?) ermittelbar sind, anhand derer eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warn- meidung ausgegeben wird, und welche im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore angeordnet ist.18. Stereo camera device according to one of claims 1 to 17, which at least part of a monitoring device (2) for wind turbines, buildings with transparent areas, runways and / or flight corridors (11) of airports with a stereoscopic detection approaching or IN ANY - which birds (6) or swarms of birds (6 1 ) are to carry out a monitoring procedure, whereby parameters such as flight altitude, flight direction, airspeed, type and size of birds (6) or flocks of birds (β ? ) can be determined, on the basis of which an assessment and, if appropriate, issuing a corresponding warning, and which is arranged in the area of wind turbines, buildings with transparent areas, runways and / or flight corridors.
19. Überwachungsvorrichtung (2) für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore (11) von Flughäfen mit einer stereoskopischen Erfassung von sich nähernden oder vorhandenen Vögeln (6) oder Vogelschwärmen (6') zur Durchführung eines Überwachungsverfahrens, wobei Parameter wie Flughöhe, Flugrichtung, Fluggeschwindigkeit, Art und Größe der Vögel (6) oder der Vogelschwärme (6') ermittelbar sind, anhand derer eine Bewertung durchgeführt und gegebenenfalls eine entsprechende Warnmeldung ausgegeben wird, und wobei im Bereich der Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder der Flugkorridore (11) wenigstens eine Stereokameraeinrichtung (1,1',I1') gemäß einem der Ansprüche 1 bis 18 mit wenigstens zwei Wärmebildkameras (3a, 3b) vorgesehen ist, welche während der Aufnahme synchron laufen, deren Aufnahmezeitpunkte wenigstens annähernd identisch sind und deren jeweilige Sehfelder (4a, 4b) einen überlappenden Bereich (5) aufweisen. 19. Monitoring device (2) for wind turbines, buildings with transparent areas, runways and / or flight corridors (11) of airports with a stereoscopic detection of approaching or existing birds (6) or bird swarms (6 ') for carrying out a monitoring method , where parameters such as flight altitude, flight direction, airspeed, type and size of the birds (6) or the bird swarms (6 ') can be determined on the basis of which an assessment is carried out and, if appropriate, a warning message is issued, and wherein in the field of wind turbines, buildings with transparent areas, runways and / or the flight corridors (11) at least one stereo camera device (1,1 ', I 1 ') according to one of claims 1 to 18 with at least two thermal imaging cameras (3a, 3b) is provided, which during the Recording synchronous run whose recording times are at least approximately identical and their respective field of view r (4a, 4b) have an overlapping region (5).
20. Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung (1,1',I1') nach einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass das Referenzbild auf den wenigstens zwei Wärmebildkameras (3a, 3b) in vorgegebenen, insbe- sondere regelmäßigen Zeitabständen lokalisiert wird, wonach die relative Position und/oder die relative Orientierung des Referenzbildes zu den Referenzbildern der weiteren Wärmebildkameras (3a, 3b) bestimmt wird, und wonach daraus bei Erkennung einer Veränderung eine entsprechende Korrektur der Parameter für die Stereoauswertung ermittelt und vorgenommen wird.20. A method for the continuous automatic calibration of a stereo camera device (1,1 ', I 1 ') according to one of claims 1 to 18, characterized in that the reference image on the at least two thermal imaging cameras (3a, 3b) in predetermined, in particular regular Time intervals is localized, after which the relative position and / or the relative orientation of the reference image to the reference images of the other thermal imaging cameras (3a, 3b) is determined, and then it is determined upon detection of a change, a corresponding correction of the parameters for the stereo evaluation and made.
21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass aufgrund einer erkannten relativen Verschiebung des Referenzbildes eine Verschiebung eines Detektors (25a, 25b) wenigstens einer der Wärmebildkameras (3a, 3b) oder eine Verkippung oder Verbiegung wenigstens einer der Wärmebildkameras (3a, 3b) parallel und/oder senkrecht zu einer Bezugsebene oder zu einer Basisstruktur (14) der Stereokameraeinrichtung (1,1',1'') erkannt wird.21. The method according to claim 20, characterized in that due to a detected relative displacement of the reference image, a displacement of a detector (25a, 25b) at least one of the thermal imaging cameras (3a, 3b) or a tilting or bending of at least one of the thermal imaging cameras (3a, 3b) parallel and / or perpendicular to a reference plane or to a base structure (14) of the stereo camera device (1,1 ', 1' ') is detected.
22. Verfahren nach Anspruch 20 oder 21, dadurch gekennzeichnet, dass aufgrund einer relativen Rotation des Referenzbildes eine Verdrehung wenigstens einer der Wärmebildkameras (3a, 3b) oder eines Detektors (25a, 25b) wenigstens einer der Wärmebildkameras (3a, 3b) um dessen optische Achse erkannt wird.22. The method according to claim 20 or 21, characterized in that due to a relative rotation of the reference image, a rotation of at least one of the thermal imaging cameras (3a, 3b) or a detector (25a, 25b) at least one of the thermal imaging cameras (3a, 3b) about the optical Axis is detected.
23. Verfahren nach Anspruch 20, 21 oder 22, dadurch gekennzeichnet, dass eine Startkalibrierung der Stereokameraeinrichtung23. The method of claim 20, 21 or 22, characterized in that a start calibration of the stereo camera device
(1,1',1'') durchgeführt wird.(1,1 ', 1' ') is performed.
24. Computerprogramm mit Programmcodemitteln, um ein Verfahren gemäß einem der Ansprüche 20 bis 23 durchzuführen, wenn dass Programm auf einem Mikroprozessor eines Computers, insbesondere auf einer Bildverarbeitungseinrichtung (7) einer Stereokamera- einrichtung (1,1',I1') gemäß einem der Ansprüche 1 bis 16, ausgeführt wird. 24. Computer program with program code means for performing a method according to one of claims 20 to 23, when the program on a microprocessor of a computer, in particular on an image processing device (7) of a stereo camera device (1,1 ', I 1 ') according to a of claims 1 to 16, is executed.
25. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Verfahren gemäß einem der Ansprüche 20 bis 23 durchzuführen, wenn dass Programm auf einer Bildverarbeitungseinrichtung (7) einer Stereokameraeinrichtung (1,1',I1') gemäß einem der Ansprüche 1 bis 18, ausgeführt wird. 25. Computer program product with program code means which are stored on a computer-readable data carrier to perform a method according to one of claims 20 to 23, when the program on an image processing device (7) of a stereo camera device (1,1 ', I 1 ') according to one of Claims 1 to 18, is executed.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008058798A DE102008058798B4 (en) | 2008-11-24 | 2008-11-24 | Stereo camera devices, methods for the continuous automatic calibration of a stereo camera device, computer program, computer program product and monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports |
DE102009016818A DE102009016818A1 (en) | 2009-04-09 | 2009-04-09 | Stereo camera apparatus for use in monitoring device in e.g. building in runway of airport, has optical redirecting elements adapted such that redirection angle of elements is constant within tolerance range independent of angular position |
PCT/EP2009/065656 WO2010058010A2 (en) | 2008-11-24 | 2009-11-23 | Stereo camera equipment, method for continuously and automatically calibrating a stereo camera apparatus, computer program, computer program product and monitoring device for wind energy systems, buildings with transparent areas, runways and/or flight corridors of airports |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2364553A2 true EP2364553A2 (en) | 2011-09-14 |
Family
ID=41628134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP09771520A Withdrawn EP2364553A2 (en) | 2008-11-24 | 2009-11-23 | Stereo camera equipment, method for continuously and automatically calibrating a stereo camera apparatus, computer program, computer program product and monitoring device for wind energy systems, buildings with transparent areas, runways and/or flight corridors of airports |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP2364553A2 (en) |
WO (1) | WO2010058010A2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010023591A1 (en) * | 2010-06-12 | 2011-12-15 | Conti Temic Microelectronic Gmbh | Stereo Camera System |
US20130050400A1 (en) | 2011-08-31 | 2013-02-28 | Henrik Stiesdal | Arrangement and Method to Prevent a Collision of a Flying Animal with a Wind Turbine |
AU2017344757B2 (en) * | 2016-10-20 | 2022-08-04 | Spookfish Innovations Pty Ltd | An aerial camera boresight calibration system |
CN108549145B (en) * | 2018-05-30 | 2021-08-31 | 四川远瞻智汇科技有限公司 | New structure of single-object binocular |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3629458A1 (en) * | 1986-08-29 | 1988-03-03 | Zeiss Carl Fa | STEREOSCOPIC THERMAL IMAGING DEVICE |
JPH01251990A (en) * | 1988-03-31 | 1989-10-06 | Toshiba Corp | Stereoscopic television device |
DE10222049A1 (en) * | 2002-05-17 | 2003-12-18 | Zeiss Carl Laser Optics Gmbh | Method and device for variable attenuation of the intensity of a light beam |
US7362447B2 (en) * | 2004-02-20 | 2008-04-22 | Agilent Technologies, Inc. | Low walk-off interferometer |
-
2009
- 2009-11-23 WO PCT/EP2009/065656 patent/WO2010058010A2/en active Application Filing
- 2009-11-23 EP EP09771520A patent/EP2364553A2/en not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
See references of WO2010058010A2 * |
Also Published As
Publication number | Publication date |
---|---|
WO2010058010A2 (en) | 2010-05-27 |
WO2010058010A3 (en) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008058798B4 (en) | Stereo camera devices, methods for the continuous automatic calibration of a stereo camera device, computer program, computer program product and monitoring device for wind turbines, buildings with transparent areas, runways and / or flight corridors of airports | |
DE102016001355B4 (en) | Process and device for analyzing laser beams in systems for additive manufacturing | |
DE102013227101B3 (en) | Optical system for tracking a target | |
DE102012022039B4 (en) | Modular laser radiation unit | |
DE69727102T2 (en) | Integrated high-resolution all-round sensor optics | |
DE102011010334B4 (en) | Camera system and method for observing objects at a great distance, in particular for monitoring target objects at night, mist, dust or rain | |
DE102015217086B4 (en) | Method for measuring heliostats | |
EP2533003A1 (en) | Optical device for guiding radiation of an object scene to a detector | |
EP2906983B1 (en) | Laser beam directing system and method for orienting optical components of the laser beam directing system | |
WO2010058010A2 (en) | Stereo camera equipment, method for continuously and automatically calibrating a stereo camera apparatus, computer program, computer program product and monitoring device for wind energy systems, buildings with transparent areas, runways and/or flight corridors of airports | |
DE102019210999A1 (en) | Device and method for the scanning distance determination of an object | |
DE102015016274B4 (en) | Optical system and method for adjusting a signal beam | |
DE102017210166A1 (en) | System and method for positioning measurement | |
DE10037783A1 (en) | Method for correction of scanning microscope images, by processing of beam position signals originating from beam deflectors together with detection signals arising from signals caused by light that has come from the object | |
DE102011016058B4 (en) | Method and device for adjusting properties of a beam of high-energy radiation emitted from a plasma | |
EP3861310B9 (en) | Metrology system and method for measuring an excitation laser beam in an euv plasma source | |
DE69111032T2 (en) | Self-calibrating optronic system for infrared observation and a pioneering basket containing such a system. | |
DE102013002007A1 (en) | Method and apparatus for receiving and processing the optical signals coming from an extended object | |
EP2520895A1 (en) | Electro-optic fire control unit for a gun | |
DE102009016818A1 (en) | Stereo camera apparatus for use in monitoring device in e.g. building in runway of airport, has optical redirecting elements adapted such that redirection angle of elements is constant within tolerance range independent of angular position | |
EP2466247A1 (en) | Method for controlling a guided missile and seeker head for a guided missile | |
DE102021133719A1 (en) | Methods for measuring heliostats and methods for calibrating heliostats | |
DE102017210683B4 (en) | Optical arrangement of a receiver optics of a scanning lidar system, lidar system and working device | |
DE102015205788A1 (en) | System for adjusting the sightlines of a combat vehicle and method therefor | |
DE102017210098A1 (en) | Scan head apparatus and method for reflecting or transmitting beams for a scanner, scanning apparatus having a scan head apparatus and scanner having a scan head apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20110517 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
DAX | Request for extension of the european patent (deleted) | ||
17Q | First examination report despatched |
Effective date: 20141209 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
18D | Application deemed to be withdrawn |
Effective date: 20160601 |