WO2004021696A1 - Verfahren zur korrektur von ungleichmässigkeiten eines bildes eines bildsensorsystems - Google Patents

Verfahren zur korrektur von ungleichmässigkeiten eines bildes eines bildsensorsystems Download PDF

Info

Publication number
WO2004021696A1
WO2004021696A1 PCT/DE2003/002101 DE0302101W WO2004021696A1 WO 2004021696 A1 WO2004021696 A1 WO 2004021696A1 DE 0302101 W DE0302101 W DE 0302101W WO 2004021696 A1 WO2004021696 A1 WO 2004021696A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image sensor
sensor system
correction
lighting
Prior art date
Application number
PCT/DE2003/002101
Other languages
English (en)
French (fr)
Inventor
Christoph Roessig
Marcus Lorei
Bernd Huertgen
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2004021696A1 publication Critical patent/WO2004021696A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image

Definitions

  • the invention relates to a method for correcting irregularities in at least a part of at least one image of an image sensor system, the image sensor system consisting of at least one image sensor. Furthermore, the invention relates to an image sensor system with at least one image sensor and a computer program with program code means to carry out all steps of the method when the program is executed on a computer.
  • CCD image sensors With image sensors, a distinction is made between CCD image sensors and CMOS image sensors.
  • CCD image sensors are predominantly used in digital cameras and video cameras. Since CCD image sensors are only of limited suitability for use in the automotive sector due to their technological properties, the use of CMOS image sensors is planned in the area of motor vehicles. CMOS image sensors stand out from the CCD
  • Image sensors are characterized by greater lighting dynamics and by lower artifacts when large contrasts occur, such as those that occur when vehicles are dazzled by oncoming vehicles when the image sensors are used in motor vehicles.
  • CMOS technology is suitable for accommodating logic on the image sensor in addition to the image recording electronics. These characteristics characterize the CMOS image sensors for the
  • FPN fixed pattern noise
  • the method described below for the illumination-dependent correction of non-uniformities of at least part of at least one image of an image sensor system has the advantage that it is possible that Use image sensor system with extreme changes in brightness.
  • the correction of the non-uniformities of the image of the image sensor system is reduced.
  • the described method enables the use of image sensor systems in the automotive field.
  • Image quality increased throughout the work area of the image sensor system.
  • the described method advantageously enables the use of an image sensor system in applications which are operated under extreme lighting conditions, for example bright sunlight or a dark night that is directly incident.
  • Correction of non-uniformities of at least a part of at least one image in particular for an image sensor system which has means for lighting-dependent correction of non-uniformities in the brightness of at least one image point of the image and / or at least a partial area of the image.
  • the correction of irregularities of at least one image point of the image and / or at least a partial area of the image of the image sensor system is carried out by determining a locally and / or globally determined degree of illumination. At least one is used to determine a local illuminance Pixel and / or at least a portion of the image of the image sensor system is used.
  • the gray value of a pixel of an image sensor system or the mean value of the gray values of a pixel and of pixels from its surroundings are examples of a locally determined degree of illumination.
  • a globally determined degree of illumination is determined by using the entire image supplied by the image sensor to determine it.
  • the mean value of all gray values of the image points of an image is a globally determined illuminance.
  • the determination of a locally and / or globally determined degree of illumination advantageously enables the individual correction of non-uniformities of at least one image point of the image and / or a partial area of the image. This leads to an optimal correction of non-uniformities of at least a part of at least one image.
  • the method is suitable for correcting the fixed pattern noise (FPN) of the image sensor and / or at least one further non-uniformity of the at least part of the image of the image sensor system.
  • FPN fixed pattern noise
  • Fixed-pattern noise is the spatial variation of the initial value of the pixels with uniform illumination of the
  • the method advantageously enables the correction of at least one further non-uniformity of at least a part of the image.
  • the method enables the correction of the radiometric lens inhomogeneities, in particular the lens edge shading.
  • the method enables the correction of non-uniformities of at least a part of at least one image of an image sensor system, the image sensor system consisting of at least one image sensor, the non-uniformities of the image of the image sensor system being corrected depending on the lighting, the fixed pattern noise (FPN) of the image sensor and the lens inhomogeneities are corrected.
  • This brightness-adaptive fixed pattern noise (FPN) correction of the original image supplied by the image sensor advantageously simultaneously corrects lens inhomogeneities.
  • the original image of the The image sensor can be partially corrected or be uncorrected.
  • the correction offsets and / or the correction values and / or the correction functions are advantageously determined by recording a bright, homogeneously illuminated surface whose brightness can be adjusted. The deviation of the images obtained from the theoretically expected value is for at least one
  • a correction pattern is a function of the image points of the image and / or the partial areas of the image.
  • the correction pattern is formed by the correction values instead of the correction offsets.
  • individual, brightness-dependent look-up tables are advantageously available for each pixel of the image and / or a partial area of the image, from which the corrected image is composed without further calculations.
  • the correction value is taken from the look-up table for each determined value of the pixel, for example a gray value.
  • the method is thus advantageously easier to implement algorithmically. This means that the processing unit requires less computing power.
  • correction functions are calculated from the determined correction patterns. For each pixel of the image and / or a partial area of the image, the respective parameters of a suitable analytical
  • Image of the image sensor system automatically and repeatedly captured. For example, local transparent contamination of the lens is automatically corrected since the determination of non-uniformities in the image of the image sensor system is repeated cyclically during operation of the image sensor system. Local transparent pollution is, for example, a single drop of water.
  • An image sensor system with at least one CMOS image sensor is particularly advantageous, the CMOS image sensor having a continuously monotonous characteristic curve, in particular that the CMOS
  • CMOS image sensors have inherent advantages. They are characterized by a large dynamic range of the characteristic curve of the lighting sensitivity. In addition, CMOS image sensors are insensitive to artefacts occurring in direct glare, i.e. with large contrast differences. By a lighting-dependent correction of the irregularities of at least part of the
  • Image of the image sensor system in particular the correction of the fixed pattern noise (FPN) of the image sensor, advantageously reduces the image errors in the entire dynamic range of the characteristic curve. At the same time, the inherent advantages of the CMOS image sensors are retained.
  • FPN fixed pattern noise
  • a computer program with program code means is particularly advantageous in order to carry out all steps of the method described below when the program is executed on a computer.
  • the use of a computer program enables the method to be adapted quickly and inexpensively, for example by adapting Parameters to the respective image sensor type.
  • the maintenance is advantageously improved, since the individual process steps are not implemented in hardware but in software.
  • FIG. 1 shows an image sensor system of the preferred exemplary embodiment
  • FIG. 2 shows a block diagram of the evaluation unit for correcting irregularities of
  • FIG. 3 shows a flowchart of the method for determining correction data in the preferred embodiment in a first variant
  • FIG. 4 shows a flowchart of the method for determining correction data in the preferred embodiment in a second variant
  • FIG. 5 shows a flowchart of the method for Determination of correction data in the preferred embodiment in a third variant.
  • FIG. 1 shows an image sensor system 10 of the preferred exemplary embodiment, consisting of an image sensor 12, an objective 14 and an evaluation unit 16.
  • the image sensor 12 has a detection range 20. Electromagnetic radiation in the visible spectral range reaches the image sensor 12 via the objective 14.
  • the image sensor 12 converts the electromagnetic radiation into original images.
  • a CCD image sensor or a CMOS image sensor can be used as the image sensor 12.
  • CMOS image sensors are available as sensors with a linear, sectionally linear or nonlinear, for example logarithmic, characteristic curve of the sensitivity to illumination.
  • a CMOS image sensor is used used with a logarithmic characteristic, which consists of many photosensitive cells (pixels) arranged in a matrix and provides an original image, the individual pixels having a gray value resolution (quantization) of 8 bits.
  • each pixel generates a pixel in the original image.
  • the original images determined by the image sensor 12 are transmitted to the evaluation unit 16 via a signal line 15. The transmission takes place electrically and / or optically. Alternatively or additionally, radio transmission is possible.
  • the evaluation unit 16 determines the corrected images from the original images and transmits them via the signal line 17 to at least one, preferably subsequent, system 18. The transmission takes place electrically and / or optically. Alternatively or additionally, radio transmission is possible.
  • a screen for displaying the corrected images is provided as the following system 18 in the preferred exemplary embodiment.
  • the image sensor 12, the objective 14 and the evaluation unit 16 form a unit.
  • the components are available separately.
  • the evaluation unit 16 is directly integrated in the image sensor 12, while in a further variant the evaluation unit 16 is accommodated separately in a subsequent system 18, for example a subsequent processing unit.
  • the evaluation unit 16 consists of several modules 22, 24 shown in FIG. 2, which in the preferred embodiment are designed as programs of at least one microprocessor.
  • a special feature of the CMOS image sensor 12 with a logarithmic characteristic is that it is directly from the light-sensitive cells
  • the fixed pattern noise (FPN) arises from the fact that the characteristic curves (gray value as a function of the illuminance) of the pixels on the CMOS image sensor 12 (chip) are not parameterized identically, i.e. with the same lighting, different output values result for different pixels.
  • FIG. 2 shows a block diagram of the evaluation unit 16 for correcting non-uniformities of images of the preferred image sensor system
  • the original images 26 are fed to the modules 22 and 24 via the signal line 15 in FIG.
  • the original images 26 are either pre-corrected by the CMOS image sensor or the original images 26 are uncorrected.
  • the non-uniformities of the original images 26 are determined depending on the lighting and stored.
  • the Correction data 30 determined are forwarded to module 24.
  • the brightness-adaptive post-correction of the original images 26 supplied by the CMOS image sensor takes place in module 24.
  • the corrected images 28 are determined, which are forwarded to a system 18 via the signal line 17 in FIG. 1 , Various methods are possible for determining the correction data 30 and for determining the corrected images 28, which are explained below with reference to FIGS. 3 to 5.
  • FIG. 3 shows a flowchart of the method for determining correction data in the preferred embodiment in a first variant.
  • a correction pattern field 52 is determined as correction data.
  • the brightness-adaptive correction for example the
  • FPN Fixed-Pattern-Noise
  • radiometric objective inhomogeneities of the original image supplied by the CMOS image sensor is carried out in this first variant by determining correction patterns 54.
  • the lens edge shading is determined as the radiometric lens inhomogeneity.
  • the correction pattern 54 must be determined beforehand by measurement.
  • the correction patterns 54 are for those of the
  • Image elements generated pixels in dependence on a respective incident amount of light, that is, the irradiance, determined.
  • the irradiance is defined as the power (radiant power) per area.
  • images of a homogeneous reference light source that can be set in the emitted radiation power (light output) are taken with a sufficiently fine gradation of the set light output.
  • the gradation with discrete steps results in a quantization of the emitted radiation power of the light source.
  • Sufficient homogeneity of the light source must be ensured in order to carry out the method.
  • an integrating sphere is used as the reference light source. It is a spherical photometer with a diameter of 1 to 5
  • the Ulbricht sphere has a pure white, matt coating on the inside. As a result, the light emitted on all sides by a light source located in the sphere is scattered and reflected in such a way that the luminance is constant over the entire surface of the sphere. With a suitable choice of the quantization levels of the light output, the associated correction offset 56 is determined for each pixel generated by a picture element (pixel) for each brightness value.
  • the correction offset 56 is understood to mean the difference between the actual value of the image point and the value to be expected theoretically at the underlying irradiance. All correction offsets 56 of the pixels generated by the pixels of the CMOS image sensor form at an irradiance or light output of the light source a correction pattern 54.
  • the determined correction patterns 54 for different irradiance levels form the correction pattern field 52 (map array).
  • a corresponding irradiance is selected for each quantized output value of the pixel.
  • 256 irradiance levels are necessary.
  • Determination of a correction pattern field 52 begins at the start 40.
  • the irradiance of the image sensor is set by changing the radiation power of the light source, in the preferred exemplary embodiment the integrating sphere.
  • the correction offsets 56 which form a correction pattern 54, are carried out in point 44. If at least two original images are recorded, the correction offsets 56 are determined from the original images averaged over time.
  • the determined correction pattern 54 is stored in subsequent point 46.
  • the query is carried out as to whether all correction patterns 54 for each intended irradiance have been determined.
  • correction pattern field 52 determined in module 22 in FIG. 2 by the described method is supplied to module 24 as correction data 30.
  • a synthetic correction pattern is determined from the correction pattern field 52 for each original image 26 recorded with the image sensor system in normal operation, the synthetic correction pattern in each pixel being adapted to the image content (brightness value of the pixel) ,
  • the brightness-adaptive correction of the original image 26 provided in FIG. 2 is carried out by adding the synthetic correction pattern to the original image 26, the corrected image 28 being generated as a result. The method described in FIG.
  • correction pattern field 52 does not contain the correction offsets 56, but instead the gray values (correction values) 56 that have already been corrected are stored.
  • the correction value is the corrected value.
  • the correction offset 56 is the difference between the determined gray value and the correction value. This means that each pixel has an individual, brightness-dependent look-up
  • Table in the correction pattern field 52 is available, from which the corrected image 28 in module 24 according to FIG. 2 is assembled directly without further calculations based on the original image 26 in normal operation. This is done by for each pixel from the Correction pattern field 52 for each pixel for the determined gray value in the original image, a correction value 56 is taken from the correction pattern field 52.
  • FIG. 4 shows a flowchart of the method for determining correction data in the preferred exemplary embodiment in a second variant. From the determined
  • Correction pattern field 52 maps array
  • the respective parameters 64 of a suitable analytical description for the pixels generated by the picture elements (pixels) are determined by parameter estimation and summarized in a field of parameters 62.
  • the parameterized characteristics for each pixel in the form of a field represent the entire original image supplied by the CMOS image sensor
  • Parameters of the correction functions 62 are available, from which the corrected image is calculated. It is assumed here that the shape of the characteristic curve of the illumination sensitivity of all pixels is the same, but the parameterization of the characteristic curve has differences.
  • point 58 of the flowchart of the method for determining correction data according to FIG. 4 the parameters of the correction functions 64 for each pixel of the image are taken from the
  • Correction pattern field 52 calculated. Both the correction offsets 56 and / or the correction values 56 can be used.
  • the structure of the correction functions is selected in accordance with the properties of the image sensor, in particular the course of the characteristic curves of the illumination sensitivity of the pixels of the image sensor.
  • the parameters of the correction functions 64 are obtained through the use of parameter estimation methods, such as the least squares method or In the preferred exemplary embodiment, a compensation function is carried out for each pixel in a numerical method using the least squares method by means of the measured values determined, that is to say the
  • Correction offsets 56 or the correction values 56 are calculated.
  • the correction functions are described by the parameters of the correction functions 64.
  • the correction function for a pixel is a function of the correction value from the determined gray value in the original image.
  • the parameters of the correction functions 64 are combined and stored in the field of the parameters 62.
  • the field of parameters 62 determined in module 22 in FIG. 2 by the described method is supplied to module 24 as correction data 30.
  • the corrected image 28 is calculated for each original image 26 recorded with the image sensor system in normal operation using the field of parameters 62.
  • the gray value of a pixel of the original 26 the corrected gray value is calculated using the correction function of a pixel.
  • the correction pattern field (map array) 52 is also recorded for suitably selected light output settings (reference points of the map).
  • the correction functions or the parameters of the correction functions 64 are calculated by interpolation from two or more support points. The interpolation is carried out for each individual pixel generated by the picture element (pixel) according to its brightness value from the support points assigned to it.
  • FIG. 5 shows a flowchart of the method for determining correction data in the preferred exemplary embodiment in a third variant.
  • a synthetic correction pattern 78 is determined as correction data.
  • Correction pattern 78 can be influenced by the number and weighting of images 68, 69, 70, 71, 72 taken into account for determining synthetic correction pattern 78.
  • the time behavior of the synthetic correction pattern means the dynamics of the adaptation to the currently recorded scene. Assuming that the length N of the image sequence 66 is sufficiently large and a sufficiently large change in the
  • the synthetic correction pattern 78 is determined in the preferred exemplary embodiment as explained below. There is a sufficiently large change in the image content, for example, when an object movement and / or a camera movement takes place.
  • a moving average, a temporal averaging is calculated over N past images 68, 69, 70, 71, 72 of the image sequence 66 at point 74.
  • any low-pass filter (temporal low-pass) 74 is used for temporally filtering the image sequence 66. If the spatial mean value at point 76 is subtracted from the result image of the temporal low-pass filtering, the synthetic correction pattern 78 is obtained. Alternatively, low-pass filtering of the result image with any lowpass (local lowpass) 76 is also possible here.
  • the synthetic correction pattern 78 determined in module 22 in FIG. 2 by the described method is supplied to module 24 as correction data 30.
  • the brightness-adaptive correction of the original image 26 provided in FIG. 2 takes place by adding the synthetic correction pattern 78 to the original image 26, the corrected image 28 being the result is produced. Both the formation of the synthetic correction pattern 78 in module 22 in FIG.
  • the result image of the temporal low-pass filtering is filtered with a suitable spatial high-pass filter, instead of a spatial low-pass filtering with subsequent subtraction of the result image of the temporal
  • Evaluation of many past and stored synthetic correction patterns 78 determines a correction pattern field 52 according to FIG. 3.
  • the correction pattern field 52 according to FIG. 3 contains correction offsets or correction values.
  • the determined correction pattern field is changed dynamically by the processing of further original images.
  • the further processing of the correction pattern field 52 takes place in accordance with the variant of the figure described above
  • the described method and the image sensor system are not limited to the use of an 8-bit CMOS image sensor in applications in motor vehicles. Rather, it is in particular possible to use other CMOS image sensors and / or CCD image sensors.
  • the use of line image sensors is also possible in a variant of the method and the image sensor system.
  • the image sensors can be designed as black / white image sensors or color image sensors. All of the image sensors described can have any gray value resolution and / or color resolution that differ from the 8-bit image sensor used in the preferred exemplary embodiment.
  • the use of CMOS image sensors with a resolution of 10 bits is possible.
  • the method and the image sensor system are also suitable for using analog image sensors that have no discrete pixels and / or no quantization of the output value.
  • regions of the image are used instead of the pixels, which are further processed as pixels by averaging.
  • the output signal is quantized in a preprocessing and processed in accordance with the method described above.
  • at least two image sensors are used in the image sensor system, wherein the image sensors record essentially the same scene, in particular that the image sensor system is a stereo camera.
  • the above variants are combined, for example, by using different variants of the method for different parts, that is to say regions, of the original image.
  • different variants of the method depending on the lighting.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

Es wird Verfahren zur Korrektur von Ungleichmässigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems vorgeschlagen, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht. Die Ungleichmässigkeiten des Bildes des Bildsensorsystems werden beleuchtungsabhängig korrigiert. Des weiteren wird ein Bildsensorsystem mit wenigstens einem Bildsensor vorgeschlagen, wobei das Bildsensorsystem Mittel aufweist, um Ungleichmässigkeiten wenigstens eines Teils wenigstens eines Bildes des Bildsensorsystems beleuchtungsabhängig zu korrigieren.

Description

Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildes eines Bildsensorsystems
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht. Des weiteren betrifft die Erfindung ein Bildsensorsystem mit wenigstens einem Bildsensor und ein Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Bei Bildsensoren unterscheidet man zwischen CCD-Bildsensoren und CMOS-Bildsensoren. In digitalen Fotoapparaten und Videokameras werden überwiegend CCD-Bildsensoren eingesetzt. Da CCD-Bildsensoren aufgrund von technologisch bedingten Eigenschaften nur bedingt für den Einsatz im Automotiv-Bereich geeignet sind, ist im Bereich von Kraftfahrzeugen der Einsatz von CMOS-Bildsensoren geplant. CMOS-Bildsensoren zeichnen sich gegenüber den CCD-
Bildsensoren durch eine größere Beleuchtungsdynamik und durch geringere Artefakte beim Auftreten von großen Kontrasten aus, wie sie bei Blendung durch entgegenkommende Fahrzeuge beim Einsatz der Bildsensoren in Kraftfahrzeugen auftreten. Darüber hinaus ist die CMOS-Technologie dazu geeignet, neben der Bildaufnahmeelektronik auch Logik auf dem Bildsensor unterzubringen. Diese Eigenschaften zeichnen die CMOS-Bildsensoren für den
Einsatz im Automotiv-Bereich aus.
Bei Bildsensoren, insbesondere CMOS-Bildsensoren, entstehen Ungleichmäßigkeiten des Bildes beispielsweise durch das sogenannte Fixed Pattern Noise (FPN). Darunter versteht man die räumliche Variation des Ausgangswertes der Pixel bei gleichförmiger Beleuchtung des Bildsensors. Das Fixed Pattern Noise (FPN) entsteht dadurch, dass die Kennlinien der Beleuchtungsempfindlichkeit der Pixel auf einem CMOS-Bildsensor nicht identisch parametriert sind, d.h. bei gleicher Beleuchtung ergeben sich bei unterschiedlichen Pixeln unterschiedliche Ausgangswerte.
Vorteile der Erfindung
Das nachfolgend beschriebene Verfahren zur beleuchtungsabhängigen Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, insbesondere die beleuchtungsabhängige Korrektur von Ungleichmäßigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes, hat den Vorteil, dass es möglich ist, das Bildsensorsystem bei extremen Helligkeitsänderungen einzusetzen. Durch die Anpassung der Korrektur der Ungleichmäßigkeiten des Bildes des Bildsensorsystems an den jeweiligen Arbeitspunkt, festgelegt durch die Beleuchtung, werden die Bildfehler reduziert, die durch das Bildsensorsystem verursacht werden. In besonders vorteilhafter Weise ermöglicht das beschriebene Verfahren den Einsatz von Bildsensorsystemen im Automotiv-Bereich. Beim Einsatz von Bildsensorsystemen in Kraftfahrzeugen im Tag- und Nachtbetrieb werden hohe Anforderungen an eine Korrektur von Ungleichmäßigkeiten des Bildes auch bei extremen Helligkeitsunterschieden gestellt. Durch das Verfahren wird die
Bildqualität im gesamten Arbeitsbereich des Bildsensorsystems erhöht. Allgemein ermöglicht das beschriebene Verfahren in vorteilhafter Weise den Einsatz eines Bildsensorsystems in Anwendungen, die unter extremen Beleuchtungsbedingungen betrieben werden, beispielsweise direkt einfallendes helles Sonnenlicht oder eine dunkle Nacht. Diese Vorteile gelten für das Verfahren selbst und für ein Bildsensorsystem, das Mittel zur beleuchtungsabhängigen
Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes ausweist, insbesondere für ein Bildsensorsystem das Mittel zur beleuchtungsabhängigen Korrektur von Ungleichmäßigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes aufweist.
Vorteilhaft ist, dass die Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten Beleuchtiingsmaßes beleuchtungsabhängig erfolgt. Für die Ermittlung eines lokalen Beleuchtungsmaßes wird dabei wenigstens ein Bildpunkt und/oder wenigstens ein Teilbereich des Bildes des Bildsensorsystems verwendet. Der Grauwert eines Bildpunktes eines Bildsensorsystems oder der Mittelwert der Grauwerte eines Bildpunktes und von Bildpunkten aus dessen Umgebung sind Beispiele für ein lokal bestimmtes Beleuchtungsmaß. Ein global bestimmtes Beleuchtungsmaß ist dadurch festgelegt, dass zu dessen Bestimmung das gesamte vom Bildsensor gelieferte Bild verwendet wird.
Beispielsweise ist der Mittelwert aller Grauwerte der Bildpunkte eines Bildes ein global bestimmtes Beleuchtungsmaß. Durch die Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes wird in vorteilhafter Weise die individuelle Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder eines Teilbereiches des Bildes ermöglicht. Dies führt zu einer optimalen Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes. Diese Vorteile gelten für das Verfahren selbst und für ein Bildsensorsystem mit Mittel, welche die beleuchtungsabhängig Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes ermöglichen.
In besonders vorteilhafter Weise ist das Verfahren zur Korrektur des Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens einer weiteren Ungleichmäßigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems geeignet. Unter dem Fixed-Pattern-Noise versteht man die räumliche Variation des Ausgangswertes der Pixel bei gleichförmiger Beleuchtung des
Bildsensors. In vorteilhafter Weise ermöglicht das Verfahren alternativ oder gleichzeitig die Korrektur wenigstens einer weiteren Ungleichmäßigkeit wenigstens eines Teiles des Bildes. Das Verfahren ermöglicht die Korrektur der radiometrischen Objektivinhomogenitäten, insbesondere der Objektivrandabschattung. Beim Einbau des Bildsensorsystems in ein Kraftfahrzeug, beispielsweise an die Innenseite einer Windschutzscheibe, gestattet das nachfolgend beschriebene Verfahren eine Korrektur der Ungleichmäßigkeiten des Bildes infolge von Inhomogenitäten der Windschutzscheibe. In besonders vorteilhafter Weise ermöglicht das Verfahren die Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht, wobei die Ungleichmäßigkeiten des Bildes des Bildsensorsystems beleuchtungsabhängig korrigiert werden, wobei das Fixed-Pattern-Noise (FPN) des Bildsensors und die Objektivinhomogenitäten korrigiert werden. Durch diese helligkeitsadaptive Fixed- Pattern-Noise (FPN) -Nachkorrektur des vom Bildsensor gelieferten Ur-Bildes werden in vorteilhafter Weise gleichzeitig Objektivinhomogenitäten korrigiert. Das Ur-Bild des Bildsensors kann teilweise korrigiert sein oder unkorrigiert vorliegen. Diese Vorteile gelten für das beschriebene Verfahren selbst und für ein Bildsensorsystem, das Mittel zur Korrektur des Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens einer weiteren Ungleichmäßigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems, insbesondere Objektivinhomogenitäten, aufweist.
Vorteilhaft ist die Ermittlung wenigstens eines beleuchtungsabhängigen Korrektur-Offsets und/oder wenigstens eines beleuchtungsabhängigen Korrekturwerts und/oder wenigstens einer beleuchtungsabhängigen Korrekturfunktion für wenigstens einen Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes und die Verwendung des Korrektur-Offsets und/oder des Korrekturwerts und/oder der Korrekturfunktion zur Korrektur von Ungleichmäßigkeiten des Bildes des Bildsensorsystems. Die Korrektur-Offsets und/oder die Korrekturwerte und/oder die Korrekturfunktionen werden in vorteilhafter Weise durch Aufnahme von einer hellen homogen ausgeleuchteten Fläche ermittelt, deren Helligkeit einstellbar ist. Die Abweichung der gewonnenen Abbildungen von dem theoretisch zu erwartenden Wert wird für wenigstens einen
Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes für jeden Helligkeitswert ermittelt. Die Abweichungen bilden als Korrektur-Offsets die Korrekturmuster. Ein Korrekturmuster ist bei einer Helligkeit eine Funktion der Bildpunkte des Bildes und/oder den Teilbereichen des Bildes. In einer Variante des nachfolgend beschriebenen Verfahrens wird das Korrekturmuster durch die Korrekturwerte anstatt der Korrektur-Offsets gebildet. Damit stehen für jeden Bildpunkt des Bildes und/oder einen Teilbereich des Bildes in vorteilhafter Weise jeweils individuelle, helligkeitsabhängige Look-up-Tabellen zur Verfügung, aus denen ohne weitere Berechnungen das korrigierte Bild zusammengesetzt wird. Dabei wird für jeden ermittelten Wert des Bildpunktes, beispielsweise ein Grauwert, aus der Look-up-Tabelle der Korrekturwert entnommen. In vorteilhafter Weise ist das Verfahren damit algorithmisch einfacher zu implementieren. Damit wird ein geringerer Rechenleistungsbedarf der Auswerteeinheit benötigt. Insgesamt führt dies zu geringen Kosten bei gleichzeitig schnellerer Verarbeitung der Bilder. In einer Variante des Verfahrens werden Korrekturfunktionen aus den ermittelten Korrekturmustern berechnet. Für jeden Bildpunkt des Bildes und/oder eines Teilbereiches des Bildes Werden die jeweiligen Parameter einer geeigneten analytischen
Funktion als Korrekturfunktion durch Parameterschätzung ermittelt. In vorteilhafter Weise führt dies zu einer Reduzierung des Speicherplatzbedarfes, da lediglich die Parameter der Korrekturfunktionen gespeichert werden müssen. Diese Vorteile gelten für das beschriebene Verfahren selbst und für ein Bildsensorsystem, das Mittel zur Korrektur von Ungleichmäßigkeiten des Bildes des Bildsensorsystems durch Ermittlung wenigstens eines beleuchtungsabhängigen Korrektur-Offsets und/oder wenigstens eines beleuchtungsabhängigen Korrekturwerts und/oder wenigstens einer beleuchtungsabhängigen Korrekturfunktion wenigstens eines Bildpunktes und/oder wenigstens eines Teilbereich des Bildes aufweist.
Vorteilhaft ist die Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems zu deren Korrektur im Betrieb (Normalbetrieb) des Bildsensorsystems. Dadurch entfällt die Ermittlung von Ungleichmäßigkeiten mittels eines Laboraufbaus. In vorteilhafter Weise werden hierbei die Kosten für das Bildsensorsystem gesenkt. Beim Einbau des Bildsensorsystems in ein Kraftfahrzeug werden in vorteilhafter Weise Veränderungen der Ungleichmäßigkeiten des
Bildes des Bildsensorsystems automatisch und wiederholt erfasst. Beispielsweise wird eine lokale transparente Verschmutzung des Objektivs automatisch korrigiert, da die Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems im Betrieb des Bildsensorsystems zyklisch wiederholt wird. Eine lokale transparente Verschmutzung ist beispielsweise ein einzelner Wassertropfen. Diese Vorteile gelten für das beschriebene Verfahren selbst und für ein Bildsensorsystem, das Mittel zur Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems zu deren Korrektur im Betrieb des Bildsensorsystems aufweist.
Besonders vorteilhaft ist ein Bildsensorsystem mit wenigstens einem CMOS-Bildsensor, wobei der CMOS-Bildsensor eine stetig monotone Kennlinie aufweist, insbesondere dass der CMOS-
Bildsensor eine logarithmische Kennlinie hat. CMOS-Bildsensoren weisen inhärente Vorteile auf. Sie zeichnen sich durch einen großen Dynamikbereich der Kennlinie der Beleuchtungsempfindlichkeit aus. Daneben sind CMOS-Bildsensoren unempfindlich gegenüber auftretenden Artefakten bei direkter Blendung, also bei großen Kontrastunterschieden. Durch eine beleuchtungsabhängige Korrektur der Ungleichmäßigkeiten wenigstens eines Teils des
Bildes des Bildsensorsystems, insbesondere die Korrektur des Fixed-Pattern-Noise (FPN) des Bildsensors erreicht man in vorteilhafter Weise eine Verminderung der Bildfehler im gesamten Dynamikbereich der Kennlinie. Gleichzeitig bleiben die inhärent vorhandenen Vorteile der CMOS-Bildsensoren erhalten.
Besonders vorteilhaft ist ein Computerprogramm mit Programmcode-Mitteln, um alle Schritte des nachfolgend beschriebenen Verfahrens durchzuführen, wenn das Programm auf einem Computer ausgeführt wird. Die Verwendung eines Computerprogramms ermöglicht die schnelle und kostengünstige Anpassung des Verfahrens, beispielsweise durch Anpassung von Parametern an den jeweiligen Bildsensortyp. Daneben wird die Wartung in vorteilhafter Weise verbessert, da die einzelnen Verfahrensschritte nicht in Hardware, sondern in Software realisiert sind.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
Zeichnung
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsformen näher erläutert.
Es zeigen:
Figur 1 ein Bildsensorsystem des bevorzugten Ausführungsbeispiels,
Figur 2 ein Blockdiagramm der Auswerteeinheit zur Korrektur von Ungleichmäßigkeiten von
Bildern des Bildsensorsystems des bevorzugten Ausführungsbeispiels, Figur 3 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer ersten Variante, Figur 4 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer zweiten Variante, Figur 5 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer dritten Variante.
Beschreibung von Ausführungsbeispielen
Figur 1 zeigt ein Bildsensorsystem 10 des bevorzugten Ausfϋhrungsbeispiels, bestehend aus einem Bildsensor 12, einem Objektiv 14 und einer Auswerteeinheit 16. Der Bildsensor 12 hat einen Erfassungsbereich 20. Elektromagnetische Strahlung im sichtbaren Spektralbereich gelangt über das Objektiv 14 zum Bildsensor 12. Der Bildsensor 12 wandelt die elektromagnetische Strahlung in Ur-Bilder um. Als Bildsensor 12 ist ein CCD-Bildsensor oder ein CMOS-Bildsensor einsetzbar. CMOS-Bildsensoren gibt es als Sensoren mit linearer, abschnittsweise linearer oder nichtlinearer, beispielsweise logarithmischer, Kennlinie der Beleuchtungsempfindlichkeit. Im bevorzugten Ausführungsbeispiel wird ein CMOS-Bildsensor mit logarithmischer Kennlinie verwendet, der aus vielen, in einer Matrix angeordneten lichtempfindlichen Zellen (Pixeln) besteht und ein Ur-Bild liefert, wobei die einzelnen Pixel eine Grauwertauflösung (Quantisierung) von 8-Bit haben. Jeder Pixel erzeugt im bevorzugten Ausführungsbeispiel einen Bildpunkt im Ur-Bild. Die vom Bildsensor 12 ermittelten Ur-Bilder werden über eine Signalleitung 15 zur Auswerteeinheit 16 übertragen. Die Übertragung erfolgt dabei elektrisch und/oder optisch. Alternativ oder zusätzlich ist eine Übertragung per Funk möglich. Die Auswerteeinheit 16 ermittelt aus den Ur-Bildern die korrigierten Bilder und überträgt diese über die Signalleitung 17 an wenigstens ein, vorzugsweise nachfolgendes System 18. Die Übertragung erfolgt dabei elektrisch und/oder optisch. Alternativ oder zusätzlich ist eine Übertragung per Funk möglich. Als nachfolgendes System 18 ist im bevorzugten Ausführungsbeispiel ein Bildschirm zur Darstellung der korrigierten Bilder vorgesehen. Im bevorzugten Ausführungsbeispiel bilden der Bildsensor 12, das Objektiv 14 und die Auswerteeinheit 16 eine Einheit. In anderen Varianten liegen die Komponenten getrennt vor. Bei einer ersten Variante des bevorzugten Ausführungsbeispiels ist die Auswerteeinheit 16 im Bildsensor 12 direkt integriert, während in einer weiteren Variante die Auswerteeinheit 16 getrennt in einem nachfolgenden System 18, beispielsweise einer nachfolgenden Verarbeitungseinheit, untergebracht ist. Die Auswerteeinheit 16 besteht aus mehreren in Figur 2 dargestellten Modulen 22, 24, die im bevorzugten Ausführungsbeispiel als Programme wenigstens eines Mikroprozessors ausgestaltet sind. Eine Besonderheit des CMOS-Bildsensors 12 mit logarithmischer Kennlinie ist, dass das unmittelbar von den lichtempfindlichen Zellen
(Pixel) gelieferte Ur-Bild korrigiert werden muss, bevor man ein zum Betrachten oder Weiterverarbeiten geeignetes Bild erhält. Diese Korrektur ist notwendig, da aufgrund des sogenannten Fixed-Pattern-Noise (FPN) Ungleichmäßigkeiten im Ur-Bild auftreten. Das Fixed- Pattern-Noise (FPN) entsteht dadurch, dass die Kennlinien (Grauwert als Funktion der Beleuchtungsstärke) der Pixel auf dem CMOS-Bildsensor 12 (Chip) nicht identisch parametriert sind, d.h. bei gleicher Beleuchtung ergeben sich bei unterschiedlichen Pixeln unterschiedliche Ausgangswerte.
Figur 2 zeigt ein Blockdiagramm der Auswerteeinheit 16 zur Korrektur von Ungleichmäßigkeiten von Bildern des Bildsensorsystems des bevorzugten
Ausführungsbeispiels. Über die Signalleitung 15 in Figur 1 werden die Ur-Bilder 26 den Modulen 22 und 24 zugeführt. Dabei liegen die Ur-Bilder 26 entweder vom CMOS-Bildsensor vorkorrigiert vor oder die Ur-Bilder 26 sind unkorrigiert. In Modul 22 werden die Ungleichmäßigkeiten der Ur-Bilder 26 beleuchtungsabhängig ermittelt und gespeichert. Die ermittelten Korrekturdaten 30 werden an das Modul 24 weitergeleitet. Die helligkeitsadaptive Nachkorrektur der vom CMOS-Bildsensor gelieferten Ur-Bildern 26 geschieht in Modul 24. Durch Verarbeitung der Ur-Bilder 26 und der Korrekturdaten 30 werden die korrigierten Bilder 28 ermittelt, die über die Signalleitung 17 in Figur 1 an ein System 18 weitergeleitet werden. Zur Bestimmung der Korrekturdaten 30 und zur Ermittlung der korrigierten Bilder 28 sind verschiedene Verfahren möglich, die nachfolgend anhand der Figuren 3 bis 5 erläutert werden.
Figur 3 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer ersten Variante. Als Korrekturdaten wird ein Korrekturmuster-Feld 52 bestimmt. Die helligkeitsadaptive Nachkorrektur, beispielsweise des
Fixed-Pattern-Noise (FPN) und/oder von radiometrischen Objektivinhomogenitäten, des vom CMOS-Bildsensor gelieferten Ur-Bildes wird in dieser ersten Variante durch Ermittlung von Korrekturmustern 54 durchgeführt. Als radiometrische Objektivinhomogenitäten wird insbesondere der Objektivrandabschattung ermittelt. Dazu müssen die Korrekturmuster 54 zuvor messtechnisch ermittelt werden. Die Korrekturmuster 54 werden für die von den
Bildelemente (Pixel) erzeugten Bildpunkten in Abhängigkeit einer jeweilig einfallenden Lichtmenge, also der Bestrahlungsstärke, bestimmt. Die Bestrahlungsstärke ist dabei als Leistung (Strahlungsleistung) pro Fläche definiert. Über den gesamten radiometrischen Arbeitsbereich des CMOS-Bildsensors werden Aufnahmen einer in der abgegebenen Strahlungsleistung (Lichtleistung) einstellbaren homogenen Referenzlichtquelle mit ausreichend feiner Abstufung der eingestellten Lichtleistung gemacht. Durch die Abstufung mit diskreten Schritten liegt eine Quantisierung der abgegebenen Strahlungsleistung der Lichtquelle vor. Zur Durchführung des Verfahrens ist eine ausreichende Homogenität der Lichtquelle sicherzustellen. Als Referenzlichtquelle wird im bevorzugten Ausführungsbeispiel eine Ulbrichtkugel verwendet. Sie ist ein Kugelphotometer mit einem Durchmesser von 1 bis 5
Meter. Die Ulbrichtkugel hat innen einen reinweißen, matten Anstrich. Dadurch wird das nach allen Seiten ausgestrahlte Licht einer in der Kugel befindlichen Lichtquelle so zerstreut und reflektiert, dass die Leuchtdichte auf der gesamten Kugeloberfläche konstant ist. Bei geeigneter Wahl der Quantisierungsstufen der Lichtleistung wird für jeden von einem Bildelement (Pixel) erzeugten Bildpunkt zu jedem Helligkeitswert der dazugehörige Korrektur-Offset 56 ermittelt.
Unter dem Korrektur-Offset 56 versteht man die Differenz zwischen dem tatsächlichen Wert des Bildpunktes und dem theoretisch bei der zugrundeliegenden Bestrahlungsstärke zu erwartenden Wert. Alle Korrektur-Offsets 56 der von den Pixeln des CMOS-Bildsensors erzeugten Bildpunkten bei einer Bestrahlungsstärke bzw. Lichtleistung der Lichtquelle bilden ein Korrekturmuster 54. Die ermittelten Korrekturmuster 54 für unterschiedliche Bestrahlungsstärken bilden das Korrekturmuster-Feld 52 (Kennfeld-Array). Im bevorzugten Ausführungsbeispiel wird für jeden quantisierten Ausgangswert des Bildpunktes eine entsprechende Bestrahlungsstärke gewählt. Bei einer Quantisierung des Bildpunktes mit 8-Bit sind damit 256 Bestrahlungsstärken notwendig. Das Ablaufdiagramm des Verfahrens zur
Ermittlung eines Korrekturmuster-Felds 52 nach Figur 3 beginnt beim Start 40. Im Punkt 42 des Ablaufdiagramms wird die Bestrahlungsstärke des Bildsensors durch Veränderung der Strahlungsleistung der Lichtquelle, im bevorzugten Ausführungsbeispiel der Ulbrichtkugel, eingestellt. Nach Aufnahme wenigstens eines Ur-Bildes durch den CMOS-Bildsensor wird im Punkt 44 die Ermittlung der Korrektur-Offsets 56 durchgeführt, die ein Korrekturmuster 54 bilden. Bei Aufnahme von wenigstens zwei Ur-Bildern wird die Ermittlung der Korrektur- Offsets 56 aus den zeitlich gemittelten Ur-Bildern durchgeführt. In anschließenden Punkt 46 wird das ermittelte Korrekturmuster 54 gespeichert. Im Punkt 48 wird die Abfrage durchgeführt, ob alle Korrekturmuster 54 zu jeder vorgesehenen Bestrahlungsstärke ermittelt wurde. Falls noch nicht alle Korrekturmuster 54 ermittelt wurden, wird zum Punkt 42 verzweigt und die Bestrahlungsstärke des Bildsensors entsprechend der vorgegebenen Quantisierung erhöht, andernfalls ist das Ablaufdiagramm mit dem Punkt 50 beendet. Das in Modul 22 in Figur 2 durch das beschriebene Verfahren ermittelte Korrekturmuster-Feld 52 wird als Korrekturdaten 30 dem Modul 24 zugeführt. In Modul 24 in Figur 2 wird zu jedem mit dem Bildsensorsystem aufgenommenen Ur-Bild 26 im Normalbetrieb in einem Zwischenschritt ein synthetisches Korrekturmuster aus dem Korrekturmuster-Feld 52 ermittelt, wobei das synthetische Korrekturmuster in jedem Bildpunkt an den Bildinhalt (Helligkeitswert des Bildpunktes) angepasst ist. Die helligkeitsadaptive Korrektur des in Figur 2 gelieferten Ur- Bildes 26 erfolgt durch Addition des synthetischen Korrekturmusters zum Ur-Bild 26, wobei als Ergebnis das korrigierte Bild 28 erzeugt wird. Das in Figur 3 beschriebene Verfahren wird algorithmisch vorteilhafter implementiert, indem im Korrekturmuster-Feld 52 nicht die Korrektur-Offsets 56 enthalten sind, sondern die bereits korrigierten Grauwerte (Korrekturwerte) 56 abgelegt werden. Der Korrekturwert ist der korrigierte Wert. Im Gegensatz dazu ist der Korrektur-Offset 56 die Differenz des ermittelten Grauwertes zum Korrekturwert. Damit stehen für alle Bildpunkte jeweils eine individuelle, helligkeitsabhängige Look-up-
Tabelle im Korrekturmuster-Feld 52 zur Verfügung, aus denen direkt ohne weitere Berechnungen das korrigierte Bild 28 in Modul 24 nach Figur 2 basierend auf dem Ur-Bild 26 im Normalbetrieb zusammengesetzt wird. Dies erfolgt, indem für jeden Bildpunkt aus dem Korrekturmuster-Feld 52 für jeden Bildpunkt für den ermittelten Grauwert im Ur-Bild ein Korrekturwert 56 aus dem Korrekturmuster-Feld 52 entnommen wird.
Figur 4 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer zweiten Variante. Aus dem ermittelten
Korrekturmuster-Feld 52 (Kennfeld-Array) nach Figur 3 werden für die von den Bildelemente (Pixel) erzeugten Bildpunkten die jeweiligen Parameter 64 einer geeigneten analytischen Beschreibung (mathematische Funktion) durch Parameterschätzung ermittelt und in einem Feld der Parameter 62 zusammengefasst. Damit stehen für das gesamte vom CMOS-Bildsensor gelieferte Ur-Bild die parametrisierten Kennlinien für jeden Bildpunkt in Form eines Feldes der
Parameter der Korrekturfunktionen 62 zur Verfügung, aus denen das korrigierte Bild berechnet wird. Hierbei wird vorausgesetzt, das die Form der Kennlinie der Beleuchtungsempfindlichkeit aller Pixel gleich ist, aber die Parametrisierung der Kennlinie Unterschiede aufweist. Im Punkt 58 des Ablaufdiagramms des Verfahrens zur Ermittlung von Korrekturdaten nach Figur 4 werden die Parameter der Korrekturfunktionen 64 für jeden Bildpunkt des Bildes aus dem
Korrekturmuster-Feld 52 berechnet. Dabei können sowohl die Korrektur-Offsets 56 und/oder die Korrekturwerte 56 verwendet werden. Die Struktur der Korrekturfunktionen wird entsprechend der Eigenschaften des Bildsensors, insbesondere dem Verlauf der Kennlinien der Beleuchtungsempfindlichkeit der Pixel des Bildsensors gewählt. Als Korrekturfunktionen werden im bevorzugten Ausführungsbeispiel beispielsweise entweder Polynome f(x) = anx" + an.
1xn"1 + ... + ajx + a0 oder logarithmische Funktionen g(x) = a log(x/b) verwendet. Die Parameter der Korrekturfunktionen 64 werden durch den Einsatz von Parameterschätzverfahren, wie die Methode der kleinsten Quadrate oder robuste Schätzverfahren ermittelt. Im bevorzugten Ausführungsbeispiel wird in einem numerischen Verfahren mit der Methode der kleinsten Quadrate für jeden Bildpunkt eine Ausgleichsfunktion durch die ermittelten Messwerte, also die
Korrektur-Offsets 56 oder die Korrekturwerte 56, berechnet. Die Korrekturfunktionen werden durch die Parameter der Korrekturfunktionen 64 beschrieben. Die Korrekturfunktion für einen Bildpunkt ist eine Funktion des Korrekturwertes von dem ermittelten Grauwert im Ur-Bild. Im anschließenden Punkt 60 werden die Parameter der Korrekturfunktionen 64 zum Feld der Parameter 62 zusammengefasst und gespeichert. Das in Modul 22 in Figur 2 durch das beschriebene Verfahren ermittelte Feld der Parameter 62 wird als Korrekturdaten 30 dem Modul 24 zugeführt. In Modul 24 in Figur 2 wird zu jedem mit dem Bildsensorsystem aufgenommenen Ur-Bild 26 im Normalbetrieb mittels des Feldes der Parameter 62 das korrigierte Bild 28 berechnet. Hierzu wird nach Figur 2 aus dem ermittelten Grauwert eines Bildpunktes des Ur- Bildes 26 mittels der Korrekturfunktion eines Bildpunktes der korrigierte Grauwert berechnet. Das korrigierte Bild 28 in Figur 2 setzt sich aus den so ermittelten korrigierten Grauwerten zusammen. In einer Variante des Verfahrens nach Figur 4 wird ebenfalls das Korrekturmuster- Feld (Kennfeld-Array) 52 für geeignet ausgewählte Lichtleistungseinstellungen (Stützstellen des Kennfeldes) aufgenommen. Die Korrekturfunktionen bzw. die Parameter der Korrekturfunktionen 64 werden durch Interpolation aus zwei oder mehreren Stützstellen berechnet. Dabei wird die Interpolation für jeden einzelne von dem Bildelement (Pixel) erzeugten Bildpunkt entsprechend seinem Helligkeitswert aus den ihm zugeordneten Stützstellen durchgeführt.
Figur 5 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im bevorzugten Ausführungsbeispiel in einer dritten Variante. Als Korrekturdaten wird ein synthetisches Korrekturmuster 78 bestimmt. Das synthetische Korrekturmuster 78 zur adaptiven Nachkorrektur des aktuellen Kamerabildes wird aus der Sequenz von N zeitlich zurückliegenden Kamerabildern 66 berechnet. Das Zeitverhalten des synthetischen
Korrekturmusters 78 kann durch die Anzahl und Gewichtung der zur Bestimmung des synthetischen Korrekturmusters 78 berücksichtigten Bilder 68, 69, 70, 71, 72 beeinflusst werden. Unter dem Zeitverhalten des synthetischen Korrekturmusters versteht man die Dynamik der Adaption an die aktuell aufgenommene Szene. Unter der Annahme, dass die Länge N der Bildsequenz 66 genügend groß ist und eine ausreichend große Veränderung der
Bildinhalte gegeben ist, wird das synthetische Korrekturmuster 78 im bevorzugten Ausführungsbeispiel wie nachfolgend erläutert bestimmt. Eine ausreichend große Veränderung der Bildinhalte liegt beispielsweise dann vor, wenn eine Objektbewegung und/oder eine Kamerabewegung stattfindet. Zunächst wird ein gleitenden Mittelwert, eine zeitliche Mittelung, über N zurückliegende Bilder 68, 69, 70, 71, 72 der Bildsequenz 66 im Punkt 74 berechnet.
Alternativ werden in einer Variante anstelle des gleitenden Mittelwertes beliebige Tiefpassfilter (zeitlicher Tiefpass) 74 zur zeitlichen Filterung der Bildsequenz 66 eingesetzt. Wird von dem Ergebnisbild der zeitlichen Tiefpassfilterung der räumliche Mittelwert im Punkt 76 subtrahiert, so erhält man das synthetische Korrekturmuster 78. Alternativ ist auch hier eine Tiefpassfilterung des Ergebnisbildes mit einem beliebigen Tiefpass (örtlicher Tiefpass) 76 möglich. Das in Modul 22 in Figur 2 durch das beschriebene Verfahren ermittelte synthetische Korrekturmuster 78 wird als Korrekturdaten 30 dem Modul 24 zugeführt. Die helligkeitsadaptive Korrektur des in Figur 2 gelieferten Ur-Bildes 26 erfolgt durch Addition des synthetischen Korrekturmusters 78 zum Ur-Bild 26, wobei als Ergebnis das korrigierte Bild 28 erzeugt wird. Dabei wird sowohl die Bildung des synthetischen Korrekturmusters 78 in Modul 22 in Figur 2 als auch die Erzeugung des korrigierten Bildes 28 in Modul 24 im Normalbetrieb des Bildsensorsystems durchgeführt. In einer Variante des Verfahrens wird das Ergebnisbild der zeitlichen Tiefpass-Filterung mit einem geeigneten räumlichen Hochpass gefiltert, anstatt eine räumlichen Tiefpassfilterung mit anschließender Subtraktion des Ergebnisbildes der zeitlichen
Filterung durchzuführen. Die bei Verletzung der oben getroffenen Annahme, also eine ausreichend große Bildsequenz 66 und ausreichend große Veränderungen der Bildinhalte, auftretenden Bildartefakte werden durch geeignete Wahl der Filter, der Bildsequenzlänge N und durch Einbringen von Vorwissen beseitigt oder weitestgehend kompensiert. In einer weiteren Variante werden die ermittelten synthetischen Korrekturmuster 78 gespeichert und durch
Auswertung vieler zeitlich zurückliegender und gespeicherter synthetischer Korrekturmuster 78 ein Korrekturmuster-Feld 52 entsprechend Figur 3 bestimmt. Das Korrekturmuster-Feld 52 nach Figur 3 enthält Korrektur-Offsets oder Korrekturwerte. Das ermittelte Korrekturmuster-Feld wird durch die Verarbeitung weiterer Ur-Bilder dynamisch verändert. Die weitere Verarbeitung des Korrekturmuster-Felds 52 erfolgt entsprechend der oben beschriebenen Variante nach Figur
3.
Das beschriebene Verfahren und das Bildsensorsystem sind nicht beschränkt auf die Verwendung eines 8-Bit-CMOS-Bildsensors bei Anwendungen in Kraftfahrzeugen. Vielmehr ist es insbesondere möglich andere CMOS-Bildsensoren und/oder CCD-Bildsensoren zu verwenden. Auch die Verwendung von Zeilen-Bildsensoren ist in einer Variante des Verfahrens und des Bildsensorsystems möglich. Daneben können die Bildsensoren als schwarz/weiß- Bildsensoren oder Farb-Bildsensoren ausgeführt sein. Alle beschriebenen Bildsensoren können dabei eine beliebige Grauwertauflösung und/oder Farbauflösung haben, die sich von dem im bevorzugten Ausführungsbeispiel verwendeten 8-Bit-Bildsensor unterscheiden. Insbesondere ist die Verwendung von CMOS-Bildsensoren mit einer Auflösung von 10-Bit möglich. Darüber hinaus sind das Verfahren und das Bildsensorsystem auch zur Verwendung von analogen Bildsensoren geeignet, die keine diskreten Bildpunkte und/oder keine Quantisierung des Ausgangswertes aufweisen. Bei der Durchführung des beschriebenen Verfahrens bei Bildsensoren ohne diskrete Bildpunkte werden anstatt der Bildpunkte Bereiche des Bildes verwendet, die durch Mittelwertbildung als Bildpunkte weiterverarbeitet werden. Bei analogen Bildsensoren ohne Quantisierung des Ausgangssignals wird das Ausgangssignal in einer Vorverarbeitung quantisiert und entsprechend dem oben beschriebenen Verfahren verarbeitet. In einer weiteren Variante werden wenigstens zwei Bildsensoren im Bildsensorsystem verwendet, wobei die Bildsensoren im wesentlichen dieselbe Szene aufnehmen, insbesondere, dass das Bildsensorsystem eine Stereokamera ist.
In einer Variante des beschriebenen Verfahrens und des Bildsensorsystems wird wenigstens ein Teil des Ur-Bildes beleuchtungsabhängig korrigiert. Insbesondere ist es denkbar lediglich die
Randbereiche eines Ur-Bildes zu korrigieren und/oder eine Korrektur lediglich bei sehr großer und/oder sehr geringer Beleuchtung durchzuführen. Dies führt zu einer Reduzierung der benötigten Rechenleistung der Auswerteeinheit.
Eine Variante des beschriebenen Verfahrens und des Bildsensorsystems sieht vor, mehrere
Bildpunkte gemeinsam als einen Teilbereich zu verarbeiten. Dies ist möglich, wenn die zugrundeliegenden Pixel der Bildpunkte ähnliche Eigenschaften aufweisen und damit gemeinsam als ein Teilbereich behandelt werden. Dabei werden für einen Teilbereich die Korrekturwerte oder die Korrektur-Offsets oder die Korrekturfunktion berechnet und die Berechnung für jeden Bildpunkt des Teilbereichs mit diesen Werten durchgeführt. Der notwendige Rechenleistungsbedarf der Auswerteeinheit zur Durchführung des Verfahrens wird dadurch vermindert. Die Korrektur der Ungleichmäßigkeiten eines Bildes kann dabei nach Bildpunkten oder Teilbereichen erfolgen, oder auch gemeinsam durchgeführt werden.
In einer weiteren Variante des beschriebenen Verfahrens und des Bildsensorsystems werden die vorstehenden Varianten kombiniert, indem beispielsweise für unterschiedliche Teile, also Bereiche, des Ur-Bildes verschiedenen Varianten des Verfahrens angewendet werden. Insbesondere ist es möglich je nach Beleuchtung unterschiedliche Varianten der Verfahren anzuwenden.

Claims

Ansprüche
1. Verfahren zur Korrektur von Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht, dadurch gekennzeichnet, dass die Ungleichmäßigkeiten des Bildes des Bildsensorsystems beleuchtungsabhängig korrigiert werden, insbesondere dass
Ungleichmäßigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes beleuchtungsabhängig korrigiert werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des
Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes beleuchtungsabhängig korrigiert werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens eine weitere
Ungleichmäßigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems, insbesondere Objektivinhomogenitäten, korrigiert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für wenigstens einen Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes wenigstens ein beleuchtungsabhängiger Korrektur-Offset und/oder wenigstens ein beleuchtungsabhängiger Korrekturwert und/oder wenigstens eine beleuchtungsabhängige Korrekturfunktion ermittelt werden und der Korrektur-Offset und/oder der Korrekturwert und/oder die Korrekturfunktion zur Korrektur von Ungleichmäßigkeiten des Bildes des Bildsensorsystems verwendet werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems und deren
Korrektur im Betrieb des Bildsensorsystems erfolgt, wobei wenigstens ein Bild einer Sequenz von Bildern im Betrieb des Bildsensorsystems verarbeitet wird.
6. Bildsensorsystem mit wenigstens einem Bildsensor, dadurch gekennzeichnet, dass das Bildsensorsystem Mittel aufweist, um Ungleichmäßigkeiten wenigstens eines Teils wenigstens eines Bildes des Bildsensorsystems beleuchtungsabhängig zu korrigieren, insbesondere dass das Bildsensorsystem Mittel aufweist, um Ungleichmäßigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes beleuchtungsabhängig zu korrigieren.
7. Bildsensorsystem nach Anspruch 6, dadurch gekennzeichnet, dass das Bildsensorsystem Mittel aufweist, welche die beleuchtungsabhängig Korrektur von Ungleichmäßigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten Beleuchtungsmaßes ermöglichen.
8. Bildsensorsystem nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass das Bildsensorsystem Mittel aufweist, um das Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens eine weitere Ungleichmäßigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems, insbesondere Objektivinhomogenitäten, zu korrigieren.
9. Bildsensorsystem nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass das Bildsensorsystem Mittel aufweist, welche die Korrektur von Ungleichmäßigkeiten des Bildes des Bildsensorsystems durch Ermittlung wenigstens eines beleuchtungsabhängigen Korrektur-Offsets und/oder wenigstens eines beleuchtungsabhängigen Korrekturwerts und/oder wenigstens einer beleuchtungsabhängigen Korrekturfunktion wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes ermöglichen.
10. Bildsensorsystem nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass das Bildsensorsystem Mittel aufweist, welche eine Ermittlung von Ungleichmäßigkeiten des Bildes des Bildsensorsystems und deren Korrektur im Betrieb des Bildsensorsystems ermöglicht, wobei wenigstens ein Bild einer Sequenz von Bildern im Betrieb des Bildsensorsystems verarbeitet wird.
1 1. Bildsensorsystem nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass der wenigstens eine Bildsensor ein CMOS-Bildsensor ist, wobei der CMOS-Bildsensor eine stetig monotone Kennlinie aufweist, insbesondere dass der CMOS-Bildsensor eine logarithmische Kennlinie hat.
12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von jedem beliebigen der Ansprüche 1 bis 5 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
PCT/DE2003/002101 2002-08-27 2003-06-24 Verfahren zur korrektur von ungleichmässigkeiten eines bildes eines bildsensorsystems WO2004021696A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10239994A DE10239994B4 (de) 2002-08-27 2002-08-27 Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildsensorsystems
DE10239994.8 2002-08-27

Publications (1)

Publication Number Publication Date
WO2004021696A1 true WO2004021696A1 (de) 2004-03-11

Family

ID=31724203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/002101 WO2004021696A1 (de) 2002-08-27 2003-06-24 Verfahren zur korrektur von ungleichmässigkeiten eines bildes eines bildsensorsystems

Country Status (2)

Country Link
DE (1) DE10239994B4 (de)
WO (1) WO2004021696A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006040662A3 (en) * 2004-10-14 2006-12-28 Nissan Motor Image processing device and method
WO2008074629A1 (de) * 2006-12-19 2008-06-26 Continental Automotive Gmbh Bestimmen des fixed pattern noise während des kamerabetriebs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4305251C1 (de) * 1993-02-20 1994-05-05 Eltro Gmbh Verfahren und Schaltungsanordnung zum Verringern der Nichtuniformität von Signalantworten bei einzelnen IR-Detektorelementen
WO1997048225A1 (en) * 1996-06-14 1997-12-18 Simage Oy Calibration method and system for imaging devices
WO2002082804A1 (de) * 2001-04-03 2002-10-17 Institut Für Mikroelektronik Stuttgart Verfahren und vorrichtung zur fpn-korrektur von bildsignalen

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2149605B (en) * 1983-11-04 1987-06-10 Marconi Avionics Image processing
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
JP2003514288A (ja) * 1999-10-29 2003-04-15 クロス マッチ テクノロジーズ， インコーポレイテッド オンボードの画像の正規化データ記憶装置を備えた手持ち式の指紋スキャナ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4305251C1 (de) * 1993-02-20 1994-05-05 Eltro Gmbh Verfahren und Schaltungsanordnung zum Verringern der Nichtuniformität von Signalantworten bei einzelnen IR-Detektorelementen
WO1997048225A1 (en) * 1996-06-14 1997-12-18 Simage Oy Calibration method and system for imaging devices
WO2002082804A1 (de) * 2001-04-03 2002-10-17 Institut Für Mikroelektronik Stuttgart Verfahren und vorrichtung zur fpn-korrektur von bildsignalen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAVADIAS S ET AL: "A LOGARITHMIC RESPONSE CMOS IMAGE SENSOR WITH ON-CHIP CALIBRATION", IEEE JOURNAL OF SOLID-STATE CIRCUITS, IEEE INC. NEW YORK, US, vol. 35, no. 8, August 2000 (2000-08-01), pages 1146 - 1152, XP001075115, ISSN: 0018-9200 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006040662A3 (en) * 2004-10-14 2006-12-28 Nissan Motor Image processing device and method
US7865029B2 (en) 2004-10-14 2011-01-04 Nissan Motor Co., Ltd. Image processing device and method
EP2501124A3 (de) * 2004-10-14 2016-12-21 Nissan Motor Co., Ltd Vorrichtung und Verfahren zur Bildverarbeitung
WO2008074629A1 (de) * 2006-12-19 2008-06-26 Continental Automotive Gmbh Bestimmen des fixed pattern noise während des kamerabetriebs
US8368780B2 (en) 2006-12-19 2013-02-05 Continental Automotive Gmbh Determination of the fixed pattern noise during the operation of a camera

Also Published As

Publication number Publication date
DE10239994B4 (de) 2006-12-14
DE10239994A1 (de) 2004-03-18

Similar Documents

Publication Publication Date Title
DE60304094T2 (de) Verfahren und System zum Kalibrieren einer Abtastvorrichtung
DE68927389T2 (de) Videospezialeffekte
DE69634867T2 (de) Bildverarbeitungsgerät und -verfahren
DE3535753C1 (de) Signalprozessor
DE112006003593B4 (de) Bildsignalverarbeitungsverfahren und Bildsignalverarbeitungsvorrichtung
DE602005005553T2 (de) Abbildungsvorrichtung und Abbildungsverfahren
DE20019915U1 (de) Dynamische Erkennung und Korrektur von anomalen Pixeln
DE102013115000A1 (de) Blendungsminderung für dynamischen Rückspiegel
DE102019114533A1 (de) Erkennung von visible-light-communication-quellen über einen hohen dynamikbereich
DE102006011702A1 (de) System und Verfahren zum Subtrahieren von Dunkelrauschen von einem Bild unter Verwendung eines geschätzten Dunkelrauschskalierungsfaktors
DE10202163A1 (de) Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge
EP3089106B1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE102007048097A1 (de) Vorrichtung und Verfahren zum automatischen Regeln des Weißabgleichs
DE102006050864B4 (de) Verfahren und Vorrichtung zur Korrektur fehlerhafter Pixel für eine bildgebende Festkörpervorrichtung
DE60309545T2 (de) Verfahren zum Ausgleichen von Streulichteffekten in einem Digitalbild
DE102014118314A1 (de) Verfahren zum Anpassen einer Helligkeit eines Hochkontrastbilds, Kamerasystem und Kraftfahrzeug
DE10239994B4 (de) Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildsensorsystems
EP1588554B1 (de) Verfahren zur einstellung eines bildsensors
DE10121811A1 (de) Fehlererkennung und -korrektur in Referenzstreifen für die Kalibrierung von Scannvorrichtungen
DE102017100529A1 (de) Verfahren zum Betreiben einer Kamera abhängig von einem aktuellen Zustand eines Umgebungsbereichs der Kamera, Kamera und Kraftfahrzeug
EP1343311A2 (de) Verfahren und Vorrichtung zur Kompensation defekter Pixel eines CCD-Sensors
DE102018207386B3 (de) Verfahren und Bilderzeugungssystem zur Erzeugung eines Anzeigebildes in einem Kraftfahrzeug
DE20119098U1 (de) Vorrichtung zum Aufnehmen von digitalen Bildern mit zwei gleichzeitig angesteuerten elektronischen Bildsensoren
DE102018113281A1 (de) Verfahren zur Bildharmonisierung, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase