DE202016008887U1 - Image processing unit and computer program for the detection and correction of image errors - Google Patents
Image processing unit and computer program for the detection and correction of image errors Download PDFInfo
- Publication number
- DE202016008887U1 DE202016008887U1 DE202016008887.5U DE202016008887U DE202016008887U1 DE 202016008887 U1 DE202016008887 U1 DE 202016008887U1 DE 202016008887 U DE202016008887 U DE 202016008887U DE 202016008887 U1 DE202016008887 U1 DE 202016008887U1
- Authority
- DE
- Germany
- Prior art keywords
- image
- comparison
- data
- exposure
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 154
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000004590 computer program Methods 0.000 title claims description 46
- 238000001514 detection method Methods 0.000 title claims description 23
- 230000006870 function Effects 0.000 claims abstract description 27
- 230000007547 defect Effects 0.000 claims abstract 4
- 230000033001 locomotion Effects 0.000 claims description 33
- 206010034960 Photophobia Diseases 0.000 claims description 16
- 230000010339 dilation Effects 0.000 claims description 15
- 208000013469 light sensitivity Diseases 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 10
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000011161 development Methods 0.000 description 23
- 230000008901 benefit Effects 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
Bildverarbeitungseinheit (13) zur Erkennung und Korrektur von durch flackernde Lichtinformationen (1,2) hervorgerufenen Bildfehlern in von einem Bildsensor (10) erzeugten Bildern (Si,VSi) mit einem Datenspeicher (12) zum Speichern von Bilddaten und einer Datenverarbeitungseinheit (11), wobei die Datenverarbeitungseinheit (11)
- zum Einlesen einer Belichtungsreihe, die mindestens ein Referenzbild (Li) und mindestens ein Vergleichsbild (Si,VSi) umfasst, wobei die Bilder der Belichtungsreihe dieselbe Szene (4) zeigen und die Belichtungszeit des Referenzbildes (Li) länger ist als die Belichtungszeit des Vergleichsbildes (Si,VSi),
- und zum Ermitteln örtlicher Abweichungen der Bilddaten des Vergleichsbildes (Si,VSi) von den Bilddaten des Referenzbildes (Li) durch örtliches Vergleichen der Bilddaten des Vergleichsbildes (Si,VSi) mit den Bilddaten des Referenzbildes (Li),
- und zum Generieren einer Fehlermaske (E(Si),E(VSi)) in Abhängigkeit der ermittelten örtlichen Abweichungen der Bilddaten, wobei die Fehlermaske (E(Si), E(VSi)) die Fehlerpositionen von Bildfehlern innerhalb des Vergleichsbildes (Si,VSi) anzeigt,
- und zum Ermitteln örtlicher Korrekturwerte für die Bilddaten des Vergleichsbildes (Si,VSi), wobei jeder örtliche Korrekturwert einer Korrekturposition innerhalb des Vergleichsbildes (Si,VSi) zugeordnet ist und zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes (Si,VSi) eine Schätzung angewendet wird, die auf den Bilddaten einer in einem Datenspeicher (12, 121, 122) vorgehaltenen Vergleichsbildzeitreihe (S'i N,...,S'i) beruht, wobei die Vergleichsbildzeitreihe (S'i N,...,S'i) eine Anzahl gespeicherter Bilder (S'i N,...,S'i 1) umfasst, die mit der gleichen Belichtungszeit wie das Vergleichsbild (Si) zu anderen Zeitpunkten als das Vergleichsbild (Si) von dem Bildsensor (10) erzeugt wurden,
- und zum Erzeugen eines korrigierten Vergleichsbildes (Si,cor,VSi,cor) durch Einfügen der örtlichen Korrekturwerte an den durch die Fehlermaske (E(Si),E(VSi)) angezeigten Fehlerpositionen des Vergleichsbildes (Si,VSi) durch Zugriff auf in dem Datenspeicher (12) gespeicherte Bilddaten eingerichtet ist.
Image processing unit (13) for recognizing and correcting image errors caused by flickering light information (1,2) in images (S i , VS i ) generated by an image sensor (10) with a data memory (12) for storing image data and a data processing unit (11 ), the data processing unit (11)
- for reading in an exposure series which comprises at least one reference image (L i ) and at least one comparison image (S i , VS i ), the images of the exposure series showing the same scene (4) and the exposure time of the reference image (L i ) being longer than the exposure time of the comparison image (S i , VS i ),
and for determining local deviations of the image data of the comparison image (S i , VS i ) from the image data of the reference image (L i ) by locally comparing the image data of the comparison image (S i , VS i ) with the image data of the reference image (L i ),
- and for generating an error mask (E (Si), E (VSi)) as a function of the determined local deviations of the image data, wherein the error filter (E (S i), E (VS i)), the defect positions of image defects within the comparison image ( S i , VS i ) indicates
- and for determining local correction values for the image data of the comparison image (S i , VS i ), each local correction value being assigned to a correction position within the comparison image (S i , VS i ) and for determining the local correction values for the image data of the comparison image (Si , VSi) an estimate is applied which is based on the image data of a comparison image time series (S'i N, ..., S'i) held in a data memory (12, 121, 122), the comparison image time series (S'i N, ..., S'i) comprises a number of stored images (S'i N, ..., S'i 1), which have the same exposure time as that Comparison image (Si) at times other than the comparison image (Si) were generated by the image sensor (10),
- And for generating a corrected comparison image (Si, cor, VSi, cor) by inserting the local correction values at the error positions of the comparison image (S i , VS i ) indicated by the error mask (E (Si), E (VSi)) by access on image data stored in the data memory (12).
Description
Die Erfindung betrifft eine Bildverarbeitungseinheit und ein Computerprogramm zur Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern in von einem Bildsensor erzeugten Bildern.The invention relates to an image processing unit and a computer program for recognizing and correcting image errors caused by flickering light information in images generated by an image sensor.
Eine Vielzahl von Lichtquellen wird heute gepulst betrieben. Sofern die Lichtquelle eingeschaltet ist, wechselt die Lichtquelle dabei mit hoher Frequenz von einem An-Zustand in einen Aus-Zustand oder die Helligkeit der Lichtquelle ändert sich mit hoher Frequenz. Solche gepulsten Lichtquellen können insbesondere gepulste Leuchtdioden (light-emitting diodes, kurz LEDs) sein, die in den letzten Jahren eine überaus weite Verbreitung in vielen Bereichen gefunden haben. Für das menschliche Auge ist das mit dem gepulsten Betrieb der Lichtquelle einhergehende Flackern, das auch als Flicker bezeichnet wird, aufgrund seiner hohen Frequenz nicht sichtbar. Es entsteht daher, sofern die Lichtquelle eingeschaltet ist, für den menschlichen Betrachter der gewünschte Eindruck, dass die Lichtquelle kontinuierlich eingeschaltet ist.A large number of light sources are operated in pulsed mode today. If the light source is switched on, the light source changes from an on state to an off state at high frequency or the brightness of the light source changes at high frequency. Such pulsed light sources can in particular be pulsed light-emitting diodes (LEDs for short), which have become extremely widespread in many areas in recent years. Due to its high frequency, the flickering associated with the pulsed operation of the light source, which is also referred to as flicker, is not visible to the human eye. If the light source is switched on, the human viewer therefore has the desired impression that the light source is continuously switched on.
Zur Erfassung und Aufzeichnung von Bildern oder Bildsequenzen, die von LEDs oder anderen gepulsten Lichtquellen emittiertes Licht beinhalten, werden üblicherweise Bildsensoren verwendet, deren Abtastfrequenzen deutlich kleiner sind als die üblicherweise eingesetzten Pulsfrequenzen der gepulsten Lichtquellen. Letztere können ein Vielfaches der Abtastfrequenz betragen. Darüber hinaus sind die Belichtungszeiten der Bildsensoren in der Regel deutlich kürzer als die Periodendauern der gepulsten Lichtquellen. Dies gilt insbesondere im Automotive-Bereich, wo eine Ausrüstung der Fahrzeuge mit einfachen und kostengünstigen Bildsensoren gewünscht ist.For the acquisition and recording of images or image sequences which contain light emitted by LEDs or other pulsed light sources, image sensors are usually used, the scanning frequencies of which are significantly lower than the pulse frequencies of the pulsed light sources which are usually used. The latter can be a multiple of the sampling frequency. In addition, the exposure times of the image sensors are generally significantly shorter than the period of the pulsed light sources. This is particularly true in the automotive sector, where it is desired to equip vehicles with simple and inexpensive image sensors.
Dadurch kann es dazu kommen, dass der Bildsensor ein Bild erfasst, das den Aus-Zustand der gepulsten Lichtquelle zeigt, obwohl die Lichtquelle eingeschaltet ist. Bei der Erfassung von Bildsequenzen kann es dazu kommen, dass der Bildsensor lange Sequenzen von Bildern erfasst, die ausschließlich den Aus-Zustand der Lichtquelle zeigen, obwohl diese eingeschaltet ist. Die Wiedergabe der vom Bildsensor aufgenommenen Bildsequenz erzeugt daher den Eindruck, dass die aufgenommene Lichtquelle ausgeschaltet ist, obwohl sie tatsächlich eingeschaltet ist. Die erfassten Bilder bzw. Bildsequenzen enthalten somit Bildfehler, die durch flackernde Lichtinformationen hervorgerufen werden.This can result in the image sensor capturing an image which shows the off state of the pulsed light source even though the light source is switched on. When capturing image sequences, it can happen that the image sensor captures long sequences of images that only show the off state of the light source, even though it is switched on. The reproduction of the image sequence recorded by the image sensor therefore creates the impression that the recorded light source is switched off, although it is actually switched on. The captured images or image sequences thus contain image errors which are caused by flickering light information.
Unter einer flackernden Lichtinformation im Sinne der vorliegenden Erfindung wird verstanden, dass die Lichtquelle periodisch ihre Helligkeit verändert, wie dies bei der Ansteuerung von LED-Lichtquellen oder anderen gepulsten Lichtquellen der Fall ist. Ein solches Flackern der Lichtquelle bzw. der von ihr emittierten Lichtinformation wird auch als Flicker bezeichnet. Die Begriffe Flackern und Flicker werden für die Zwecke dieser Anmeldung daher synonym verwendet.Flickering light information in the sense of the present invention means that the light source periodically changes its brightness, as is the case when driving LED light sources or other pulsed light sources. Such flickering of the light source or the light information it emits is also referred to as a flicker. The terms flicker and flicker are therefore used synonymously for the purposes of this application.
Der Begriff Belichtungszeit wird für die Zwecke der vorliegenden Anmeldung synonym zu dem insbesondere im Bereich der Halbleiter-Bildsensoren üblichen Begriff Integrationszeit verwendet.For the purposes of the present application, the term exposure time is used synonymously with the term integration time, which is customary in particular in the field of semiconductor image sensors.
Von besonderer praktischer Bedeutung ist die zuvor dargestellte Problematik bei der Erfassung und Aufzeichnung von Bildern oder Bildsequenzen, die von gepulsten LEDs emittiertes Licht enthalten. Da auch Brems- und Blinklichter aktueller Fahrzeuge mit gepulsten LEDs betrieben werden, können Bildfehler der zuvor beschriebenen Art beim Einsatz von Bildsensoren im Automotive-Bereich inakzeptable Sicherheitsrisiken hervorrufen. Dies ist insbesondere kritisch, wenn eine elektronische Kamera die Funktion des Rückspiegels in einem Kraftfahrzeug übernimmt und das aufgezeichnete Bild nach der Bildverarbeitung auf einem Display angezeigt wird. Dann kann es beispielsweise dazu kommen, dass z.B. ein Blinklicht eines Fahrzeuges in der Umgebung nicht oder nicht rechtzeitig wiedergegeben wird.The problem described above is of particular practical importance in the acquisition and recording of images or image sequences which contain light emitted by pulsed LEDs. Since the brake and flashing lights of current vehicles are also operated with pulsed LEDs, image errors of the type described above can cause unacceptable safety risks when using image sensors in the automotive sector. This is particularly critical if an electronic camera takes over the function of the rearview mirror in a motor vehicle and the recorded image is shown on a display after the image processing. Then, for example, it can happen that e.g. a flashing light of a vehicle in the area is not reproduced or is not reproduced in time.
Die Vermeidung der Entstehung von Bildfehlern, die durch gepulste LEDs hervorgerufen werden, wird dadurch erschwert, dass marktübliche gepulste LEDs mit unterschiedlichsten Pulsfrequenzen betrieben werden. Insbesondere im Umfeld eines Fahrzeugs sind heute gepulste Lichtquellen eines breiten Spektrums unterschiedlichster Pulsfrequenzen zu beobachten, wobei sämtliche Lichtquellen innerhalb eines Bildes vom Bildsensor erfasst werden müssen. Eine Synchronisierung der Abtastintervalle des Bildsensors mit den Einschaltphasen der LEDs kommt zur Lösung des Problems daher nicht in Betracht.The avoidance of image errors caused by pulsed LEDs is made more difficult by the fact that commercially available pulsed LEDs are operated with a wide variety of pulse frequencies. In particular in the vicinity of a vehicle, pulsed light sources of a wide spectrum of different pulse frequencies can be observed today, all light sources within an image having to be captured by the image sensor. A synchronization of the scanning intervals of the image sensor with the switch-on phases of the LEDs is therefore out of the question for solving the problem.
Aus
Das aus
Aus
Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, eine verbesserte Möglichkeit zur Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern zu schaffen, die für Bilder mit kurzer Belichtungszeit geeignet ist und eine Erkennung und Korrektur von Bildfehlern erlaubt, die durch gepulste LEDs verursacht werden.Proceeding from this, it is an object of the present invention to provide an improved possibility for detecting and correcting image errors caused by flickering light information, which is suitable for images with a short exposure time and which permits detection and correction of image errors caused by pulsed LEDs.
Die Aufgabe wird durch die Bildverarbeitungseinheit mit den Merkmalen des Anspruchs 1 und das Computerprogramm mit den Merkmalen des Anspruchs 17 gelöst. Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.The object is achieved by the image processing unit with the features of
Zur Erkennung und Korrektur von Bildfehlern, die durch flackernde Lichtinformationen hervorgerufen werden, in von einem Bildsensor erzeugten Bildern wird eine Bildverarbeitungseinheit mit einem Datenspeicher zum Speichern von Bilddaten und einer Datenverarbeitungseinheit vorgeschlagen. Des Weiteren wird zu diesem Zweck ein Computerprogramm mit Programmcodemitteln vorgeschlagen.To detect and correct image errors, which are caused by flickering light information, in images generated by an image sensor, an image processing unit with a data memory for storing image data and a data processing unit is proposed. A computer program with program code means is also proposed for this purpose.
Die Datenverarbeitungseinheit ist dazu eingerichtet, eine Belichtungsreihe einzulesen, die mindestens ein Referenzbild und mindestens ein Vergleichsbild, d. h. mindestens zwei Bilder, umfasst.The data processing unit is set up to read in an exposure series which contains at least one reference image and at least one comparison image, i. H. at least two pictures.
In entsprechender Weise sind die Programmcodemittel zum Einlesen der Belichtungsreihe eingerichtet, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird.In a corresponding manner, the program code means are set up for reading in the exposure series when the computer program is executed with a data processing unit.
Erfindungsgemäß ist dabei die Belichtungszeit, mit der das mindestens eine Referenzbild aufgenommen wurde, länger als die Belichtungszeit, mit der das mindestens eine Vergleichsbild aufgenommen wurde, d. h. die Belichtungszeit des Referenzbildes ist länger als die Belichtungszeit des Vergleichsbildes.According to the invention, the exposure time with which the at least one reference image was recorded is longer than the exposure time with which the at least one comparison image was recorded, i. H. the exposure time of the reference image is longer than the exposure time of the comparison image.
Die Belichtungsreihe kann beispielsweise von einem Bildsensor aufgenommen und in dem Datenspeicher zwischengespeichert werden. Ein solcher Bildsensor kann beispielsweise eine Videokamera, insbesondere eine digitale Videokamera, eine andere Art von Kamera oder ein Bestandteil einer solchen Kamera sein.The exposure series can, for example, be recorded by an image sensor and temporarily stored in the data memory. Such an image sensor can be, for example, a video camera, in particular a digital video camera, another type of camera or a component of such a camera.
Erfindungsgemäß können insbesondere mehrere Vergleichsbilder eingelesen werden, welche mit unterschiedlichen Belichtungszeiten erzeugt worden sind, die jeweils kürzer sind als die Belichtungszeit des Referenzbildes. So ist es beispielsweise denkbar, dass die Belichtungszeit des Referenzbildes lang ist, während die Belichtungszeit eines Vergleichsbildes kurz ist und die Belichtungszeit eines weiteren Vergleichsbildes sehr kurz ist. Die Anzahl der Vergleichsbilder unterschiedlicher oder gleicher Belichtungszeit ist grundsätzlich unbegrenzt.According to the invention, in particular a plurality of comparison images can be read in, which were generated with different exposure times, which are each shorter than the exposure time of the reference image. For example, it is conceivable that the exposure time of the reference image is long, while the exposure time of a comparison image is short and the exposure time of another comparison image is very short. The number of comparison images of different or the same exposure time is fundamentally unlimited.
Erfindungsgemäß ist es notwendig, dass mindestens ein Referenzbild eingelesen wird, dessen Belichtungszeit länger ist als die Belichtungszeit des mindestens einen Vergleichsbildes. Das Bild der eingelesenen Belichtungsreihe, das mit der längsten Belichtungszeit erzeugt wurde, wobei diese Zeit länger ist als die Belichtungszeit mindestens eines weiteren Bildes, ist ein Referenzbild im Sinne der vorliegenden Erfindung. Das Bild der eingelesenen Belichtungsreihe, das mit der kürzesten Belichtungszeit erzeugt wurde, wobei diese Zeit kürzer ist als die Belichtungszeit mindestens eines weiteren Bildes, ist ein Vergleichsbild im Sinne der vorliegenden Erfindung.According to the invention, it is necessary for at least one reference image to be read in, the exposure time of which is longer than the exposure time of the at least one comparison image. The image of the read exposure series that was generated with the longest exposure time, this time being longer than the exposure time of at least one further image, is a reference image in the sense of the present invention. The image of the read exposure series that was generated with the shortest exposure time, this time being shorter than the exposure time of at least one further image, is a comparison image in the sense of the present invention.
Die Bilder der Belichtungsreihe zeigen erfindungsgemäß dieselbe Szene. Unter einer Szene wird dabei ein Ausschnitt der sichtbaren Umgebung des Bildsensors zu einem bestimmten Zeitpunkt verstanden. Unter derselben Szene wird ein identischer oder näherungsweise identischer Ausschnitt der sichtbaren Umgebung zu einem identischen oder näherungsweise identischem Zeitpunkt verstanden. According to the invention, the images of the exposure series show the same scene. A scene is understood to be a section of the visible surroundings of the image sensor at a specific point in time. The same scene is understood to mean an identical or approximately identical section of the visible environment at an identical or approximately identical point in time.
Die verschiedenen Bilder einer Belichtungsreihe können erfindungsgemäß entweder zeitgleich aufgenommen worden sein, beispielsweise mit Hilfe eines Split-Pixel-Sensors, oder sie können in sehr kurzen zeitlichen Abständen nacheinander aufgenommen worden sein.According to the invention, the different images of a series of exposures can either have been recorded simultaneously, for example with the aid of a split pixel sensor, or they can have been recorded in very short time intervals.
Die Datenverarbeitungseinheit ist des Weiteren erfindungsgemäß dazu eingerichtet, örtliche Abweichungen der Bilddaten des Vergleichsbildes von den Bilddaten des Referenzbildeszu ermitteln, indem die Bilddaten des Vergleichsbildes örtlich mit den Bilddaten des Referenzbildes verglichen werden. Unter örtlichen Abweichungen werden dabei Abweichungen an einer bestimmten Position des Bildes verstanden.The data processing unit is further configured according to the invention to determine local deviations of the image data of the comparison image from the image data of the reference image by locally comparing the image data of the comparison image with the image data of the reference image. Local deviations are understood to mean deviations at a specific position in the image.
In entsprechender Weise sind erfindungsgemäß die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, die örtliche Abweichungen der Bilddaten des Vergleichsbildes von den Bilddaten des Referenzbildes zu ermitteln, indem die Bilddaten des Vergleichsbildes örtlich mit den Bilddaten des Referenzbildes verglichen werden.Correspondingly, according to the invention, when the computer program is executed with a data processing unit, the program code means are set up to determine the local deviations of the image data of the comparison image from the image data of the reference image by comparing the image data of the comparison image locally with the image data of the reference image.
Unter örtlichem Vergleichen wird ein Vergleichen der Bilddaten an einer bestimmten Position des Bildes verstanden. Das örtliche Vergleichen und/oder die dadurch ermittelten örtlichen Abweichungen der Bilddaten können sich beispielsweise auf die Positionen einzelner Pixel im Bild beziehen, wenn einzelne Pixel verglichen werden. Hierdurch wird eine besonders hohe Genauigkeit erzielt. Es können aber auch größere Bereiche des Bildes, beispielsweise Bildblöcke, miteinander verglichen werden, wobei sich das örtliche Vergleichen und/oder die dadurch ermittelten örtlichen Abweichungen der Bilddaten in diesem Fall auf die Positionen von Bildblöcken im Bild beziehen. Hierdurch wird der mit dem Ermitteln der örtlichen Abweichungen verbundene Rechen- und Speicheraufwand verringert. Es können grundsätzlich auch ganze Bilder miteinander verglichen werden, wodurch der Rechen- und Speicheraufwand weiter verringert werden kann. Die örtlichen Abweichungen können somit beispielsweise in pixelgenauer, blockgenauer oder bildgenauer Auflösung ermittelt werden.Local comparison is understood to mean comparing the image data at a specific position of the image. The local comparison and / or the resulting local deviations of the image data can relate, for example, to the positions of individual pixels in the image when individual pixels are compared. In this way, a particularly high level of accuracy is achieved. However, larger areas of the image, for example image blocks, can also be compared with one another, the local comparison and / or the resulting local deviations of the image data in this case relating to the positions of image blocks in the image. This reduces the computing and storage effort associated with determining the local deviations. In principle, entire images can also be compared with one another, as a result of which the computing and storage effort can be further reduced. The local deviations can thus be determined, for example, in pixel-precise, block-precise or image-precise resolution.
Aufgrund der längeren Belichtungszeit des Referenzbildes weichen die Bilddaten des Referenzbildes grundsätzlich von den Bilddaten des Vergleichsbildes ab, obwohl beide Bilder dieselbe Szene zeigen. Insbesondere weist das Referenzbild in der Regel wegen seiner längeren Belichtungszeit im Vergleich zu dem Vergleichsbild eine größere Helligkeit auf. Um die Bilddaten der mit unterschiedlicher Belichtungszeit aufgenommenen Bilder zu vergleichen, kann eine Normierung der Bilddaten vorgenommen werden, die sich beispielsweise auf eine absolute Helligkeit und/oder eine bestimmte Belichtungszeit beziehen kann. Hierauf wird später noch näher eingegangen.Due to the longer exposure time of the reference image, the image data of the reference image fundamentally differ from the image data of the comparison image, although both images show the same scene. In particular, because of its longer exposure time, the reference image generally has a greater brightness than the comparison image. In order to compare the image data of the images taken with different exposure times, the image data can be normalized, which can relate, for example, to an absolute brightness and / or a specific exposure time. This will be discussed in more detail later.
Erfindungsgemäß wird durch das Ermitteln örtlicher Abweichungen anhand eines Vergleichs der mit unterschiedlicher Belichtungszeit aufgenommenen Bilder das Vorhandensein flackernder Lichtinformationen, d. h. das Vorhandensein von Flicker, erkannt. Die flackernden Lichtinformationen können insbesondere in Form von Licht vorliegen, das durch gepulste Lichtquellen, z. B. LEDs, emittiert wird. Die Wahrscheinlichkeit, dass ein aufgenommenes Bild den Aus-Zustand einer gepulsten Lichtquelle zeigt, obwohl die Lichtquelle eingeschaltet ist, verringert sich mit wachsender Belichtungszeit. Durch die längere Belichtungszeit des Referenzbildes kann daher erreicht werden, dass das Referenzbild zumindest teilweise den An-Zustand der gepulsten Lichtquelle zeigt, während das mit kürzerer Belichtungszeit aufgenommene Vergleichsbild den Aus-Zustand derselben gepulsten Lichtquelle zeigt. Anhand der dadurch hervorgerufenen örtlichen Abweichungen zwischen den Bilddaten des Referenzbildes und den Bilddaten des Vergleichsbildes werden erfindungsgemäß flackernde Lichtinformationen und dadurch hervorgerufene Bildfehler erkannt.According to the invention, by determining local deviations on the basis of a comparison of the images taken with different exposure times, the presence of flickering light information, i. H. the presence of flicker, recognized. The flickering light information can in particular be in the form of light which is generated by pulsed light sources, e.g. B. LEDs is emitted. The likelihood that a captured image shows the off state of a pulsed light source, even though the light source is switched on, decreases with increasing exposure time. The longer exposure time of the reference image can therefore result in the reference image at least partially showing the on state of the pulsed light source, while the comparison image recorded with a shorter exposure time shows the off state of the same pulsed light source. On the basis of the local deviations caused thereby between the image data of the reference image and the image data of the comparison image, flickering light information and image errors caused thereby are recognized.
Um flackernde Lichtinformationen und/oder dadurch hervorgerufene Bildfehler zuverlässig zu erkennen, kann die Belichtungszeit des mindestens einen Referenzbildes insbesondere wesentlich länger gewählt werden als die Belichtungszeit des mindestens einen Vergleichsbildes. Dadurch wird vorteilhaft erreicht, dass das mit längerer Belichtungszeit aufgenommene Referenzbild mit hinreichender Wahrscheinlichkeit zumindest teilweise den An-Zustand der gepulsten Lichtquelle zeigt, während das Vergleichsbild den Aus-Zustand derselben gepulsten Lichtquelle zeigt.In order to reliably detect flickering light information and / or image errors caused thereby, the exposure time of the at least one reference image can in particular be selected to be significantly longer than the exposure time of the at least one comparison image. In this way, it is advantageously achieved that the reference image recorded with a longer exposure time with a sufficient probability shows at least partially the on state of the pulsed light source, while the comparison image shows the off state of the same pulsed light source.
Um flackernde Lichtinformationen und/oder dadurch hervorgerufene Bildfehler zuverlässig zu erkennen, kann die Belichtungszeit des Referenzbildes vorteilhaft insbesondere so lang gewählt werden, dass der An-Zustand der eingeschalteten gepulsten Lichtquellen, z. B. eingeschalteter LEDs, mit hoher Wahrscheinlichkeit - - oder sogar in jedem Fall - vollständig oder zumindest teilweise in die Belichtungszeit fällt und somit durch das Referenzbild erfasst wird.In order to reliably detect flickering light information and / or image errors caused thereby, the exposure time of the reference image can advantageously be selected in particular so long that the on-state of the switched-on pulsed light sources, e.g. B. switched on LEDs, with high probability - - or even in any case - falls completely or at least partially in the exposure time and is thus detected by the reference image.
Dabei kann beispielsweise die Belichtungszeit des Referenzbildes so gewählt werden, dass sie mindestens dem Kehrwert der kleinsten in Betracht kommenden Pulsfrequenz der in der Szene zu erwartenden gepulsten Lichtquellen entspricht. Dann fällt der An-Zustand der eingeschalteten gepulsten Lichtquellen in jedem Fall vollständig in die Belichtungszeit des Referenzbildes und wird somit sicher durch das Referenzbild erfasst. For example, the exposure time of the reference image can be selected so that it corresponds at least to the reciprocal of the smallest possible pulse frequency of the pulsed light sources to be expected in the scene. Then the on state of the switched-on pulsed light sources falls completely in the exposure time of the reference image in any case and is thus reliably detected by the reference image.
Des Weiteren kann beispielsweise die Belichtungszeit des Referenzbildes so gewählt werden, dass sie mindestens 50 % des Kehrwerts der Bildaufnahmefrequenz entspricht (z.B. 10 ms bei 50 Hz). Dann fällt der An-Zustand der eingeschalteten gepulsten Lichtquellen in jedem Fall zu einem Teil (z.B. mindestens jeder zweite Impuls bei 100 Hz Pulslichtfrequenz) in die Belichtungszeit des Referenzbildes und wird somit sicher durch das Referenzbild erfasst.Furthermore, the exposure time of the reference image can be selected so that it corresponds to at least 50% of the reciprocal of the image acquisition frequency (e.g. 10 ms at 50 Hz). Then the on-state of the switched-on pulsed light sources falls in part in any case (e.g. at least every second pulse at 100 Hz pulse light frequency) in the exposure time of the reference image and is thus reliably detected by the reference image.
Ein zeitgleich oder annähernd zeitgleich aufgenommenes Vergleichsbild, das mit einer kürzeren Belichtungszeit aufgenommen wurde, kann hingegen aufgrund der zuvor erläuterten Problematik den Aus-Zustand einer gepulsten Lichtquelle zeigen, obwohl die Lichtquelle eingeschaltet ist.A comparison image recorded at the same time or approximately at the same time, which was recorded with a shorter exposure time, on the other hand, can show the off-state of a pulsed light source due to the problem explained above, even though the light source is switched on.
In solchen Fällen weist das Referenzbild an den Positionen des Bildes, die eine eingeschaltete gepulste Lichtquelle bzw. das von ihr emittierte Licht zeigen, eine sehr viel größere Helligkeit auf als das kürzer belichtete Vergleichsbild, das die eingeschaltete gepulste Lichtquelle in ihrem Aus-Zustand zeigt. Daher werden durch das örtliche Vergleichen der Bilddaten des Vergleichsbildes mit den Bilddaten des Referenzbildes deutliche Abweichungen erkennbar, die über die allein aufgrund der unterschiedlichen Belichtungsdauer zu erwartenden Abweichungen hinausgehen. Dementsprechend weisen auch die normierten Bilddaten örtliche Abweichungen auf, die durch das Vergleichen der normierten Bilddaten erkennbar sind und auf das Vorhandensein flackernder Lichtinformationen hinweisen.In such cases, the reference image at the positions of the image which show a switched-on pulsed light source or the light emitted by it has a much greater brightness than the shorter-exposed comparison image which shows the switched-on pulsed light source in its off state. Therefore, the local comparison of the image data of the comparison image with the image data of the reference image reveals clear deviations which go beyond the deviations to be expected solely on the basis of the different exposure times. Accordingly, the normalized image data also have local deviations which can be recognized by comparing the standardized image data and which indicate the presence of flickering light information.
Durch das Ermitteln örtlicher Abweichungen wird somit ermittelt, ob, in welchem Maße und an welchen Positionen Abweichungen zwischen den Bilddaten des Vergleichsbildes und den Bilddaten des Referenzbildes vorhanden sind.By determining local deviations, it is thus determined whether, to what extent and at which positions there are deviations between the image data of the comparison image and the image data of the reference image.
Die Datenverarbeitungseinheit ist des Weiteren dazu eingerichtet, in Abhängigkeit der ermittelten örtlichen Abweichungen der Bilddaten eine Fehlermaskezu generieren.The data processing unit is also set up to generate an error mask as a function of the determined local deviations of the image data.
In entsprechender Weise sind erfindungsgemäß die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, in Abhängigkeit der ermittelten örtlichen Abweichungen der Bilddaten die Fehlermaske zu generieren.Correspondingly, according to the invention, when the computer program is executed with a data processing unit, the program code means are set up to generate the error mask as a function of the determined local deviations of the image data.
Die Fehlermaske zeigt dabei die Fehlerpositionen von Bildfehlern innerhalb des Vergleichsbildes an.The error mask shows the error positions of image errors within the comparison image.
Die Fehlerpositionen von Bildfehlern innerhalb des Vergleichsbildes können sich wiederum beispielsweise auf die Positionen einzelner Pixel im Bild beziehen, wodurch eine besonders hohe Genauigkeit der Fehlermaske erzielt wird. Die Fehlerpositionen können sich aber auch auf die Positionen größerer Bereiche des Bildes, beispielsweise auf die Positionen von Bildblöcken im Bild, beziehen. Hierdurch wird der mit dem Generieren der Fehlermaske verbundene Rechen- und Speicheraufwand verringert. Die Fehlermaske kann grundsätzlich auch lediglich angeben, ob das ganze Bild Fehler enthält oder nicht. Auf diese Weise kann der Rechen- und Speicheraufwand weiter verringert werden. Die Fehlermaske kann somit beispielsweise in pixelgenauer, blockgenauer oder bildgenauer Auflösung generiert werden.The error positions of image errors within the comparison image can in turn relate, for example, to the positions of individual pixels in the image, as a result of which a particularly high accuracy of the error mask is achieved. The error positions can also refer to the positions of larger areas of the image, for example the positions of image blocks in the image. This reduces the computation and storage effort associated with generating the error mask. The error mask can basically only indicate whether the entire image contains errors or not. In this way, the computing and storage effort can be reduced further. The error mask can thus be generated, for example, in pixel-precise, block-accurate or image-precise resolution.
Um ausgehend von den ermittelten örtlichen Abweichungen die Fehlermaske zu generieren, kann insbesondere geprüft werden, ob die ermittelten örtlichen Abweichungen so groß sind, dass anzunehmen ist, dass sie durch eine gepulste Lichtquelle verursacht worden sind. Dies ist insbesondere dann der Fall, wenn die Abweichungen deutlich größer sind als dies allein aufgrund der unterschiedlichen Belichtungsdauern bzw. Lichtempfindlichkeiten des Referenzbildes und des Vergleichsbildes zu erwarten wäre. Sind die örtlichen Abweichungen so groß, dass anzunehmen ist, dass sie durch eine gepulste Lichtquelle verursacht worden sind, so wird die Position der örtlichen Abweichung in der Fehlermaske als Fehlerposition vermerkt. Neben der Belichtungsdauer spielt dabei die Einstellung der Sensor-empfindlichkeit eine Rolle. Bei Sensoren mit unterschiedlichen Zellen für das Referenzbild und das Vergleichsbild spielt deren relative Empfindlichkeit, d. h. das Verhältnis ihrer Empfindlichkeiten zueinander, eine Rolle.In order to generate the error mask based on the determined local deviations, it can be checked in particular whether the determined local deviations are so large that it can be assumed that they were caused by a pulsed light source. This is particularly the case if the deviations are significantly larger than would be expected solely on the basis of the different exposure times or light sensitivities of the reference image and the comparison image. If the local deviations are so large that it can be assumed that they were caused by a pulsed light source, the position of the local deviation is noted in the error mask as the error position. In addition to the exposure time, the setting of the sensor sensitivity also plays a role. In the case of sensors with different cells for the reference image and the comparison image, their relative sensitivity plays a role. H. the relationship of their sensitivities to each other, a role.
Auf diese Weise wird erreicht, dass die Fehlermaske die Fehlerpositionen von Bildfehlern innerhalb des Vergleichsbildes anzeigt. Wird die Fehlermaske beispielsweise in pixelgenauer Auflösung generiert, wodurch vorteilhaft eine besonders hohe Genauigkeit der Fehlermaske erreicht wird, so kann die Fehlermaske die Position jedes erkannten fehlerhaften Pixels anzeigen. Dabei kann die Fehlermaske beispielsweise so aufgebaut sein, dass sie für sämtliche Pixelpositionen innerhalb des Vergleichsbildes jeweils einen Eintrag umfasst, wobei für jeden Eintrag jeweils durch einen Statusindikator (Flag) angezeigt wird, ob der Pixel fehlerbehaftet ist oder nicht.In this way it is achieved that the error mask shows the error positions of image errors within the comparison image. If the error mask is generated, for example, in pixel-precise resolution, which advantageously achieves a particularly high accuracy of the error mask, the error mask can indicate the position of each detected defective pixel. In this case, the error mask can, for example, be constructed in such a way that it comprises one entry for all pixel positions within the comparison image, a status indicator (flag) for each entry indicating whether the pixel is faulty or not.
Nach dem erfindungsgemäßen Generieren der Fehlermaske ist somit bekannt, an welchen Positionen das mindestens eine Vergleichsbild Bildfehler aufweist, die durch flackernde Lichtinformationen hervorgerufen worden sind. Auf dieser Grundlage ist es möglich, die Bildfehler des Vergleichsbildes zu korrigieren. After generating the error mask according to the invention, it is thus known at which positions the at least one comparison image has image errors which have been caused by flickering light information. On this basis it is possible to correct the image errors of the comparison image.
Zu diesem Zweck ist es erfindungsgemäß vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, örtliche Korrekturwerte für die Bilddaten des Vergleichsbildes zu ermitteln. Dies kann vorteilhaft insbesondere durch Schätzung erfolgen. Jeder örtliche Korrekturwert ist einer Korrekturposition innerhalb des Vergleichsbildes zugeordnet, wobei die Korrekturpositionen eine pixelgenaue, blockgenaue oder bildgenaue Auflösung aufweisen können. Die Zuordnung des örtlichen Korrekturwerts zu einer Korrekturposition innerhalb des Vergleichsbildes erlaubt die Korrektur eines Bildfehlers des Vergleichsbildes an einer bestimmten Fehlerposition, die der Korrekturposition entspricht.For this purpose, it is provided according to the invention that the data processing unit is set up to determine local correction values for the image data of the comparison image. This can advantageously be done in particular by estimation. Each local correction value is assigned to a correction position within the comparison image, wherein the correction positions can have a pixel-precise, block-exact or image-exact resolution. The assignment of the local correction value to a correction position within the comparison image allows the correction of an image error of the comparison image at a specific error position that corresponds to the correction position.
In entsprechender Weise sind erfindungsgemäß die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, die örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes zu ermitteln.Correspondingly, according to the invention, when the computer program is executed with a data processing unit, the program code means are set up to determine the local correction values for the image data of the comparison image.
Zum Ermitteln örtlicher Korrekturwerte durch Schätzung können insbesondere die Bilddaten des Referenzbildes verwendet werden. Eine Verwendung der Bilddaten des Referenzbildes ist diesbezüglich zweckmäßig, da davon ausgegangen werden kann, dass das Vergleichsbild im Falle eines Bildfehlers, der durch eine im Aus-Zustand erfasste gepulste Lichtquelle hervorgerufen wurde, den An-Zustand der gepulsten Lichtquelle zeigt. Hierauf wird später noch näher eingegangen.In particular, the image data of the reference image can be used to determine local correction values by estimation. Use of the image data of the reference image is expedient in this regard, since it can be assumed that the comparison image shows the on-state of the pulsed light source in the event of an image error which was caused by a pulsed light source detected in the off state. This will be discussed in more detail later.
Alternativ oder ergänzend hierzu können zum Ermitteln örtlicher Korrekturwerte durch Schätzung insbesondere die Bilddaten anderer Vergleichsbilder verwendet werden, die zu anderen Zeitpunkten, insbesondere zu früheren Zeitpunkten erzeugt wurden als das aktuelle Vergleichsbild, dessen Bildfehler korrigiert werden sollen. Eine Verwendung der Bilddaten anderer Vergleichsbilder ist diesbezüglich zweckmäßig, weil zu anderen Zeitpunkten erzeugte Vergleichsbilder trotz ihrer im Vergleich zum Referenzbild kürzeren Belichtungszeit zufällig den An-Zustand der gepulsten Lichtquelle erfasst haben können. Auch hierauf wird später noch näher eingegangen.As an alternative or in addition to this, the image data of other comparison images that were generated at other times, in particular at earlier times than the current comparison image whose image errors are to be corrected, can be used in particular to determine local correction values by estimation. Use of the image data of other comparison images is expedient in this regard because comparison images generated at other times may have accidentally detected the on-state of the pulsed light source despite their shorter exposure time compared to the reference image. This will also be discussed in more detail later.
Nach dem erfindungsgemäßen Ermitteln örtlicher Korrekturwerte sind somit örtliche Korrekturwerte bekannt, die jeweils einer Korrekturposition innerhalb des Vergleichsbildes zugeordnet sind und im Bedarfsfall, d. h. sofern die Fehlermaske das Vorhandensein von Bildfehlern innerhalb des Vergleichsbildes anzeigt, zur Korrektur des Vergleichsbildes verwendet werden können.After determining local correction values according to the invention, local correction values are thus known, each of which is assigned to a correction position within the comparison image and, if necessary, i. H. if the error mask indicates the presence of image errors within the comparison image, can be used to correct the comparison image.
Zu diesem Zweck ist erfindungsgemäß vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, ein korrigiertes Vergleichsbildzu erzeugen, indem die örtlichen Korrekturwerte an den durch die Fehlermaske angezeigten Fehlerpositionen eingefügt werden. Für die jeweilige durch die Fehlermaske angezeigte Fehlerposition wird dabei der örtliche Korrekturwert verwendet, dessen zugeordnete Korrekturposition der Fehlerposition entspricht. Das jeweilige fehlerhafte Bilddatum des Vergleichsbildes kann auf diese Weise durch den Korrekturwert ersetzt und der Bildfehler so korrigiert werden.For this purpose, it is provided according to the invention that the data processing unit is set up to generate a corrected comparison image by inserting the local correction values at the error positions indicated by the error mask. The local correction value whose assigned correction position corresponds to the error position is used for the respective error position indicated by the error mask. In this way, the respective incorrect image data of the comparison image can be replaced by the correction value and the image error can be corrected in this way.
In entsprechender Weise sind erfindungsgemäß die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, das korrigierte Vergleichsbild zu erzeugen, indem die örtlichen Korrekturwerte an den durch die Fehlermaske angezeigten Fehlerpositionen eingefügt werden.Correspondingly, according to the invention, the program code means, when the computer program is executed with a data processing unit, are set up to generate the corrected comparison image by inserting the local correction values at the error positions indicated by the error mask.
Im Ergebnis steht damit ein korrigiertes Vergleichsbild zur Verfügung, dessen durch flackernde Lichtinformationen hervorgerufene Bildfehler selektiv, d. h. an den von Bildfehlern betroffenen Fehlerpositionen, durch Korrekturwerte korrigiert worden sind. Durch die erfindungsgemäße Bildverarbeitungseinheit und das erfindungsgemäße Computerprogramm kann somit trotz des Vorhandenseins flackernder Lichtinformationen ein Flicker-reduziertes oder sogar ein vollständig Flicker-befreites Bild bereitgestellt werden.As a result, a corrected comparison image is available, the image errors caused by flickering light information selectively, i. H. at the error positions affected by image errors have been corrected by correction values. The image processing unit according to the invention and the computer program according to the invention can thus provide a flicker-reduced or even a completely flicker-free image despite the presence of flickering light information.
In einer vorteilhaften Weiterbildung der Erfindung sind die Bilddaten Helligkeitswerte. In diesem Fall werden zum örtlichen Vergleichen der Bilddaten Helligkeitswerte verwendet und/oder die örtlichen Abweichungen der Bilddaten beziehen sich auf Helligkeitswerte und/oder die örtlichen Korrekturwerte beziehen sich auf Helligkeitswerte. Ein Helligkeitswert in diesem Sinne kann beispielsweise der Luminanz- oder Luma-Wert digitaler oder analoger Bilddaten, vorzugsweise digitaler Bilddaten sein.In an advantageous development of the invention, the image data are brightness values. In this case, brightness values are used for the local comparison of the image data and / or the local deviations of the image data relate to brightness values and / or the local correction values relate to brightness values. A brightness value in this sense can be, for example, the luminance or luma value of digital or analog image data, preferably digital image data.
Helligkeitswerte in diesem Sinne können insbesondere die direkten Farbkomponenten (RGGB) eines Bayer-Sensors sein. Helligkeitswerte in diesem Sinne können aber auch der Wert Y-Wert im YCbCr-Farbmodell oder ein Y-Wert im YUV-Farbmodell sein. Helligkeitswerte in diesem Sinne können auch die Werte der Farbkomponenten R, G und B nach dem Debayering eine Bayer-Sensors sein. Ein Helligkeitswert in diesem Sinne kann aber auch ein anderer Helligkeitswert sein. Die Helligkeitswerte können auch für die Zwecke des der Erfindung aus den Rohdaten der Bilder der eingelesenen Belichtungsreihe berechnet werden, beispielsweise aus solchen Rohdaten, wie sie ein Bildsensor an seiner Ausgangsschnittstelle bereitstellt.In this sense, brightness values can in particular be the direct color components (RGGB) of a Bayer sensor. Brightness values in this sense can also be the value Y value in the YCbCr color model or a Y value in the YUV color model. Brightness values in this sense can also be the values of the color components R, G and B after debayering a Bayer sensor. A brightness value in this sense can also be another brightness value. The brightness values can also be used for the purposes of the invention from the Raw data of the images of the read exposure series are calculated, for example from such raw data as is provided by an image sensor at its output interface.
Die Verwendung von Helligkeitswerten als Bilddaten für die Zwecke der Erfindung bietet den Vorteil, dass es auf Grundlage der Helligkeitswerte besonders einfach möglich ist, durch flackernde Lichtinformationen hervorgerufene Bildfehler zu erkennen und zu korrigieren. Dies liegt darin begründet, dass sich der Wechsel einer Lichtquelle von einem An-Zustand in einen Aus-Zustand oder eine Änderung der Helligkeit der Lichtquelle unmittelbar in den Helligkeitswerten und damit in den Bilddaten niederschlägt.The use of brightness values as image data for the purposes of the invention offers the advantage that, based on the brightness values, it is particularly easy to identify and correct image errors caused by flickering light information. The reason for this is that the change in a light source from an on state to an off state or a change in the brightness of the light source is directly reflected in the brightness values and thus in the image data.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist der Bildsensor ein High-Dynamic-Range-Bildsensor, kurz HDR-Bildsensor, und die Belichtungsreihe ist eine vom dem HDR-Bildsensor erzeugte High-Dynamic-Range-Belichtungsreihe, kurz HDR-Belichtungsreihe.In a further advantageous development of the invention, the image sensor is a high dynamic range image sensor, in short HDR image sensor, and the exposure row is a high dynamic range exposure row, in short HDR exposure row, generated by the HDR image sensor.
HDR-Bildsensoren sind in der Lage, durch Mehrfachbelichtung eine HDR-Belichtungsreihe zu erzeugen, die mehrere zeitgleich, z. B. bei Verwendung eines Split-Pixel-Sensors, oder in sehr kurzen zeitlichen Abständen erzeugte Bilder umfasst, sodass die Bilder dieselbe Szene im Sinne der vorliegenden Erfindung zeigen. Die Bilder einer HDR-Belichtungsreihe werden dabei vom HDR-Bildsensor mit unterschiedlich langen Belichtungszeiten aufgenommen, um eine im Vergleich zu einem Einzelbild größere Helligkeitsdynamik bereitstellen zu können.HDR image sensors are able to generate an HDR exposure series by multiple exposure, which several simultaneously, e.g. B. when using a split pixel sensor, or includes images generated at very short time intervals, so that the images show the same scene in the sense of the present invention. The images of an HDR exposure series are recorded by the HDR image sensor with exposure times of different lengths in order to be able to provide greater brightness dynamics compared to a single image.
Diese Funktionalität eines HDR-Bildsensors kann vorteilhaft dazu genutzt werden, die zur erfindungsgemäßen Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern benötigte Belichtungsreihe bereitzustellen. Die Verwendung eines HDR-Bildsensors, der eine HDR-Belichtungsreihe erzeugt, bietet den Vorteil, dass auf schnelle und automatisierte Weise mehrere Bilder derselben Szene mit unterschiedlich langer Belichtungszeit bereitgestellt und als Referenzbild bzw. Vergleichsbild im Sinne der vorliegenden Anmeldung verwendet werden können.This functionality of an HDR image sensor can advantageously be used to provide the exposure series required for the inventive detection and correction of image errors caused by flickering light information. The use of an HDR image sensor that generates an HDR exposure series offers the advantage that several images of the same scene with exposure times of different lengths can be provided quickly and automatically and used as a reference image or comparison image in the sense of the present application.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist die Datenverarbeitungseinheit dazu eingerichtet, zum Ermitteln der örtlichen Abweichungen die Bilddaten zu normieren und die normierten Bilddaten an einer Position des Vergleichsbildes mit den normierten Bilddaten an derselben Position des Referenzbildes zu vergleichen. Um die normierten Bilddaten zu vergleichen, kann dabei insbesondere eine Differenz ermittelt werden zwischen den normierten Bilddaten an einer Position des Vergleichsbildes und den normierten Bilddaten an derselben Position des Referenzbildes.In a further advantageous development of the invention, the data processing unit is set up to normalize the image data to determine the local deviations and to compare the normalized image data at a position of the comparison image with the normalized image data at the same position of the reference image. In order to compare the normalized image data, a difference can in particular be determined between the normalized image data at a position of the comparison image and the normalized image data at the same position of the reference image.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, zum Ermitteln der örtlichen Abweichungen die Bilddaten zu normieren und die normierten Bilddaten an einer Position des Vergleichsbildes mit den normierten Bilddaten an derselben Position des Referenzbildes zu vergleichen.Correspondingly, in a further advantageous development of the invention, when the computer program is executed with a data processing unit, the program code means are set up to normalize the image data for determining the local deviations and to normalize the normalized image data at a position of the comparison image with the normalized image data on the same Compare the position of the reference image.
Aufgrund der längeren Belichtungszeit des Referenzbildes weichen die Bilddaten des Referenzbildes grundsätzlich von den Bilddaten des Vergleichsbildes ab, obwohl beide Bilder dieselbe Szene zeigen. Insbesondere weist das Referenzbild wegen seiner längeren Belichtungszeit im Vergleich zu dem Vergleichsbild eine größere Helligkeit auf. Um örtliche Abweichungen zwischen den Bilddaten des Vergleichsbildes und den Bilddaten des Referenzbildes zu ermitteln, ist daher eine Normierung der Bilddaten zweckmäßig.Due to the longer exposure time of the reference image, the image data of the reference image fundamentally differ from the image data of the comparison image, although both images show the same scene. In particular, because of its longer exposure time, the reference image has a greater brightness than the comparison image. In order to determine local deviations between the image data of the comparison image and the image data of the reference image, normalization of the image data is therefore expedient.
Die Normierung der Bilddaten kann sich dabei beispielsweise auf eine absolute Helligkeit und/oder eine bestimmte Belichtungszeit beziehen. Bei der Normierung der Bilddaten können die bei der Erzeugung des jeweiligen Bildes gewählten Belichtungsparameter und Betriebskenngrößen des Bildsensors, beispielsweise die Belichtungszeit, die Empfindlichkeit, die Blendenzahl und/oder die Reaktionskurve (camera response curve) des Bildsensors, berücksichtigt werden.The normalization of the image data can relate, for example, to an absolute brightness and / or a specific exposure time. When normalizing the image data, the exposure parameters and operating parameters of the image sensor selected during the generation of the respective image, for example the exposure time, the sensitivity, the f-number and / or the response curve (camera response curve) of the image sensor, can be taken into account.
Sind beispielsweise die Belichtungsparameter und Betriebskenngrößen des Bildsensors mit Ausnahme der Belichtungszeit für sämtliche Bilder der Belichtungsreihe gleich, so kann anhand der jeweiligen Belichtungszeit eine Normierung der Bilder der Belichtungsreihe auf eine beliebig wählbare Bezugsbelichtungszeit vorgenommen werden. Umfasst die Belichtungsreihe beispielsweise ein Referenzbild L mit einer Belichtungszeit TL, ein Vergleichsbild S mit einer Belichtungszeit Ts = TL/4 und ein weiteres Vergleichsbild VS mit einer Belichtungszeit 7VS = TL/16 und wird als Bezugsbelichtungszeit die Belichtungszeit TL gewählt, so können als Helligkeitswerte vorliegende Bilddaten auf die Bezugsbelichtungszeit normiert werden, indem die Helligkeitswerte des Vergleichsbildes S mit vier multipliziert und die Helligkeitswerte des Vergleichsbildes VS mit sechzehn multipliziert werden.If, for example, the exposure parameters and operating parameters of the image sensor are the same for all images in the exposure series with the exception of the exposure time, the images of the exposure series can be normalized to an arbitrarily selectable reference exposure time on the basis of the respective exposure time. If the exposure series includes, for example, a reference image L with an exposure time T L , a comparison image S with an exposure time Ts = T L / 4 and a further comparison image VS with an exposure time 7 VS = T L / 16 and the exposure time T L is selected as the reference exposure time, In this way, image data available as brightness values can be standardized to the reference exposure time by multiplying the brightness values of the comparison image S by four and the brightness values of the comparison image VS by sixteen.
Nach der Normierung der Bilddaten sind diese unmittelbar vergleichbar, sodass zum Ermitteln der örtlichen Abweichungen insbesondere eine Differenz ermittelt werden kann zwischen den normierten Bilddaten an einer Position des Vergleichsbildes und den normierten Bilddaten an derselben Position des Referenzbildes. Die Differenz zwischen den normierten Bilddaten an einer bestimmten Position kann auf diese Weise die örtlichen Abweichungen quantifizieren.After the normalization of the image data, these are immediately comparable, so that in particular a difference can be determined between the normalized image data at a position of the comparison image and to determine the local deviations the normalized image data at the same position of the reference image. In this way, the difference between the normalized image data at a specific position can quantify the local deviations.
Die Positionen der normierten Bilddaten können dabei wiederum in pixelgenauer, blockgenauer oder bildgenauer Auflösung ermittelt werden. Vorteilhaft kann eine Differenz zwischen den normierten Bilddaten des Referenzbildes und des Vergleichsbildes auf Basis pixelgenauer Positionen für jeden einzelnen Pixel der Bilder ermittelt werden. Auf diese Weise wird eine besonders hohe Genauigkeit der ermittelten örtlichen Abweichungen erzielt. Durch die Differenz der Bilddaten an einer bestimmten Pixelposition kann somit die örtliche Abweichung an der Pixelposition exakt quantifiziert werden.The positions of the standardized image data can in turn be determined in pixel-precise, block-precise or image-precise resolution. A difference between the normalized image data of the reference image and the comparison image can advantageously be determined on the basis of pixel-precise positions for each individual pixel of the images. In this way, a particularly high accuracy of the local deviations determined is achieved. The difference in the image data at a specific pixel position can therefore be used to exactly quantify the local deviation at the pixel position.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist die Datenverarbeitungseinheit dazu eingerichtet, zur Normierung der Bilddaten ein relatives Lichtempfindlichkeitsverhältnis zwischen der Lichtempfindlichkeit des Referenzbildes und der Lichtempfindlichkeit des Vergleichsbildes zu verwenden. Alternativ oder ergänzend hierzu kann zur Normierung der Bilddaten ein Belichtungszeitverhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes verwendet werden. Unter einem relativen Lichtempfindlichkeitsverhältnis wird dabei ein Verhältnis einer Lichtempfindlichkeit eines Bildes zu einer Lichtempfindlichkeit eines anderen Bildes verstanden. Unter einem Belichtungszeitverhältnis wird dabei ein Verhältnis einer Belichtungszeit eines Bildes zu einer Belichtungszeit eines anderen Bildes verstanden.In a further advantageous development of the invention, the data processing unit is set up to use a relative light sensitivity ratio between the light sensitivity of the reference image and the light sensitivity of the comparison image for normalizing the image data. As an alternative or in addition to this, an exposure time ratio between the exposure time of the reference image and the exposure time of the comparison image can be used to normalize the image data. A relative light sensitivity ratio is understood to mean a ratio of a light sensitivity of one image to a light sensitivity of another image. An exposure time ratio is understood to mean a ratio of an exposure time of one image to an exposure time of another image.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, zur Normierung der Bilddaten ein relatives Lichtempfindlichkeitsverhältnis zwischen der Lichtempfindlichkeit des Referenzbildes und der Lichtempfindlichkeit des Vergleichsbildes und/oder ein Belichtungszeitverhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes zu verwenden.Correspondingly, in a further advantageous development of the invention, the program code means, when the computer program is executed with a data processing unit, are set up to normalize the image data by a relative light sensitivity ratio between the light sensitivity of the reference image and the light sensitivity of the comparison image and / or an exposure time ratio between the Exposure time of the reference image and the exposure time of the comparison image.
In einer weiteren vorteilhaften Weiterbildung der Erfindung werden zum Generieren der Fehlermaske die ermittelten örtlichen Abweichungen der Bilddaten mit einem Schwellenwert verglichen. Übersteigen die örtlichen Abweichungen den Schwellenwert, so kann davon ausgegangen werden, dass an der Position der örtlichen Abweichung ein durch flackernde Lichtinformationen hervorgerufener Bildfehler vorliegt. Die Position der örtlichen Abweichung kann in diesem Fall in der Fehlermaske als fehlerhaft eingetragen oder markiert werden, sodass auf diese Weise die Fehlerposition des Bildfehlers innerhalb des Vergleichsbildes angezeigt wird.In a further advantageous development of the invention, the local deviations of the image data determined are compared with a threshold value in order to generate the error mask. If the local deviations exceed the threshold value, it can be assumed that there is an image error caused by flickering light information at the position of the local deviation. In this case, the position of the local deviation can be entered or marked as faulty in the fault mask, so that the fault position of the image fault within the comparison image is displayed in this way.
Das Vergleichen mit einem Schwellenwert bietet dabei den Vorteil, dass das Generieren der Fehlermaske auf diese Weise mit geringem Rechenaufwand realisiert werden kann.The comparison with a threshold value offers the advantage that the error mask can be generated in this way with little computation effort.
Zum Ermitteln örtlicher Korrekturwerte für die Bilddaten des Vergleichsbildes durch Schätzung können beispielsweise die Bilddaten des Referenzbildes verwendet werden. Zur Korrektur von Bildfehlern, die durch eine im Aus-Zustand erfasste gepulste Lichtquelle hervorgerufen wurden, ist eine Verwendung der Bilddaten des Referenzbildes zweckmäßig, da davon ausgegangen werden kann, dass das Referenzbild wegen seiner längeren Belichtungszeit den An-Zustand der gepulsten Lichtquelle zeigt. Aufgrund der längeren Belichtungszeit weisen die Bilddaten des Referenzbildes jedoch im Allgemeinen eine größere Helligkeit auf als die Bilddaten des Vergleichsbildes, sodass die Bilddaten des Referenzbildes nicht unmittelbar als Korrekturwerte für die Bilddaten des Vergleichsbildes verwendet werden können.The image data of the reference image can be used, for example, to determine local correction values for the image data of the comparison image by estimation. To correct image errors caused by a pulsed light source detected in the off state, use of the image data of the reference image is expedient, since it can be assumed that the reference image shows the on state of the pulsed light source due to its longer exposure time. Because of the longer exposure time, however, the image data of the reference image generally have a greater brightness than the image data of the comparison image, so that the image data of the reference image cannot be used directly as correction values for the image data of the comparison image.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist daher insbesondere vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eine einfache Schätzunganzuwenden, die auf den Bilddaten des Referenzbildes sowie dem Verhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes beruht.In a further advantageous development of the invention, it is therefore provided in particular that the data processing unit is set up to use a simple estimate for determining the local correction values for the image data of the comparison image, based on the image data of the reference image and the relationship between the exposure time of the reference image and the exposure time of the comparison picture is based.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eine einfache Schätzung anzuwenden, die auf den Bilddaten des Referenzbildes sowie dem Verhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes beruht.Correspondingly, in a further advantageous development of the invention, when the computer program is executed with a data processing unit, the program code means are set up to use a simple estimate for determining the local correction values for the image data of the comparison image, based on the image data of the reference image and the ratio between the exposure time of the reference image and the exposure time of the comparison image.
Zur Ermittlung eines örtlichen Korrekturwerts, der einer bestimmten Korrekturposition innerhalb des Vergleichsbildes zugeordnet ist, wird dabei auf das Bilddatum, beispielsweise einen Helligkeitswert, an der Position des Referenzbildes zurückgegriffen, die der Korrekturposition entspricht. Ist das Verhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes bekannt, so kann aus dem Helligkeitswert des Referenzbildes und dem Verhältnis der Belichtungszeiten eine Schätzung des korrespondierenden Helligkeitswerts des kürzer belichteten Vergleichsbildes berechnet werden, um diese als Korrekturwert zu verwenden. Umfasst die Belichtungsreihe beispielsweise ein Referenzbild L mit einer Belichtungszeit TL und ein Vergleichsbild S mit einer Belichtungszeit Ts = TL/ 4, so kann der Helligkeitswert des Referenzbildes durch vier geteilt und dieser Wert als örtlicher Korrekturwert für die Bilddaten des Vergleichsbildes an der zugeordneten Korrekturposition verwendet werden.To determine a local correction value that is assigned to a specific correction position within the comparison image, the image data, for example a brightness value, is used at the position of the reference image that corresponds to the correction position. If the relationship between the exposure time of the reference image and the exposure time of the comparison image is known, then an estimate of the corresponding brightness value of the shorter exposure comparison image can be calculated from the brightness value of the reference image and used to use this as a correction value. For example, includes the bracketing series Reference image L with an exposure time T L and a comparison image S with an exposure time Ts = T L / 4, the brightness value of the reference image can be divided by four and this value can be used as a local correction value for the image data of the comparison image at the assigned correction position.
Problematisch ist dabei jedoch, dass in den hellen Bereichen der Szene die Bilddaten des Referenzbildes aufgrund der langen Belichtungsdauer bereits den Bereich der Sättigung erreicht haben können, d. h. die Bilddaten des Referenzbildes können infolge einer Übersteuerung des Bildsensors unerwünschte Clipping-Effekte aufweisen. Dies betrifft insbesondere gerade diejenigen Bereiche der Szene, die durch eine gepulste Lichtquelle emittierte flackernde Lichtinformationen enthalten, da diese Bereiche sehr hell sind. Vorteilhaft kann daher bei der Schätzung des örtlichen Korrekturwerts aus dem Verhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes ein zusätzlicher Korrekturfaktor angewendet werden. Der Wert des zusätzlichen Korrekturfaktors kann dabei beispielsweise anhand der Bilddaten aus der die Korrekturposition umgebenden Umgebung des Referenzbildes geschätzt werden. Haben die Bilddaten des Referenzbildes in einer großen Umgebung um die Korrekturposition bereits den Bereich der Sättigung erreicht, so liegt es nahe, einen großen zusätzlichen Korrekturfaktor zu wählen.It is problematic, however, that in the bright areas of the scene, the image data of the reference image may already have reached the saturation range due to the long exposure time. H. The image data of the reference image can have undesired clipping effects due to an overload of the image sensor. This applies in particular to those areas of the scene which contain flickering light information emitted by a pulsed light source, since these areas are very bright. An additional correction factor can therefore advantageously be used when estimating the local correction value from the ratio between the exposure time of the reference image and the exposure time of the comparison image. The value of the additional correction factor can be estimated, for example, on the basis of the image data from the surroundings of the reference image surrounding the correction position. If the image data of the reference image has already reached the saturation range in a large environment around the correction position, it makes sense to choose a large additional correction factor.
Die Methode einer einfachen Schätzung, die auf dem Verhältnis zwischen der Belichtungszeit des Referenzbildes und der Belichtungszeit des Vergleichsbildes beruht, bietet den Vorteil, dass sich die örtlichen Korrekturwerte mit sehr geringem Rechen- und Speicheraufwand bestimmen lassen.The method of simple estimation, which is based on the relationship between the exposure time of the reference image and the exposure time of the comparison image, offers the advantage that the local correction values can be determined with very little computation and storage effort.
Erfindungsgemäß ist des Weiteren vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eine Schätzunganzuwenden, die auf den Bilddaten einer in einem Datenspeicher vorgehaltenen Vergleichsbildzeitreihe beruht. Die Vergleichsbildzeitreihe umfasst dabei eine Anzahl gespeicherter Bilder, die mit der gleichen Belichtungszeit wie das Vergleichsbild zu anderen Zeitpunkten als das Vergleichsbild von dem Bildsensor erzeugt wurden. Die gespeicherten Bilder der Vergleichsbildzeitreihe können insbesondere zu früheren Zeitpunkten als das Vergleichsbild von dem Bildsensor erzeugt worden sein. Vorteilhaft können sich des Weiteren die Zeitpunkte, zu denen die verschiedenen gespeicherten Bilder der Vergleichszeitzeihe von dem Bildsensor erzeugt worden sind, voneinander unterscheiden. Der Datenspeicher kann insbesondere ein Ringspeicher sein, in welchem, wenn der Datenspeicher voll und/oder eine festgelegte Anzahl gespeicherter Bilder erreicht ist, jeweils das älteste gespeicherte Bild durch ein neues gespeichertes Bild ersetzt wird.According to the invention, it is further provided that the data processing unit is set up to use an estimate to determine the local correction values for the image data of the comparison image, which is based on the image data of a comparison image time series held in a data memory. The comparison image time series comprises a number of stored images that were generated by the image sensor with the same exposure time as the comparison image at different times than the comparison image. The stored images of the comparison image time series can in particular have been generated by the image sensor at earlier times than the comparison image. Furthermore, the times at which the various stored images of the comparison time series were generated by the image sensor can advantageously differ from one another. The data memory can in particular be a ring memory in which, when the data memory is full and / or a defined number of stored images is reached, the oldest stored image is replaced by a new stored image.
In entsprechender Weise sind erfindungsgemäß die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eine Schätzung anzuwenden, die auf den Bilddaten der in dem Datenspeicher, insbesondere einem Ringspeicher, vorgehaltenen Vergleichsbildzeitreihe beruht.Correspondingly, according to the invention, when the computer program is executed with a data processing unit, the program code means are set up to use an estimate for determining the local correction values for the image data of the comparison image, which is based on the image data of the comparison image time series held in the data memory, in particular a ring memory .
Die Vergleichsbildzeitreihe, die zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes genutzt wird, kann außerdem eine unveränderte Kopie oder eine veränderte Kopie des aktuellen, d. h. zuletzt eingelesenen Vergleichsbildes selbst umfassen.The comparison image time series, which is used to determine the local correction values for the image data of the comparison image, can also be an unchanged copy or a modified copy of the current, i.e. H. last included comparison image itself.
Die Vergleichsbildzeitreihe kann beispielsweise 30 gespeicherte Bilder umfassen. Die Zeitpunkte, zu denen die gespeicherten Bilder von dem Bildsensor erzeugt worden sind, können voneinander verschiedene Zeitpunkte, insbesondere zeitlich unmittelbar oder mittelbar aufeinanderfolgende Zeitpunkte sein. Zwischen den Zeitpunkten können dabei insbesondere Zeitschritte einer bestimmten Länge liegen.The comparison image time series can comprise 30 stored images, for example. The points in time at which the stored images were generated by the image sensor can be points in time which are different from one another, in particular points in time which are immediately or indirectly successive. In particular, time steps of a certain length can lie between the times.
Die gespeicherten Bilder der Vergleichsbildzeitreihe können insbesondere Kopien der Vergleichsbilder aus zu früheren Zeitpunkten zur erfindungsgemäßen Erkennung und Korrektur von Bildfehlern eingelesenen Belichtungsreihen in unveränderter oder veränderter Form sein. Insbesondere kann eine unveränderte oder veränderte Kopie des Vergleichsbildes der eingelesenen Belichtungsreihe nach dem Einlesen der Belichtungsreihe in dem Datenspeicher gespeichert werden. Im Falle eines Ringspeichers kann dieses neu hinzugekommene Vergleichsbild dann das älteste bisher gespeicherte Bild der Vergleichsbildzeitreihe ersetzen, wenn der Datenspeicher voll ist und/oder eine festgelegte Anzahl gespeicherter Bilder erreicht ist. Auf diese Weise wird in dem Datenspeicher eine Vergleichsbildzeitreihe bereitgestellt, die zeitlich aufeinanderfolgende Bilder umfasst, die von dem Bildsensor mit der gleichen Belichtungszeit erzeugt wurden wie ein aktuelles Vergleichsbild, dessen Bildfehler mit Hilfe der örtlichen Korrekturwerte korrigiert werden sollen.The stored images of the comparison image time series can, in particular, be copies of the comparison images from exposure series read in at unchanged or changed form at earlier times for the detection and correction of image errors according to the invention. In particular, an unchanged or changed copy of the comparison image of the read exposure series after reading in the exposure series can be stored in the data memory. In the case of a ring buffer, this newly added comparison image can then replace the oldest previously stored image of the comparison image time series when the data memory is full and / or a specified number of stored images has been reached. In this way, a comparison image time series is provided in the data memory, which comprises temporally successive images that were generated by the image sensor with the same exposure time as a current comparison image, the image errors of which are to be corrected with the aid of the local correction values.
Die Anwendung einer Schätzung, die auf den Bilddaten einer solchen in einem Datenspeicher vorgehaltenen Vergleichsbildzeitreihe beruht, ist zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes zweckmäßig, da zu anderen Zeitpunkten erzeugte Vergleichsbilder trotz ihrer im Vergleich zum Referenzbild kürzeren Belichtungszeit zufällig den An-Zustand der gepulsten Lichtquelle erfasst haben können. Wird die Anzahl der gespeicherten Bilder der Vergleichsbildzeitreihe groß genug gewählt, kann angenommen werden, dass mindestens eines der gespeicherten Bilder der Vergleichsbildzeitreihe den An-Zustand der gepulsten Lichtquelle erfasst hat.The use of an estimate, which is based on the image data of such a comparison image time series held in a data memory, is useful for determining the local correction values for the image data of the comparison image, since comparison images generated at other times happen to have the on state despite their shorter exposure time compared to the reference image the pulsed light source may have captured. If the number of stored images of the comparison image time series is chosen large enough, it can be assumed that at least one of the stored images of the comparison image time series has detected the on state of the pulsed light source.
Aus den Bilddaten eines oder mehrerer gespeicherter Bilder der Vergleichsbildzeitreihe, das bzw. die den An-Zustand der gepulsten Lichtquelle erfasst hat bzw. haben, kann daher ein geeigneter örtlicher Korrekturwert für die Bilddaten des Vergleichsbildes ermittelt werden. Liegen die Bilddaten beispielsweise in Form von Helligkeitswerten vor, so kann beispielsweise der Helligkeitswert eines gespeicherten Bildes, das den An-Zustand der gepulsten Lichtquelle erfasst hat, als Korrekturwert übernommen werden.A suitable local correction value for the image data of the comparison image can therefore be determined from the image data of one or more stored images of the comparison image time series which has or have detected the on state of the pulsed light source. If the image data are available, for example, in the form of brightness values, the brightness value of a stored image, for example, which has detected the on state of the pulsed light source, can be adopted as a correction value.
Die Anwendung einer Schätzung zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes, die auf den Bilddaten einer in einem Datenspeicher vorgehaltenen Vergleichsbildzeitreihe der beschriebenen Art beruht, bietet den Vorteil, dass eine besonders genaue Ermittlung der örtlichen Korrekturwerte möglich ist. Dies liegt darin begründet, dass die gespeicherten Bilder der Vergleichsbildzeitreihe mit der gleichen Belichtungszeit wie das Vergleichsbild erzeugt wurden, sodass die Bilddaten der gespeicherten Bilder eine zur Belichtungszeit des Vergleichsbildes passende Helligkeit aufweisen.The use of an estimate for determining the local correction values for the image data of the comparison image, which is based on the image data of a comparison image time series of the type described held in a data memory, offers the advantage that a particularly precise determination of the local correction values is possible. The reason for this is that the stored images of the comparison image time series were generated with the same exposure time as the comparison image, so that the image data of the stored images have a brightness that matches the exposure time of the comparison image.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, die Bilder der Vergleichsbildzeitreihe vor dem Speichern in dem Datenspeicher einer Dilatation zu unterziehen und/oder durch Downscaling zu verkleinern und/oder zu komprimieren. Die genannten Operationen können dabei in beliebiger Reihenfolge und auch mehrfach zum Einsatz kommen. So kann beispielsweise zunächst ein Downscaling durchgeführt werden, anschließend eine Dilatation und anschließend ein erneutes Downscaling. Dadurch können vorteilhaft sowohl der mit der Dilatation verbundene Rechenaufwand als auch die Größe des für das Speichern der Bilder notwendigen Datenspeichers verringert werden.In a further advantageous development of the invention, it is provided that the data processing unit is set up to subject the images of the comparison image time series to a dilation before being stored in the data memory and / or to reduce and / or compress them by downscaling. The operations mentioned can be used in any order and several times. For example, downscaling can be carried out first, then dilation and then downscaling again. As a result, both the computational complexity associated with the dilatation and the size of the data memory required for storing the images can advantageously be reduced.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, die Bilder der Vergleichsbildzeitreihe vor dem Speichern in dem Datenspeicher einer Dilatation zu unterziehen und/oder durch Downscaling zu verkleinern und/oder zu komprimieren.In a corresponding manner, in a further advantageous development of the invention, when the computer program is executed with a data processing unit, the program code means are set up to subject the images of the comparison image time series to dilation before saving them in the data memory and / or to reduce them by downscaling and / or to compress.
Gespeichert werden in diesen Fällen demnach nicht unveränderte Kopien, sondern durch Dilatation und/oder Downscaling und/oder Komprimierung veränderte Kopien von Bildern, die zu anderen Zeitpunkten als das Vergleichsbild von dem Bildsensor erzeugt wurden. Die Bilder werden in diesem Sinne in veränderter Form gespeichert. Insbesondere können die gespeicherten Bilder der Vergleichsbildzeitreihe vorteilhaft dadurch bereitgestellt werden, dass nach dem Einlesen der Belichtungsreihe eine in der genannten Weise veränderte Kopie des Vergleichsbildes der eingelesenen Belichtungsreihe in dem Datenspeicher gespeichert wird.In these cases, therefore, not unchanged copies are saved, but copies of images changed by dilation and / or downscaling and / or compression that were generated by the image sensor at times other than the comparison image. In this sense, the images are saved in a modified form. In particular, the stored images of the comparison image time series can advantageously be provided in that, after the exposure series has been read in, a copy of the comparison image of the read exposure series that has been modified in the manner mentioned is stored in the data memory.
Der Begriff der Dilatation ist dabei im Sinne der Bildverarbeitung zu verstehen. Durch die Dilatation werden bestimmte Bereiche des Bildes aufgeweitet, d. h. dilatiert. Vorteilhaft ist es erfindungsgemäß insbesondere möglich, helle Bereiche des Bildes durch eine Dilatation aufzuweiten. Die Aufweitung heller Bereiche bietet den Vorteil, dass auf diese Weise die Qualität der örtlichen Korrekturwerte, die auf Grundlage der gespeicherten Bilder der Vergleichsbildzeitreihe ermittelt werden, verbessert werden kann, da Bilddaten mit großer Helligkeit von besonderer Relevanz für die Korrektur von Bildfehlern sind, die durch flackernde Lichtinformationen hervorgerufen werden.The term dilation is to be understood in the sense of image processing. The dilation expands certain areas of the image, i.e. H. dilated. According to the invention, it is advantageously possible in particular to expand bright areas of the image by dilation. The expansion of light areas offers the advantage that the quality of the local correction values, which are determined on the basis of the stored images of the comparison image time series, can be improved in this way, since image data with high brightness are of particular relevance for the correction of image errors caused by flickering light information is caused.
Dieser Vorteil kommt insbesondere dann zur Geltung, wenn sich im Zeitverlauf eine gepulste Lichtquelle bzw. die von ihr emittierten flackernden Lichtinformationen relativ zu dem Bildsensor bewegen, beispielsweise durch Bewegung der gepulsten Lichtquelle und/oder des Bildsensors. Wird unter diesen Umständen ein örtlicher, einer bestimmten Korrekturposition zugeordneter Korrekturwert für die Bilddaten des Vergleichsbildes in den Bilddaten der gespeicherten Bilder gesucht, so kann es dazu kommen, dass aufgrund der Bewegung der passende (helle) Korrekturwert innerhalb des gespeicherten Bildes nicht an der Korrekturposition, sondern in der Umgebung dieser Position zu finden ist. Werden die für die Korrektur der Bildfehler relevanten hellen Bereiche innerhalb der gespeicherten Bilder durch Dilatation aufgeweitet, so kann dieser Effekt kompensiert werden.This advantage comes into play in particular if a pulsed light source or the flickering light information it emits move relative to the image sensor over time, for example by moving the pulsed light source and / or the image sensor. If, under these circumstances, a local correction value assigned to a specific correction position is sought for the image data of the comparison image in the image data of the stored images, it can happen that due to the movement the suitable (bright) correction value within the stored image is not at the correction position, but can be found in the vicinity of this position. If the bright areas within the stored images relevant for the correction of the image errors are expanded by dilation, this effect can be compensated for.
Vorteilhaft können die Bilder der Vergleichsbildzeitreihe des Weiteren vor dem Speichern in dem Datenspeicher durch Downscaling verkleinert werden. Das Downscaling kann dabei insbesondere ein Subsampling und/oder Downsampling und/oder eine Unterabtastung umfassen. Ein Downscaling der Bilder vor dem Speichern bietet den Vorteil, dass der für das Vorhalten der Vergleichsbilder benötigte Speicherplatz auf einfache Weise verringert werden kann.The images of the comparison image time series can furthermore advantageously be downscaled before being stored in the data memory. Downscaling can in particular include subsampling and / or downsampling and / or subsampling. Downscaling the images before saving them has the advantage that the storage space required for holding the comparison images can be reduced in a simple manner.
Vorteilhaft können die Bilder der Vergleichsbildzeitreihe außerdem vor dem Speichern in dem Datenspeicher komprimiert werden. Ein Komprimieren der Bilder vor dem Speichern bietet den Vorteil, dass der für das Vorhalten der Vergleichsbilder benötigte Speicherplatz besonders effektiv verringert werden kann.The images of the comparison image time series can also be advantageously stored in the Data storage can be compressed. Compressing the images before saving them has the advantage that the storage space required for holding the comparison images can be reduced particularly effectively.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Bilddaten der gespeicherten Bilder der Vergleichsbildzeitreihe in Bezug auf das Vergleichsbild bewegungskompensiert sind. Die Datenverarbeitungseinheit ist demnach dazu eingerichtet, die Bilder der Vergleichsbildzeitreihe in bewegungskompensierter Form in dem Datenspeicher zu speichern. Vorteilhaft kann alternativ oder ergänzend hierzu die Datenverarbeitungseinheit dazu eingerichtet sein, vor dem Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eine Bewegungskompensation der Bilddaten der gespeicherten Bilder der Vergleichsbildzeitreihe in Bezug auf das Vergleichsbild durchzuführen. Die Bewegungskompensation der Bilddaten der Bilder der Vergleichsbildzeitreihe kann somit vor und/oder nach dem Speichern der Bilder in dem Datenspeicher erfolgen. In analoger Art und Weise kann auch das Vergleichsbild vor dem Ermitteln der örtlichen Korrekturwerte in Bezug auf die Bilder der Vergleichsbildzeitzeihe bewegungskompensiert werden. Die Bewegungskompensation (Motion Compensation) kann insbesondere auf einer Bewegungsschätzung (Motion Estimation) auf Basis von Bewegungsvektoren beruhen.In a further advantageous development of the invention, it is provided that the image data of the stored images of the comparison image time series are motion-compensated with respect to the comparison image. The data processing unit is accordingly set up to store the images of the comparison image time series in motion-compensated form in the data memory. As an alternative or in addition to this, the data processing unit can advantageously be set up to perform motion compensation of the image data of the stored images of the comparison image time series with respect to the comparison image before the local correction values for the image data of the comparison image are determined. The motion compensation of the image data of the images of the comparison image time series can thus take place before and / or after the images have been stored in the data memory. In an analogous manner, the comparison image can also be motion-compensated before the local correction values are determined with respect to the images of the comparison image time series. The motion compensation can be based in particular on a motion estimation based on motion vectors.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, die Bilder der Vergleichsbildzeitreihe in bewegungskompensierter Form in dem Datenspeicher zu speichern und/oder vor dem Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eine Bewegungskompensation der Bilddaten der gespeicherten Bilder der Vergleichsbildzeitreihe in Bezug auf das Vergleichsbild durchzuführen.Correspondingly, in a further advantageous development of the invention, when the computer program is executed with a data processing unit, the program code means are set up to store the images of the comparison image time series in motion-compensated form in the data memory and / or before determining the local correction values for the image data perform a motion compensation of the image of the stored images of the comparison image time series with respect to the comparison image of the comparison image.
Die Anwendung einer Bewegungskompensation ist aufgrund der Tatsache zweckmäßig, dass sich die Zeitpunkte, zu denen die gespeicherten Bilder der Vergleichsbildzeitreihe von dem Bildsensor erzeugt worden sind, von dem Zeitpunkt unterscheiden, zu dem das mindestens eine Vergleichsbild der eingelesenen Belichtungsreihe erzeugt worden ist. Darüber hinaus können sich auch die Zeitpunkte, zu denen die verschiedenen gespeicherten Bilder der Vergleichszeitzeihe von dem Bildsensor erzeugt worden sind, voneinander unterscheiden.The use of motion compensation is expedient because the times at which the stored images of the comparison image time series were generated by the image sensor differ from the time at which the at least one comparison image of the read exposure series was generated. In addition, the times at which the various stored images of the comparison time series were generated by the image sensor can differ from one another.
Relativbewegungen eines Objektes zwischen den mit den verschiedenen Bildern erfassten Szenen können aufgrund der unterschiedlichen Bilderzeugungszeitpunkte dazu führen, dass das mindestens eine Vergleichsbild und die verschiedenen Bilder der Vergleichsbildzeitreihe das sich bewegende Objekt in verschiedenen Positionen zeigen. Ein solches sich bewegendes Objekt kann beispielsweise eine gepulste Lichtquelle sein, die das Vergleichsbild im Aus-Zustand zeigt, obwohl die gepulste Lichtquelle tatsächlich eingeschaltet ist. In diesem Fall wird mit Hilfe der Erfindung innerhalb des Vergleichsbildes eine Anzahl von Bildfehlern an zugeordneten Fehlerpositionen erkannt, die mit Hilfe örtlicher Korrekturwerte korrigiert werden müssen. Die Genauigkeit der örtlichen Korrekturwerte, die aus den gespeicherten Bildern der Vergleichsbildzeitreihe ermittelt werden, kann dabei durch die Relativbewegung der gepulsten Lichtquelle beeinträchtigt werden, da es dazu kommen kann, dass die gespeicherten Bilder der Vergleichsbildzeitreihe die gepulste Lichtquelle aufgrund der Bewegung nicht an der Fehlerposition, sondern an einer zur Fehlerposition versetzten Position zeigen.Relative movements of an object between the scenes captured with the different images can lead to the fact that the at least one comparison image and the different images of the comparison image time series show the moving object in different positions due to the different image generation times. Such a moving object can be, for example, a pulsed light source that shows the comparison image in the off state, even though the pulsed light source is actually switched on. In this case, with the aid of the invention, a number of image errors at assigned error positions are recognized within the comparison image, which must be corrected using local correction values. The accuracy of the local correction values that are determined from the stored images of the comparison image time series can be impaired by the relative movement of the pulsed light source, since it can happen that the stored images of the comparison image time series do not move the pulsed light source at the error position due to the movement but point to a position offset from the error position.
Die Anwendung einer Bewegungskompensation zwischen den gespeicherten Bildern der Vergleichsbildzeitreihe einerseits und dem Vergleichsbild, dessen Bildfehler korrigiert werden sollen, anderseits hat daher den Vorteil, dass durch die Bewegungskompensation die negativen Auswirkungen von Relativbewegungen ausgeglichen werden können und die Genauigkeit der örtlichen Korrekturwerte, die anhand einer Schätzung aus den gespeicherten Bildern der Vergleichsbildzeitreihe ermittelt werden, verbessert werden kann.The use of motion compensation between the stored images of the comparison image time series on the one hand and the comparison image whose image errors are to be corrected, on the other hand, therefore has the advantage that the negative effects of relative movements can be compensated for by the motion compensation and the accuracy of the local correction values based on an estimate can be determined from the stored images of the comparison image time series, can be improved.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Datenverarbeitungseinheit derart zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eingerichtet ist, dass ein maximaler örtlicher Helligkeitswert aus den Bilddaten der Bilder der Vergleichsbildzeitreihe ermittelt wird und der maximale örtliche Helligkeitswert als örtlicher Korrekturwert verwendet wird.In a further advantageous development of the invention it is provided that the data processing unit is set up to determine the local correction values for the image data of the comparison image such that a maximum local brightness value is determined from the image data of the images of the comparison image time series and the maximum local brightness value is used as the local correction value becomes.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, derart zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes eingerichtet, dass ein maximaler örtlicher Helligkeitswert aus den Bilddaten der Bilder der Vergleichsbildzeitreihe ermittelt wird und der maximale örtliche Helligkeitswert als örtlicher Korrekturwert verwendet wird.Correspondingly, in a further advantageous development of the invention, when the computer program is executed with a data processing unit, the program code means are set up to determine the local correction values for the image data of the comparison image such that a maximum local brightness value is determined from the image data of the images of the comparison image time series and the maximum local brightness value is used as the local correction value.
Unter einem örtlichen Helligkeitswert wird dabei ein Helligkeitswert an einer bestimmten Position des Bildes verstanden. Die Position des örtlichen Helligkeitswerts kann sich wiederum beispielsweise auf die Position eines einzelnen Pixels im Bild beziehen, wodurch eine besonders hohe Genauigkeit des örtlichen Korrekturwerts erzielt wird. Die Position des örtlichen Helligkeitswerts kann sich aber auch auf die Position eines größeren Bereichs des Bildes, beispielsweise auf die Position eines Bildblocks im Bild, beziehen. Hierdurch wird der mit dem Ermitteln der örtlichen Korrekturwerte verbundene Rechen- und Speicheraufwand verringert. Der örtliche Helligkeitswert kann sich grundsätzlich auch auf das gesamte Bild beziehen. Auf diese Weise kann der Rechen- und Speicheraufwand weiter verringert werden. Ein örtlicher Helligkeitswert, insbesondere ein maximaler örtlicher Helligkeitswert, kann somit beispielsweise eine pixelgenaue, blockgenaue oder bildgenaue Auflösung aufweisen.A local brightness value is understood to mean a brightness value at a specific position in the image. The position of the local brightness value can in turn affect the position of a single pixel in the image, for example relate, whereby a particularly high accuracy of the local correction value is achieved. However, the position of the local brightness value can also relate to the position of a larger area of the image, for example to the position of an image block in the image. This reduces the computing and storage effort associated with determining the local correction values. The local brightness value can in principle also refer to the entire image. In this way, the computing and storage effort can be reduced further. A local brightness value, in particular a maximum local brightness value, can thus have, for example, a pixel-precise, block-accurate or image-precise resolution.
Um einen örtlichen Korrekturwert zu ermitteln, der einer bestimmten Korrekturposition innerhalb des Vergleichsbildes zugeordnet ist, kann demnach vorgesehen werden, dass durch Vergleichen der Helligkeitswerte der Bilder der Vergleichsbildzeitreihe an der Korrekturposition der maximale örtliche Helligkeitswert, d. h. das Bilddatum mit der höchsten Helligkeit, für diese Korrekturposition ermittelt wird. Dieser maximale örtliche Helligkeitswert kann als örtlicher Korrekturwert für die Korrekturposition verwendet werden.In order to determine a local correction value that is assigned to a specific correction position within the comparison image, it can accordingly be provided that by comparing the brightness values of the images of the comparison image time series at the correction position, the maximum local brightness value, i. H. the image date with the highest brightness for this correction position is determined. This maximum local brightness value can be used as a local correction value for the correction position.
Die Verwendung maximaler örtlicher Helligkeitswerte als örtliche Korrekturwerte ist vorteilhaft, da angenommen werden kann, dass eines oder mehrere der gespeicherten Bilder der Vergleichsbildzeitreihe die flackernde Lichtinformation, die einen zu korrigierenden Bildfehler hervorgerufen hat, im An-Zustand bzw. in einem Zustand großer Helligkeit erfasst hat. Durch die Bestimmung maximaler örtlicher Helligkeitswerte können auf einfache und effiziente Weise diejenigen Bilddaten aus der Vergleichsbildzeitreihe ermittelt werden, welche die gepulste Lichtquelle bzw. die von ihr emittierte flackernde Lichtinformation im An-Zustand bzw. im Zustand großer Helligkeit zeigen.The use of maximum local brightness values as local correction values is advantageous since it can be assumed that one or more of the stored images of the comparison image time series has captured the flickering light information that has caused an image error to be corrected in the on state or in a state of high brightness . By determining maximum local brightness values, the image data from the comparison image time series can be determined in a simple and efficient manner that shows the pulsed light source or the flickering light information it emits in the on state or in the state of high brightness.
Insbesondere können in einer vorteilhaften Weiterbildung der Erfindung sämtliche maximalen örtlichen Helligkeitswerte für sämtliche möglichen Korrekturpositionen aus den Bilddaten der Vergleichsbildzeitreihe ermittelt und gespeichert werden. Beispielsweise kann für jede einzelne Pixelposition der maximale Helligkeitswert aus den Bilddaten der Vergleichsbildzeitreihe ermittelt werden. Auf diese Weise entsteht ein Maximalhelligkeitsbild, dessen Bilddaten für jede Korrekturposition den maximalen Helligkeitswert der Vergleichsbildzeitreihe aufweisen. Im Bedarfsfall, d. h. sofern die generierte Fehlermaske an mindestens einer Fehlerposition einen Bildfehler des Vergleichsbildes anzeigt, kann dann dem Maximalhelligkeitsbild an der der Fehlerposition entsprechenden Korrekturposition der Korrekturwert für das Vergleichsbild entnommen werden.In particular, in an advantageous development of the invention, all maximum local brightness values for all possible correction positions can be determined and stored from the image data of the comparison image time series. For example, the maximum brightness value can be determined for each individual pixel position from the image data of the comparison image time series. In this way, a maximum brightness image is created, the image data of which have the maximum brightness value of the comparison image time series for each correction position. If necessary, d. H. if the generated error mask indicates an image error of the comparison image at at least one error position, the correction value for the comparison image can then be taken from the maximum brightness image at the correction position corresponding to the error position.
Die Bilddaten des Maximalhelligkeitsbildes können vorteilhaft außerdem einer Dilatation unterzogen werden, bei der die hellen Bereiche des Maximalhelligkeitsbildes aufgeweitet werden. Durch die Dilatation können vorteilhaft Relativbewegungen der gepulsten Lichtquellen bzw. der von ihnen emittierten flackernden Lichtinformationen ausgeglichen werden, sodass eine verbesserte Genauigkeit der dem Maximalhelligkeitsbild entnommenen örtlichen Korrekturwerte erreicht wird.The image data of the maximum brightness image can also advantageously be subjected to a dilation in which the bright areas of the maximum brightness image are expanded. The dilation can advantageously compensate for relative movements of the pulsed light sources or the flickering light information they emit, so that an improved accuracy of the local correction values taken from the maximum brightness image is achieved.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass aus der Belichtungsreihe, die insbesondere eine von einem HDR-Bildsensor erzeugte HDR-Belichtungsreihe sein kann, durch HDR-Postprocessing (High-Dynamic-Range-Postprocessing) unter Verwendung mindestens eines korrigierten Vergleichsbildes ein Ausgabebild für den Betrachter erzeugt wird. Dabei werden zunächst ein oder mehrere Vergleichsbilder, die Bestandteil der eingelesenen Belichtungsreihe sind, korrigiert, indem örtliche Korrekturwerte an den durch die Fehlermaske angezeigten Fehlerpositionen eingefügt werden. Dadurch wird eine korrigierte Belichtungsreihe erzeugt, die Bilder unterschiedlicher Belichtungszeit, nämlich mindestens ein Referenzbild und mindestens ein korrigiertes Vergleichsbild, enthält. Aus den Bilddaten der Bilder dieser korrigierten Belichtungsreihe kann durch HDR-Postprocessing in dem Fachmann bekannter Weise ein Ausgabebild für den Betrachter erzeugt werden.In a further advantageous development of the invention, it is provided that HDR postprocessing (high dynamic range postprocessing) using at least one corrected comparison image results from the exposure series, which can in particular be an HDR exposure series generated by an HDR image sensor Output image is generated for the viewer. First, one or more comparison images that are part of the read exposure series are corrected by inserting local correction values at the error positions indicated by the error mask. This produces a corrected exposure series which contains images of different exposure times, namely at least one reference image and at least one corrected comparison image. An output image for the viewer can be generated from the image data of the images of this corrected exposure series by HDR postprocessing in a manner known to those skilled in the art.
Die Erzeugung eines solchen Ausgabebildes aus der (korrigierten) Belichtungsreihe durch HDR-Postprocessing bietet zum einen den Vorteil, dass aufgrund der unterschiedlichen Belichtungszeiten der Bilder der Belichtungsreihe eine größere Helligkeitsdynamik im Vergleich zu einem Einzelbild bereitgestellt wird, sodass die Qualität des Ausgabebildes diesbezüglich verbessert werden kann. Zum anderen bietet dies den Vorteil, dass durch kurze Belichtungszeiten bedingte Bildfehler im Ausgabebild vermieden werden, da die im jeweiligen Vergleichsbild vorgenommenen Korrekturen in das Ausgabebild übernommen werden können. Auf diese Weise kann ein Flicker-reduziertes oder sogar ein Flicker-befreites Ausgabebild mit verbesserter Helligkeitsdynamik bereitgestellt werden.The generation of such an output image from the (corrected) exposure series by HDR postprocessing has the advantage, on the one hand, that due to the different exposure times of the images of the exposure series, greater brightness dynamics are provided compared to a single image, so that the quality of the output image can be improved in this regard . On the other hand, this has the advantage that image errors caused by short exposure times are avoided in the output image, since the corrections made in the respective comparison image can be adopted in the output image. In this way, a flicker-reduced or even a flicker-free output image with improved brightness dynamics can be provided.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die eingelesene Belichtungsreihe Bestandteil einer von dem Bildsensor erzeugten Belichtungsreihensequenz ist, wobei die Belichtungsreihensequenz eine Folge von Belichtungsreihen umfasst. Die Folge von Belichtungsreihen zeigt zeitlich aufeinanderfolgende Szenen, die flackernde Lichtinformationen enthalten können.In a further advantageous development of the invention, it is provided that the read exposure series is part of an exposure series sequence generated by the image sensor, the exposure series sequence comprising a series of exposure series. The sequence of exposure series shows successive scenes that can contain flickering light information.
Eine solche Belichtungsreihensequenz kann insbesondere eine von dem Bildsensor erzeugte Videosequenz sein. Dabei wird jede der zeitlich aufeinanderfolgenden Szenen nicht lediglich durch ein Einzelbild dargestellt, wie dies bei herkömmlichen Bildsequenzen zur Darstellung bewegter Bilder der Fall ist, sondern jede der aufeinanderfolgenden Szenen wird durch eine Belichtungsreihe dargestellt, die mehrere Bilder mit unterschiedlicher Belichtungszeit umfasst.Such an exposure sequence can in particular be one generated by the image sensor Video sequence. Each of the temporally successive scenes is not only represented by a single image, as is the case with conventional image sequences for displaying moving images, but each of the successive scenes is represented by an exposure series which comprises several images with different exposure times.
Die Datenverarbeitungseinheit kann auf diese Weise die Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern auf die einzelnen zeitlich aufeinanderfolgenden Belichtungsreihen einer Belichtungsreihensequenz, insbesondere einer Videosequenz, anwenden, sodass vorteilhaft durch flackernde Lichtinformationen hervorgerufene Bildfehler in der Belichtungsreihensequenz erkannt und korrigiert werden können. In entsprechender Weise können auf diese Weise die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, die Erkennung und Korrektur der Bildfehler auf die einzelnen zeitlich aufeinanderfolgenden Belichtungsreihen der Belichtungsreihensequenz anwenden.In this way, the data processing unit can apply the detection and correction of image errors caused by flickering light information to the individual temporally successive exposure series of an exposure series sequence, in particular a video sequence, so that image errors in the exposure series sequence caused by flickering light information can advantageously be recognized and corrected. In a corresponding manner, the program code means can, when the computer program is executed with a data processing unit, apply the detection and correction of the image errors to the individual time-sequential exposure series of the exposure series sequence.
Die Erfindung eignet sich daher insbesondere zur Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern in Videosequenzen.The invention is therefore particularly suitable for the detection and correction of image errors in video sequences caused by flickering light information.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Belichtungszeit mindestens eines Referenzbildes zwischen 50 % und 100 % der Bilddauer der Belichtungsreihensequenz beträgt. Für eine Bildfrequenz von 60 Bildern pro Sekunde d.h einer Bilddauer von 1/60 s (~16.67ms) ist vorgesehen, daß die Belichtungszeit mindestens eines Referenzbildes zwischen 1/120 s (-8,33 ms) und 1/60 s (-16.67ms) beträgt. Die Belichtungszeit mindestens eines Vergleichsbildes kann insbesondere 1 ms oder weniger betragen.In a further advantageous development of the invention it is provided that the exposure time of at least one reference image is between 50% and 100% of the image duration of the exposure sequence. For a frame rate of 60 frames per second, ie a frame duration of 1/60 s (~ 16.67ms), it is provided that the exposure time of at least one reference image is between 1/120 s (-8.33 ms) and 1/60 s (-16.67 ms) is. The exposure time of at least one comparison image can in particular be 1 ms or less.
Im Falle einer herkömmlichen Bildsequenz, bei der zur Darstellung bewegter Bilder eine Abfolge zeitlicher aufeinanderfolgender, mit einer bestimmten Bildfrequenz (Frame Rate) aufgenommener und wiedergegebener Bilder verwendet wird, bezeichnet die Bilddauer (Frame Duration) den Kehrwert der Bildfrequenz, d. h. den zeitlichen Abstand zweier zeitlich unmittelbar aufeinanderfolgender Bilder. In Analogie hierzu wird unter der Bilddauer der Belichtungsreihensequenz der zeitliche Abstand zweier zeitlich unmittelbar aufeinanderfolgender Belichtungsreihen verstanden.In the case of a conventional image sequence in which a sequence of temporally successive images recorded and reproduced at a specific image frequency (frame rate) is used to display moving images, the image duration (frame duration) denotes the reciprocal of the image frequency, i. H. the time interval between two images that follow one another in time. In analogy to this, the duration of the image of the exposure series sequence is understood to mean the time interval between two exposure series immediately following one another.
Der Bildsensor kann beispielsweise Belichtungsreihen mit einer Frequenz von 60 Hz erzeugen. In diesem Fall beträgt die Bilddauer der von dem Bildsensor erzeugten Belichtungsreihensequenz 1000/60 ms = 50/3 ms ≈ 16,67 ms. Soll die Belichtungszeit mindestens eines Referenzbildes in diesem Fall zwischen 50 % und 100 % der Bilddauer der Belichtungsreihensequenz betragen, so ergeben sich Belichtungszeiten zwischen 25/3 ms und 50/3 ms. Der Bildsensor kann allerdings auch Belichtungsreihen mit einer höheren oder geringeren Frequenz, z. B. mit einer Frequenz von 50 Hz, 30 Hz, 25 Hz, 100 Hz oder mit einer anderen Frequenz erzeugen. Die Erfindung ist grundsätzlich unabhängig von der Frequenz, mit der der Bildsensor die Belichtungsreihen der Belichtungsreihensequenz erzeugt, und kann für Belichtungsreihensequenzen beliebiger Bilddauer angewendet werden.The image sensor can, for example, generate exposure series with a frequency of 60 Hz. In this case, the image duration of the exposure series sequence generated by the image sensor is 1000/60 ms = 50/3 ms ≈ 16.67 ms. If in this case the exposure time of at least one reference image is to be between 50% and 100% of the image duration of the exposure sequence, exposure times between 25/3 ms and 50/3 ms result. However, the image sensor can also use a series of exposures with a higher or lower frequency, e.g. B. with a frequency of 50 Hz, 30 Hz, 25 Hz, 100 Hz or with another frequency. The invention is fundamentally independent of the frequency with which the image sensor generates the exposure series of the exposure series sequence, and can be used for exposure series sequences of any image duration.
Wird die Belichtungszeit mindestens eines Referenzbildes so gewählt, dass sie zwischen 50 % und 100 % der Bilddauer der Belichtungsreihensequenz beträgt, so bietet dies den Vorteil, dass der An-Zustand der eingeschalteten gepulsten Lichtquellen, z. B. eingeschalteter LEDs, mit hoher Wahrscheinlichkeit vollständig oder zumindest teilweise in die Belichtungszeit fällt und somit durch das Referenzbild erfasst wird. Wird die Belichtungszeit mindestens eines Referenzbildes so gewählt, dass sie 100 % der Bilddauer der Belichtungsreihensequenz entspricht, so kann davon ausgegangen werden, dass der An-Zustand der eingeschalteten gepulsten Lichtquellen, z. B. eingeschalteter LEDs, mit Sicherheit durch das Referenzbild erfasst wird. Wird die Belichtungszeit mindestens eines Referenzbildes so gewählt, dass sie zwischen 50 % und 100 % der Bilddauer der Belichtungsreihensequenz beträgt, so kann demnach vorteilhaft sichergestellt werden, dass Bildfehler in den Bilddaten des Vergleichsbildes, die durch flackernde Lichtinformationen hervorgerufen wurden, durch einen Vergleich mit den Bilddaten des Referenzbildes zuverlässig erkannt werden können.If the exposure time of at least one reference image is chosen such that it is between 50% and 100% of the image duration of the exposure series sequence, this offers the advantage that the on-state of the switched-on pulsed light sources, e.g. B. switched on LEDs, with high probability falls completely or at least partially in the exposure time and is thus detected by the reference image. If the exposure time of at least one reference image is chosen so that it corresponds to 100% of the image duration of the exposure sequence, it can be assumed that the on-state of the switched-on pulsed light sources, e.g. B. switched on LEDs is detected with certainty by the reference image. If the exposure time of at least one reference image is chosen in such a way that it is between 50% and 100% of the image duration of the exposure series sequence, it can accordingly advantageously be ensured that image errors in the image data of the comparison image, which were caused by flickering light information, by a comparison with the Image data of the reference image can be reliably recognized.
Beträgt die Belichtungszeit mindestens eines Vergleichsbildes 1 ms oder weniger, so bietet dies zum einen den Vorteil, dass das Vergleichsbild auch dann eine hinreichende Bildschärfe aufweist, wenn die abgebildete Szene schnelle Relativbewegungen enthält. Bei Verwendung einer längeren Belichtungszeit könnten die von der Relativbewegung betroffenen Teile der Szene hingegen unscharf wiedergegeben werden. Zum anderen bietet diese kurze Belichtungszeit des Vergleichsbildes den Vorteil, dass auch sehr helle Bereiche der Szene fehlerfrei abgebildet werden können, da der Bildsensor aufgrund der kurzen Belichtungszeit auch in den sehr hellen Bereichen nicht die Sättigung erreicht. Unerwünschte Clipping-Effekte in den Bilddaten des Vergleichsbildes, die durch eine Übersteuerung des Bildsensors hervorgerufen werden, werden dabei vermieden.If the exposure time of at least one comparison image is 1 ms or less, this offers the advantage, on the one hand, that the comparison image has sufficient image sharpness even if the imaged scene contains rapid relative movements. When using a longer exposure time, however, the parts of the scene affected by the relative movement could be reproduced out of focus. On the other hand, this short exposure time of the comparison image offers the advantage that even very bright areas of the scene can be imaged without errors, since the image sensor does not reach saturation even in the very bright areas due to the short exposure time. Undesired clipping effects in the image data of the comparison image, which are caused by an overload of the image sensor, are avoided.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, die zuvor erläuterten Maßnahmen zur Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern zu wiederholen. Die erfindungsgemäße Erkennung und Korrektur von durch flackernde Lichtinformationen hervorgerufenen Bildfehlern werden dabei auf eine Mehrzahl von Belichtungsreihen der Belichtungsreihensequenz oder auf jede Belichtungsreihe der Belichtungsreihensequenz angewendet. Dadurch wird eine korrigierte Belichtungsreihensequenz erzeugt, die korrigierte Vergleichsbilder umfasst.In a further advantageous development of the invention, it is provided that the data processing unit is set up to carry out the previously explained measures for detection and correction to repeat image errors caused by flickering light information. The detection and correction according to the invention of image errors caused by flickering light information are applied to a plurality of exposure series of the exposure series sequence or to each exposure series of the exposure series sequence. As a result, a corrected exposure series sequence is generated, which comprises corrected comparison images.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, die Erkennung und Korrektur der durch flackernde Lichtinformationen hervorgerufenen Bildfehler zu wiederholen und auf eine Mehrzahl von Belichtungsreihen der Belichtungsreihensequenz oder auf jede Belichtungsreihe der Belichtungsreihensequenz anzuwenden, um eine korrigierte Belichtungsreihensequenz zu erzeugen, die korrigierte Vergleichsbilder umfasst.Correspondingly, in a further advantageous development of the invention, when the computer program is executed with a data processing unit, the program code means are set up to repeat the detection and correction of the image errors caused by flickering light information and to a plurality of exposure series of the exposure series sequence or to each exposure series of the exposure series sequence to generate a corrected exposure series sequence comprising corrected comparison images.
Die Belichtungsreihensequenz kann dabei insbesondere eine Videosequenz sein. Auf diese Weise kann die Erfindung vorteilhaft beispielsweise auf eine Videosequenz angewendet werden, die durch flackernde Lichtinformationen hervorgerufene Bildfehler enthält, um die Bildfehler der Videosequenz zu erkennen und zu korrigieren, sodass eine Flicker-reduzierte oder sogar eine Flicker-befreite Videosequenz bereitgestellt werden kann.The exposure sequence can in particular be a video sequence. In this way, the invention can advantageously be applied, for example, to a video sequence which contains image errors caused by flickering light information in order to recognize and correct the image errors of the video sequence, so that a flicker-reduced or even a flicker-free video sequence can be provided.
In einer weiteren vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Datenverarbeitungseinheit dazu eingerichtet ist, auf die Bilddaten der Bilder der korrigierten Belichtungsreihensequenz ein Korrekturverfahren zur Korrektur verbleibender, durch flackernde Lichtinformationen hervorgerufener Bildfehler anzuwenden. Die Korrekturmaßnahmen können sich dabei auf eine Bewegungsschätzung und eine Bewegungskompensation der Bilddaten der Bilder der korrigierten Belichtungsreihensequenz stützen. Ergänzend oder alternativ hierzu können sich die Korrekturmaßnahmen auf ein Mischen der Bilddaten verschiedener Bilder der korrigierten Belichtungsreihensequenz stützen.In a further advantageous development of the invention, it is provided that the data processing unit is set up to apply a correction method for correcting remaining image errors caused by flickering light information to the image data of the images of the corrected exposure sequence. The corrective measures can be based on a motion estimation and a motion compensation of the image data of the images of the corrected exposure sequence. In addition or as an alternative to this, the corrective measures can be based on a mixing of the image data of different images of the corrected exposure sequence.
In entsprechender Weise sind in einer weiteren vorteilhaften Weiterbildung der Erfindung die Programmcodemittel, wenn das Computerprogramm mit einer Datenverarbeitungseinheit ausgeführt wird, dazu eingerichtet, auf die Bilddaten der Bilder der korrigierten Belichtungsreihensequenz Korrekturmaßnahmen zur Korrektur verbleibender, durch flackernde Lichtinformationen hervorgerufener Bildfehler anzuwenden, die sich auf eine Bewegungsschätzung und eine Bewegungskompensation der Bilddaten der Bilder der korrigierten Belichtungsreihensequenz und/oder auf ein Mischen der Bilddaten verschiedener Bilder der korrigierten Belichtungsreihensequenz stützen.Correspondingly, in a further advantageous development of the invention, the program code means, when the computer program is executed with a data processing unit, are set up to apply corrective measures to the image data of the images of the corrected exposure sequence to correct remaining image errors caused by flickering light information, which are related to a Base motion estimation and motion compensation of the image data of the images of the corrected exposure series sequence and / or on a mixing of the image data of different images of the corrected exposure series sequence.
Auch nach der Anwendung der zuvor erläuterten erfindungsgemäßen Korrektur von Bildfehlern durch Einfügen örtlicher Korrekturwerte kann die Belichtungsreihensequenz, die insbesondere eine Videosequenz sein kann, noch verbleibende Bildfehler aufweisen, die durch flackernde Lichtinformationen hervorgerufen wurden. Durch das Mischen der Bilddaten verschiedener Bilder der korrigierten Belichtungsreihensequenz werden die Bilder der korrigierten Belichtungsreihensequenz quasi interpoliert. Wurde eine flackernde Lichtinformationen in einem der Bilder, deren Bilddaten gemischt werden, korrekt erfasst, in einem anderen Bild jedoch aufgrund eines Bildfehlers nicht erfasst, bleibt diese korrekt erfasste Lichtinformation nach dem Mischen erhalten. Die Lichtinformation wird durch das Mischen zwar abgeschwächt, ist aber trotzdem vorhanden. Die Bilder der Belichtungsreihensequenz können für das Mischen nach einer Bewegungsschätzung bewegungskompensiert werden, sodass durch eine zwischenzeitliche Relativbewegung verschobene Bildinhalte für die Quasi-Interpolation wieder zusammengeführt werden. Es können somit die dem Fachmann bekannten Methoden zur Bewegungsschätzung und Bewegungskompensation genutzt werden.Even after the above-described correction of image errors by inserting local correction values has been applied, the exposure series sequence, which in particular can be a video sequence, can still have remaining image errors which were caused by flickering light information. By mixing the image data of different images of the corrected exposure series sequence, the images of the corrected exposure series sequence are quasi interpolated. If flickering light information was correctly recorded in one of the images whose image data is mixed, but was not recorded in another image due to an image error, this correctly recorded light information is retained after the mixing. The light information is weakened by the mixing, but is still there. The images of the exposure series sequence can be motion-compensated for the mixing after a motion estimation, so that image contents shifted by an intermediate relative motion are brought together again for the quasi-interpolation. The methods known to those skilled in the art for motion estimation and motion compensation can thus be used.
Auf diese Weise können vorteilhaft verbleibende, durch flackernde Lichtinformationen hervorgerufene Bildfehler in den Bildern der korrigierten Belichtungsreihensequenz korrigiert werden.In this way, remaining image errors caused by flickering light information in the images of the corrected exposure sequence can advantageously be corrected.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mit den beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 - Schematische Darstellung einer beispielhaften Belichtungsreihe mit einem Referenzbild und zwei Vergleichsbildern sowie zwei daraus generierten Fehlermasken; -
2 - Schematische Darstellung eines ersten Ausführungsbeispiels der Erfindung; -
3 - Blockdiagramm eines zweiten Ausführungsbeispiels der Erfindung; -
4 - Blockdiagramm eines Ausführungsbeispiels einer erfindungsgemäßen Fehlerkorrektur unter Verwendung maximaler Helligkeitswerte; -
5 - Blockdiagramm einer Bildverarbeitungseinheit.
-
1 - Schematic representation of an exemplary exposure series with a reference image and two comparison images and two error masks generated therefrom; -
2nd - Schematic representation of a first embodiment of the invention; -
3rd - Block diagram of a second embodiment of the invention; -
4th - Block diagram of an embodiment of an error correction according to the invention using maximum brightness values; -
5 - Block diagram of an image processing unit.
Die Bilder Li, Si und VSi der Belichtungsreihe zeigen dieselbe Szene
Beide Scheinwerfer
Aufgrund seiner langen Belichtungszeit zeigt das Referenzbild Li hingegen beide Scheinwerfer
Zu diesem Zweck werden die Bilddaten des jeweiligen Vergleichsbildes Si bzw. VSi mit den Bilddaten des Referenzbildes Li örtlich, d. h. positionsweise verglichen und auf diese Weise örtliche Abweichungen zwischen den Bilddaten ermittelt. Im dargestellten Beispiel erfolgt der Vergleich pixelweise, d. h. die Bilddaten werden für jeden einzelnen Pixel der Bilder verglichen. Die Bilddaten liegen dabei in Form von Helligkeitswerten mit einer beispielhaften Auflösung von 8 bit, d. h. in einem Wertebereich von 0 bis 255 vor.For this purpose, the image data of the respective comparison image S i or VS i are compared locally with the image data of the reference image L i , ie position-wise, and local deviations between the image data are determined in this way. In the example shown, the comparison is carried out pixel by pixel, ie the image data are compared for each individual pixel of the images. The image data are in the form of brightness values with an exemplary resolution of 8 bits, ie in a value range from 0 to 255.
Die Bilddaten des Referenzbildes Li haben aufgrund der langen Belichtungszeit im Bereich der beiden Scheinwerfer
Um die Bilddaten der mit unterschiedlichen Belichtungszeiten aufgenommenen Bilder miteinander vergleichen zu können, werden diese zunächst auf eine einheitliche Bezugsgröße normiert. Die Bezugsgröße der normierten Bilddaten kann dabei grundsätzlich frei gewählt werden. In dem in
Die Bilddaten Si(x,y) und VSi(x,y) des ersten und zweiten Vergleichsbildes hingegen beruhen auf einer kürzeren Belichtungsdauer und werden daher zu Vergleichszwecken auf die Belichtungszeit TL des Referenzbildes normiert, indem die Helligkeitswerte mit einem Faktor ks bzw. kv multipliziert werden, der sich aus dem Verhältnis der Belichtungszeiten ergibt. Dabei gilt
Dabei wird zunächst erkennbar, dass das Referenzbild an den Pixelpositionen, die den ersten Scheinwerfer
Darüber hinaus wird durch das örtliche Vergleichen der Bilddaten erkennbar, dass das Referenzbild an den Pixelpositionen, die den zweiten Scheinwerfer
Die normierte Helligkeit der Vergleichsbilder ist demnach im Bereich des Scheinwerfers
Diese örtlichen Abweichungen zwischen den Bilddaten des Referenzbildes Li und den Bilddaten der Vergleichsbilder Si und VSi weisen darauf hin, dass die Bilddaten der Referenzbilder im Bereich des zweiten Scheinwerfers durch flackernde Lichtinformationen hervorgerufene Bildfehler enthalten. In Abhängigkeit der örtlichen Abweichungen lassen sich daher Fehlermasken E(Si) und E(VSi) generieren, welche die Fehlerpositionen von Bildfehlern innerhalb der Vergleichsbilder Si bzw. VSi anzeigen.These local deviations between the image data of the reference image L i and the image data of the comparison images S i and VS i indicate that the image data of the reference images in the region of the second headlight contain image errors caused by flickering light information. Depending on the local deviations, error masks E (S i ) and E (VS i ) can therefore be generated, which display the error positions of image errors within the comparison images S i and VS i .
Zum Generieren einer solchen Fehlermaske E(Si(x,y)) bzw. E(VSi(x,y)) können beispielsweise für das erste Vergleichsbild Si die Bedingungen
Alternativ hierzu können zur Generierung der Fehlermaske die durch die Differenzen Δs(x,y) bzw. Δv(x,y) quantifizierten örtlichen Abweichungen mit einem Schwellenwert Eth verglichen werden. Ein Bildfehler an der Fehlerposition (x,y) wird in diesem Fall angenommen, wenn der Schwellenwert erreicht oder überschritten wird, d h. es ergeben sich die Bedingungen
Auf diese Weise kann somit eine Fehlermaske generiert werden, welche die Fehlerpositionen von Bildfehlern innerhalb des jeweiligen Vergleichsbildes, die durch flackernde Lichtinformationen hervorgerufen wurden, anzeigt.In this way, an error mask can be generated which displays the error positions of image errors within the respective comparison image, which were caused by flickering light information.
Im dargestellten Beispiel der
Unter Verwendung der generierten Fehlermasken ist es nun möglich, die Bildfehler der Vergleichsbilder an den durch die Fehlermaske angezeigten Fehlerpositionen durch Korrekturwerte zu korrigieren. Das erfindungsgemäße Ermitteln örtlicher Korrekturwerte und das erfindungsgemäße Erzeugen eines korrigierten Vergleichsbildes werden anhand der folgenden
Abweichend von dem hier dargestellten vereinfachten Beispiel können bei der Normierung der Bilddaten neben der Belichtungszeit auch weitere Belichtungsparameter und Betriebskenngrößen des Bildsensors berücksichtigt werden. Hierzu gehören beispielsweise die Sensor-Empfindlichkeit, die analoge Verstärkung (analog gain) im Sensor-A/D Konverter, die Blendenzahl und/oder die Empfindlichkeitskurve (camera response curve) des Bildsensors.In a departure from the simplified example shown here, in addition to the exposure time, other exposure parameters and operating parameters of the image sensor can also be taken into account when normalizing the image data. These include, for example, the sensor sensitivity, the analog gain in the sensor-A / D converter, the f-number and / or the sensitivity curve (camera response curve) of the image sensor.
Die eingelesene Belichtungsreihe, welche die Bilder Li und Si umfasst, ist analog zu den vorangegangenen Ausführungen die i-te Belichtungsreihe einer von einem Bildsensor erzeugten Videosequenz, d. h. einer Belichtungsreihensequenz, die in aufeinanderfolgenden Zeitschritten erzeugte Belichtungsreihen umfasst.The read-in exposure series, which comprises the images L i and S i , is analogous to the previous explanations, the i-th exposure series of a video sequence generated by an image sensor, ie an exposure series sequence which comprises exposure series generated in successive time steps.
Beide Scheinwerfer
Analog zu den Ausführungen zu dem in
Damit sind die Positionen bekannt, an denen das Vergleichsbild Si durch flackernde Lichtinformationen hervorgerufene Bildfehler aufweist, die korrigiert werden müssen. Unter Verwendung der generierten Fehlermasken ist es nun möglich, die Bildfehler der Vergleichsbilder an den durch die Fehlermaske angezeigten Fehlerpositionen durch örtliche Korrekturwerte zu korrigieren.The positions are thus known at which the comparison image S i has image errors caused by flickering light information which have to be corrected. Using the generated error masks, it is now possible to correct the image errors of the comparison images at the error positions indicated by the error mask by means of local correction values.
Zum Ermitteln der örtlichen Korrekturwerte wird in dem in
Zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes Si wird ausgenutzt, dass durch flackernde Lichtinformationen hervorgerufene Bildfehler quasi-zufällig auftreten. Die zu früheren Zeitpunkten aufgenommenen gespeicherten Bilder S'i-N,... S'i-1 können daher im Gegensatz zum Vergleichsbild Si den An-Zustand des Scheinwerfers
Zum Ermitteln der örtlichen Korrekturwerte für die Bilddaten des Vergleichsbildes wird nach dem in
Die maximalen örtlichen Helligkeitswerte des generierten Maximalhelligkeitsbildes können nun als örtliche Korrekturwerte für die Bildfehler des Vergleichsbildes Si an den zugehörigen Fehlerpositionen verwendet werden. Als Folge der Dilatation des Maximalhelligkeitsbildes, des Downscalings der gespeicherten Bilder sowie von Relativbewegungen des Fahrzeugs
Unter Verwendung des Vergleichsbildes Si, der Fehlermaske E(Si) und der maximalen Helligkeitswerte des Maximalhelligkeitsbildes max(S'i) wird nun ein korrigiertes Vergleichsbild Si,cor erzeugt, in welchem die Bildfehler korrigiert wurden, die durch die gepulsten LEDs der Scheinwerfer
Durch wiederholte Durchführung der in
Dargestellt ist ein Bildsensor
Das Blockdiagramm der
Die Bilddaten der Belichtungsreihe mit den drei Bildern L, S und VS werden von dem Bildsensor
Die Flicker-Detektionseinheit
In entsprechender Weise führt die Flicker-Detektionseinheit
Die generierten Fehlermasken E(S) und E(VS) werden an die Flicker-Korrektureinheit
Die Flicker-Korrektureinheit
Die HDR-Postprocessingeinheit
Die mit der Belichtungsreihe eingelesenen Bilddaten des Vergleichsbildes Si bilden die Eingangsdaten IN des für die maximalwertbasierte Bildfehlerkorrektur der Bilddaten verantwortlichen Funktionsblocks
Die Bilddaten können insbesondere auch als Werte der RGGB-Farbkomponenten vorliegen, wie sie beispielsweise von einem Bayer-Sensor ausgegeben werden. Die Blöcke
Als weitere Eingangsdaten werden dem Funktionsblock
Auf diese Weise wird eine veränderte Kopie S'i des Vergleichsbildes Si erzeugt, die in dem Datenspeicher
Im Funktionsblock
Im Funktionsblock
Auf diese Weise werden innerhalb des Funktionsblocks
Die Ausführungen zum Ausführungsbeispiel der
Von einem Bildsensor
Nach der Verarbeitung der Bilddaten in der zuvor beschriebenen Weise durch die Datenverarbeitungseinheit
Denkbar ist aber auch, dass die Ausgangsbilddaten auf einem geeigneten Datenträger abgespeichert und/oder über eine Datenverbindung weiter übertragen werden.However, it is also conceivable for the output image data to be stored on a suitable data carrier and / or to be transmitted further via a data connection.
Die Bildverarbeitungseinheit
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- US 2004/0012692 A1 [0009, 0010]US 2004/0012692 A1 [0009, 0010]
- US 2014/0153839 A1 [0011]US 2014/0153839 A1 [0011]
Claims (32)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE202016008887.5U DE202016008887U1 (en) | 2016-05-30 | 2016-05-30 | Image processing unit and computer program for the detection and correction of image errors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE202016008887.5U DE202016008887U1 (en) | 2016-05-30 | 2016-05-30 | Image processing unit and computer program for the detection and correction of image errors |
Publications (1)
Publication Number | Publication Date |
---|---|
DE202016008887U1 true DE202016008887U1 (en) | 2020-06-05 |
Family
ID=71132400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE202016008887.5U Active DE202016008887U1 (en) | 2016-05-30 | 2016-05-30 | Image processing unit and computer program for the detection and correction of image errors |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE202016008887U1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2601636A (en) * | 2020-12-03 | 2022-06-08 | Porsche Ag | Method and system for deducing a reduced image refresh frequency in high definition headlights |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040012692A1 (en) | 2002-03-25 | 2004-01-22 | Shinichi Arazaki | Flicker detection apparatus, a flicker correction apparatus, an image-pickup apparatus, a flicker detection program and a flicker correction program |
US20140153839A1 (en) | 2012-12-04 | 2014-06-05 | Samsung Techwin Co., Ltd. | Apparatus and method for calculating flicker-evaluation value |
-
2016
- 2016-05-30 DE DE202016008887.5U patent/DE202016008887U1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040012692A1 (en) | 2002-03-25 | 2004-01-22 | Shinichi Arazaki | Flicker detection apparatus, a flicker correction apparatus, an image-pickup apparatus, a flicker detection program and a flicker correction program |
US20140153839A1 (en) | 2012-12-04 | 2014-06-05 | Samsung Techwin Co., Ltd. | Apparatus and method for calculating flicker-evaluation value |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2601636A (en) * | 2020-12-03 | 2022-06-08 | Porsche Ag | Method and system for deducing a reduced image refresh frequency in high definition headlights |
GB2601636B (en) * | 2020-12-03 | 2023-01-18 | Porsche Ag | Method and system for deducing a reduced image refresh frequency in high definition headlights |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69836540T2 (en) | METHOD AND DEVICE FOR CARRYING OUT IMAGE IMPROVEMENTS | |
DE4411179B4 (en) | image capture device | |
EP3253045B1 (en) | Method for detecting and correcting image errors and image processing unit and computer programme for same | |
EP1368970B1 (en) | Method and device for correcting an image, particularly for occupant protection systems | |
DE102012216065A1 (en) | Method and device for detecting at least one pulsed light source for a vehicle | |
DE112020004853T5 (en) | Reduction of a flickering effect of several light sources in one picture | |
EP2017784A2 (en) | Method for editing a sequence of pictures with subsequent video images for improving spatial resolution | |
EP0471878A1 (en) | Method of picture-in-picture superimposition and apparatus for following the method | |
DE102010014733B4 (en) | Chromakey method and chromakey device for taking and editing camera images | |
DE202016008887U1 (en) | Image processing unit and computer program for the detection and correction of image errors | |
DE102017208994A1 (en) | Method for determining result image data | |
DE102010002312A1 (en) | Method and device for analyzing an image of an image capture device for a vehicle | |
DE102011117654B4 (en) | Method for operating an image processing device and corresponding image processing device | |
DE102013011844A1 (en) | Method for adjusting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle | |
DE102009001518B4 (en) | Method for generating an HDR video image sequence | |
DE102022002637B3 (en) | Camera system and method for its operation | |
EP3244369B1 (en) | Method for reproducing sequences of images and image processing unit and computer programme for the same | |
DE102018124015B4 (en) | System and method for capturing images | |
EP0639922A2 (en) | Motion detection circuit for picture signal | |
WO2010103109A1 (en) | Method for generating an hdr video image sequence | |
EP1412934B1 (en) | Method and device for noise reduction in a pulse-width controlled image display device | |
DE102014213801A1 (en) | A method and apparatus for generating an image sequence for display on a display device of a vehicle and image capture device for a vehicle | |
DE102014218627A1 (en) | Method and control device for operating an image sensor | |
DE102020129908A1 (en) | Indirect layer system and method for adjusting a refresh rate | |
DE102004061807A1 (en) | Image recording system for driver assistance system, has function module providing specification of chart from overall picture that is provided by image sensor, and another module causing extraction of chart based on specification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R150 | Utility model maintained after payment of first maintenance fee after three years | ||
R207 | Utility model specification | ||
R151 | Utility model maintained after payment of second maintenance fee after six years | ||
R082 | Change of representative |
Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE |
|
R152 | Utility model maintained after payment of third maintenance fee after eight years |