DE4300781C1

DE4300781C1 - Verfahren zur Korrektur von Bildfehlern in von einem bilderzeugenden Sensor erzeugten Bildern

Info

Publication number: DE4300781C1
Application number: DE4300781A
Authority: DE
Inventors: Vahe Dipl Ing Nahapetian; Karl-Heinz Dr Ing Niederhofer; Rolf Steinhardt
Original assignee: Deutsche Aerospace AG
Current assignee: LFK Lenkflugkoerpersysteme GmbH
Priority date: 1993-01-14
Filing date: 1993-01-14
Publication date: 1994-05-11
Anticipated expiration: 2013-01-15
Also published as: GB9407530D0; GB2288702B; FR2718913A1; GB2288702A; FR2718913B1

Description

Die Erfindung betrifft ein Verfahren zur Korrektur von Bildfehlern in von einem mit Sensorzeilen ausgerüsteten bilderzeugenden Sensor erzeugten Bildern, vorzugsweise von Wärmebildgeräten, wobei die Bildfehler durch Ungleich mäßigkeiten der eine Szene abtastenden Sensorelemente, ins besondere durch unterschiedliche Empfindlichkeiten hervor gerufen werden und sich in den Bildeindruck und weitere Verarbeitungsmöglichkeiten beeinträchtigenden horizontalen oder vertikalen Streifen äußern.

Es sind zwei Operatoren bekanntgeworden (Handbuch der Operatoren für die Bildbearbeitung von Reinhard Klette und Piero Zamperoni, 1992, Seiten 236 bis 241), die sich mit linienhaften Mustern befassen, d. h. mit länglichen Bild gebieten mit etwa konstantem Grauwert und mit einer im Vergleich mit der Fenstergröße kleinen Linienbreite. Wäh rend der eine Operator die Hervorhebung der linienhaften Muster zum Ziel hat, beseitigt der andere Operator derar tige linienhaften Muster. Bei dem zweiten Operator werden waagerechte oder senkrechte linienhafte Muster mit der Breite eines Bildpunktes als Störung betrachtet und von der Grauwertfunktion linear subtrahiert. Diese Unter drückung der Streifigkeit am bilderzeugenden Sensor ist nachteiligerweise durch eine aufwendige Justierung in einem eingeschränkten Spektral- und Intensitätsbereich zu erreichen.

Es ist ein Verfahren zur Bildverarbeitung bekanntgeworden (GB 2 149 260 A), bei dem Störungen aufgrund von Streuungen der einzelnen Detektorelemente oder aufgrund von defekten Detektorelemente beseitigt werden. Hierzu werden vor einer Bilderzeugung die Ausgangssignale der Detektorelemente nor malisiert, d. h. die Ausgangssignale von streuenden Detek torelementen werden auf einen Wert geändert, den das Aus gangssignal eines durchschnittlichen Detektorelementes un ter der Voraussetzung von gleichen Eingangsbedingungen auf weisen würde. Extreme, von einem fehlerhaften Detektorele ment angezeigte Signalwerte werden durch einen Durch schnittswert ersetzt, der durch Extrapolation oder durch Mittelwertbildung von gespeicherten Signalwerten erhalten wird, die von dem defekten Detektorelement benachbarten Detektorelementen geliefert werden.

Weiterhin ist eine Fernsehkamera mit adaptiver Fehlerkor rektur für Festkörperbildwandler bekannt (DE 36 02 806 A1). Bei dieser Fernsehkamera, welche an ihrem Ausgang ein Video signal liefert und einen Festkörperbildwandler enthält, der einzelne Niedrigkontrast-Bildelementfehler aufweist, liefert die adaptive Fehlerkorrektureinrichtung ein fehlerkorrigier tes Videosignal, welches einen Beitrag zum Ausgangsvideo signal liefern kann. Die Fehlerkorrektureinrichtung ist in sofern adaptiv, als der Beitrag des fehlerkorrigierten Videosignals zum Ausgangsvideosignal von einem Regelsignal abhängt, das sich entsprechend dem Licht ändert, welches auf den Festkörperbildwandler auftrifft. Nachteiligerweise handelt es sich hierbei um eine analog durchgeführte Fehler korrektur, mit der das von der Fernsehkamera erzeugte Ge samtbild analog korrigiert wird.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Ver fahren der eingangs genannten Art zu schaffen, mit dem ein korrektes Bild ohne Streifen und andere linienförmige Stö rungen und somit eine Optimierung der Bilddarstellung ohne Verlust kleiner Strukturen erzielt wird.

Die Aufgabe wird erfindungsgemäß durch die Verfahrensschrit te gemäß dem Kennzeichen von Anspruch 1 gelöst.

Durch das erfindungsgemäße Verfahren wird vorteilhafterweise eine Verbesserung des Bilddatenmaterials für weitere Bear beitungsschritte erreicht.

Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen 2 bis 9 beschrieben.

Eine Schaltungsanordnung zur Durchführung des erfindungs gemäßen Verfahrens ist im Unteranspruch 10 beansprucht, während die Unteransprüche 11 bis 13 auf Weiterbildungen der Schaltungsanordnung gerichtet sind.

In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt, und zwar zeigt:

Fig. 1 ein von einem bilderzeugenden Sensor erzeugtes Bild, und

Fig. 2 eine Schaltungsanordnung zur Durchführung des er findungsgemäßen Verfahrens.

In Fig. 1 ist die Sensorzeile 17 eines bilderzeugenden Sen sors dargestellt, dessen Sensorelemente 18 eine Szene in horizontaler Abtastrichtung abtasten und somit jeweils eine Zeile des Bildes erzeugen. Eine vertikale Abtastung der Szene kann alternativ gewählt werden. Die durch die eindimensionale Abtastung entstehenden eingangs beschrie benen störenden Effekte, die von der unterschiedlichen Empfindlichkeit der einzelnen Sensorelemente 18 herrühren und sich in horizontalen oder vertikalen Streifen äußern, werden durch die nachstehenden Verfahrensschritte besei tigt. Hierbei wird im Prinzip für jeden Bildpunkt (Pixel) eines vom Bildsensor erzeugten Bildes ein Korrekturwert ermittelt, der zum jeweiligen Bildpunkt addiert wird, um ein korrektes Bild ohne Streifen und andere linienförmige Störungen zu erzeugen.

a) Von jedem von dem bilderzeugenden Sensor erzeugten Bild wird ein Bildausschnitt 19 (Speicherbereich für Anfangs mittelwert) in einem Speicher gespeichert, wobei der Bildausschnitt so gewählt wird, daß genügend Daten für eine ausreichende Berechnung von Intensitätsmittelwer ten zur Verfügung stehen. Die Abspeicherung des Bild ausschnittes erfolgt, da eine Abspeicherung des Gesamt bildes aus Zeitgründen nicht möglich ist.
b) Es wird der Mittelwert der Intensität jeder einzelnen Zeile des Bildausschnittes nach der Formel berechnet, wobei n die Anzahl der Bildpunkte pro Zeile bezeichnet. Hierbei werden vorzugsweise die Mittelwerte der Intensitäten jeder Zeile des Bildausschnittes in Abhängigkeit von der Abtastrichtung der eine Szene ab tastenden Sensorelemente ermittelt. Die berechneten Mittelwerte bilden die Grundlage für die zeilenweise Korrektur der Ungleichmäßigkeiten der einzelnen Sensor elemente. Hierbei können gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens Pixel des Bildausschnittes, die einen vorgegebenen Schwellwert überschreiten, bei der Ermittlung der Mittelwerte der Intensität jeder ein zelnen Zeile unberücksichtigt bleiben. Vorzugsweise wer den zur Erzielung von Mittelwerten, die weitgehend vom Bildhintergrund abhängen, die einen vorgegebenen Schwell wert überschreitenden Pixel durch einen vorbestimmten Aus tauschwert ersetzt.
c) Die errechneten Mittelwerte der Intensitäten jeder ein zelnen Zeile werden als Anfangswerte der laufenden Mittel werte für das jeweils erste Pixel der zugehörigen Zeilen verwendet als Mittelwert_{lfd für Pixel 1} = Mittelwert_Zeile.
d) Es wird für jedes Pixel ein Pixel-Korrekturwert Δ Pixel nach der Formel Δ Pixel = Pixel_n - Mittelwert_{lfd für Pixel (n-1)}ermittelt.
e) Der jeweilige aktuelle laufende Mittelwert für jede Zei le des Gesamtbildes wird nach der folgenden Formel ermittelt: wobei durch den Faktor eine vorgegebene Anpassung an In tensitätssprünge im Bild festgelegt wird. Der skalierte Unterschied zwischen dem aktuellen Bildpunkt und dem letzten laufenden Mittelwert dient somit zur Ermittlung des aktuellen laufenden Mittelwertes.
Jeder korrigierte Bildpunktwert des Gesamtbildes wird aus der Summe des Pixel-Korrekturwertes und des Hauptoffset wertes nach der Formel Pixel n_neu - Δ Pixel + Hauptoffsetwertgebildet, wobei der Hauptoffsetwert einen konstanten In tensitätswert darstellt. Dieses kann der Gesamt-Mittelwert der Anzahl aller Mittelwerte _Zeilen sein, der als Bezugs wert dient, um das korrigierte Bild nicht heller oder dunkler erscheinen zu lassen als das Originalbild. Durch die Ermittlung eines individuellen Korrekturwertes für jeden Bildpunkt des Gesamtbildes und seine Addition zu dem zugehörenden Bildpunkt wird das eingangs erwähnte korrekte Bild ohne Streifen und andere linienförmige Störungen er zeugt.
Eine Kontrastverbesserung des Gesamtbildes für jeden Bildpunkt n wird nach der Beziehung Pixel n_verbessert = Δ Pixel × Faktor + Hauptoffsetwertdurchgeführt, wobei für den Faktor ein vorgegebener Wert zwischen 1 und 2 gewählt wird.

Vom Bildsensor erzeugte Bilder mit streifenförmigen Fehlern in horizontaler und vertikaler Abtastrichtung können kor rigiert werden, indem die obenbeschriebenen Verfahrens schritte a bis f zuerst in der einen und dann am einmal korrigierten Bild in der anderen Richtung durchgeführt wer den. Eine Kontrastverstärkung wird dabei nur einmal vorge nommen.

Die in Fig. 2 dargestellte in zwei Phasen arbeitende Schal tungsanordnung weist einen Bildeingang für die von dem Sen sor erzeugten Bilder auf. In der ersten Bearbeitungsphase werden Startmittelwerte zu jeder Zeile eines Bildausschnit tes gebildet, die sich in der zweiten Bearbeitungsphase lo kal adaptiv der Szenenhelligkeit jeder Zeile anpassen. In Phase 1 werden von jedem erzeugten Bild die Bildpunkte (Bildpixel) eines Bildausschnittes (Speicherbereich 19 für Anfangsmittelwert gemäß Fig. 1) in einem Verzögerungsspei cher 5 zwischengespeichert und gleichzeitig einem ersten Se lektor 6 und einem den ersten Selektor 6 steuernden Kompara tor 4 zur Ermittlung der Mittelwerte jeder einzelnen Zeile des Bildausschnittes nach der Formel

zugeführt. Diese ermittelten Mittelwerte werden als Anfangs werte der laufenden Mittelwerte für das jeweils erste Pixel der zugehörigen Zeilen verwendet.

An den zweiten Eingang des Komparators 4 ist der Ausgang eines Schwellwertgebers 1 und an den zweiten Eingang des ersten Selektors 6 ist der Ausgang eines Ersatzwertgebers 2 ange schlossen, wobei an die Eingänge des Schwellwertgliedes 1 und des Ersatzwertgebers 2 der Ausgang eines Mikroprozessors 16 zum Einlesen von vorbestimmten Schwellwerten bzw. Ersatzwer ten mittels Software angeschlossen ist. Der Ausgang des Mi kroprozessors 16 ist außerdem an den Eingang eines Hauptoff setgebers 3 zur Eingabe eines vorbestimmten Hauptoffsetwertes angeschlossen, wobei als Hauptoffsetwert der Gesamtmittelwert der Anzahl m aller Zeilenmittelwerte der Bildpunkte eines zugehörigen Bildausschnittes verwendet werden kann.

Einen vorgegebenen Schwellwert überschreitende Pixel des Bildausschnittes bleiben bei der Ermittlung der Mittelwerte der Intensität jeder einzelnen Zeile des Bildausschnittes dadurch unberücksichtigt, daß die am Bildeingang eingehen den Pixelwerte im Komparator 4 mit dem vorgegebenen Schwell wert des Schwellwertgebers 1 verglichen und daß überschwel lige Pixelwerte durch den vorgegebenen Substitutionswert des Ersatzwertgebers 2 ersetzt werden, um den Zeilenmittelwert weitgehend bildinhaltunabhängig zu machen. Hierbei kann das Maximum der Mittelwerte der Zeilen des Bildausschnittes als Schwellwert zur Vermeidung von extremen Korrekturwerten her angezogen werden. Die Pixelwerte werden in einem dem ersten Selektor 6 nachgeordneten ersten Addierglied 7 zu den aufgelau fenen Zeilenmittelwerten addiert und über einen zweiten Se lektor 8 in den Mittelwertspeicher 10 überschrieben, der von dem Mikroprozessor 16 angesteuert wird. Die den Mittelwerten zugehörigen Zeilenadressen werden mit der Steuer- und Adreß einrichtung 9 beigesteuert, so daß nach Eingang einer hin reichenden Zeilenzahl (z. B. 256) zu jeder Zeilenadresse ein gültiger Mittelwert zur Verfügung steht. Somit ist die erste Arbeitsphase der Schaltungsanordnung abgeschlossen.

Zu Beginn der zweiten Bearbeitungsphase wird in einem dem Speicher 5 nachgeordneten Subtrahierer 11 ein Pixel-Korrek turwert

Δ Pixel = Pixel_n - Mittelwert_{lfd für Pixel (n-1)}

ermittelt. Dieser Pixel-Korrekturwert, der zum einen zur Modi fizierung des aktuellen Zeilenmittelwertes benutzt wird, wird mit Hilfe eines dem Subtrahierer 11 nachgeschalteten Versatz- und Dividiergliedes 14 und eines zweiten Addierglie des 15 zur Ermittlung der jeweiligen aktuellen laufenden Mit telwerte für jede Zeile des Gesamtbildes nach der Formel

verwendet, wobei durch den Faktor eine vorgegebene Anpassung an Intensitätssprünge im Bild festgelegt wird. Hierbei divi diert das Glied 14 den Pixel-Korrekturwert Δ Pixel durch einen Binärwert (z. B. 256) und das Addierglied 15 addiert das Ergeb nis zum Zeilenmittelwert, wobei der aktuelle laufende Mittel wert für jede Zeile des Gesamtbildes über den zweiten Selektor 8 in den Mittelwertspeicher eingeschrieben wird. Zum anderen wird der Pixel-Korrekturwert Δ Pixel einem Eingang eines dritten Addierers 13 zugeführt, an dessen zweiten Eingang als konstanter Intensitätswert der Hauptoffsetwert, beispielsweise der Gesamt mittelwert der Anzahl m aller Zeilenmittelwerte, ansteht und dessen Ausgang den Bildausgang für jeden korrigierten Bildpunkt wert des Gesamtbildes nach der Formel

Pixel n_neu = Δ Pixel + Hauptoffsetwert

bildet.

Mittels einer zwischen dem Subtrahierer 11 und dem dritten Addierer 13 angeordneten Spreizeinrichtung 12 kann eine Kon trastverbesserung des Gesamtbildes für jeden Bildpunkt n nach der Beziehung

Pixel n_verbessert = Δ Pixel × Faktor + Hauptoffsetwert

durchgeführt werden, wobei für den Faktor ein vorgegebener Wert zwischen 1 und 2 gewählt wird.

Bezugszeichenliste

1 Schwellwertglied
2 Ersatzwertgeber
3 Hauptoffsetwertgeber
4 Komparator
5 Verzögerungsspeicher
6 erster Selektor
7 erstes Addierglied
8 zweiter Selektor
9 Steuerungs- und Adressiereinrichtung
10 Mittelwertspeicher
11 Subtrahierer/Subtrahierglied
12 Spreizeinrichtung
13 drittes Addierglied
14 Versatz- und Dividierglied
15 zweites Addierglied
16 Mikroprozessor
17 Sensorzeile
18 Sensorelemente
19 Speicherbereich für Anfangsmittelwert

Claims

1. Verfahren zur Korrektur von Bildfehlern in von einem mit Sensorzeilen ausgerüsteten bilderzeugenden Sensor er zeugten Bildern, vorzugsweise von Wärmebildgeräten, wobei die Bildfehler durch Ungleichmäßigkeiten der eine Szene abtastenden Sensorelemente, insbesondere durch unterschied liche Empfindlichkeiten hervorgerufen werden und sich in den Bildeindruck und weitere Verarbeitungsmöglichkeiten beeinträchtigenden horizontalen oder vertikalen Streifen äußern, gekennzeichnet durch folgende Verfahrensschritte:

a) von jedem von dem bilderzeugenden Sensor erzeugten Bild wird ein Bildausschnitt in einem Speicher (5) gespei chert, wobei der Bildausschnitt so gewählt wird, daß genügend Daten für eine ausreichende Berechnung von Intensitätsmittelwerten zur Verfügung stehen,
b) es wird der Mittelwert der Intensität jeder einzelnen Zeile des Bildausschnittes nach der Formel berechnet,
c) die errechneten Mittelwerte der Intensitäten jeder ein zelnen Zeile werden als Anfangswerte der laufenden Mittelwerte für das jeweils erste Pixel der zugehörigen Zeilen verwendet als Mittelwert_{lfd für Pixel 1} = Mittelwert_Zeile,
d) es wird für jedes Pixel ein Pixel-Korrekturwert Δ Pixel nach der Formel Δ Pixel = Pixel_n - Mittelwert_{lfd für Pixel (n-1)}ermittelt,
e) der jeweilige aktuelle laufende Mittelwert für jede Zeile des Gesamtbildes wird nach der folgenden Formel ermittelt: wobei durch den Faktor eine vorgegebene Anpassung an Inten sitätssprünge im Bild festgelegt wird, und
f) jeder korrigierte Bildpunktwert des Gesamtbildes wird aus der Summe des Pixel-Korrekturwertes und des Hauptoffsetwer tes nach der Formel Pixel n_neu = Δ Pixel + Hauptoffsetwertgebildet, wobei der Hauptoffsetwert einen konstanten Inten sitätswert darstellt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Mittelwerte der Intensitäten jeder einzelnen Zeile des Bildausschnittes in Abhängigkeit von der Abtastrichtung der eine Szene abtastenden Sensorelemente ermittelt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich net, daß einen vorgegebenen Schwellwert überschreitenden Pixel des Bildausschnittes bei der Ermittlung der Mittel werte der Intensität jeder einzelnen Zeile unberücksich tigt bleiben.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß zur Erzielung von Mittelwerten, die weitgehend vom Bildhin tergrund abhängen, die einen vorgegebenen Schwellwert über schreitenden Pixel durch einen vorbestimmten Austauschwert ersetzt werden.

5. Verfahren nach Anspruch 1, 3 oder 4, dadurch gekenn zeichnet, daß das Maximum der Mittelwerte der Zeilen des Bildausschnittes als Schwellwert zur Vermeidung von extre men Korrekturwerten herangezogen wird (Maximum = Maximum der Mittelwerte_Zeile).

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß eine Kontrastverbesserung des Gesamt bildes für jeden Bildpunkt n nach der Beziehung Pixel n_verbessert = Δ Pixel × Faktor + Hauptoffsetwertdurchgeführt wird, wobei für den Faktor ein vorgegebener Wert zwischen 1 und 2 gewählt wird.

7. Verfahren nach Anspruch 1 oder 6, dadurch gekennzeich net, daß als Hauptoffsetwert der Gesamtmittelwert der An zahl m aller Mittelwerte _Zeilen verwendet wird.

8. Verfahren nach einem der Ansprüche 1 bis 5, dadurch ge kennzeichnet, daß Bilder mit streifenförmigen Bildfehlern in vertikaler und horizontaler Richtung durch eine Anwen dung der Verfahrensschritte in vertikaler und horizontaler Richtung korrigiert werden.

9. Verfahren nach Anspruch 8, gekennzeichnet durch eine einmalige Anwendung des Kontrastverbesserungsverfahrens nach Anspruch 6.

10. Schaltungsanordnung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9 unter Verwendung eines bilderzeu genden Sensors mit einer Sensorzeile (17), die eine Szene ab tastende Sensorelemente (18) aufweist, dadurch gekennzeichnet,

- daß an den Ausgang des Bildsensors der Eingang eines Verzögerungsspeichers (5) und der Eingang eines ersten Ad diergliedes (7) angeschlossen sind,
- daß dem ersten Addierglied (7) ein zweiter Selektor (8) und ein Mittelwertspeicher (10) nachgeordnet sind, wobei der zweite Selektor (8) und der Mittelwertspeicher (10) von einer Steuerungs- und Adressiereinrichtung (9) angesteuert sind,
- daß dem Verzögerungsspeicher (5) ein Subtrahierglied (11), ein Versatz- und Dividierglied (14) und ein zweites Addier glied (15), dessen Ausgang an den zweiten Eingang des zwei ten Selektors (8) geführt ist, nachgeordnet sind,
- daß der Ausgang des Mittelwertspeichers (10) an die zwei ten Eingänge des ersten Addiergliedes (7), des Subtrahier gliedes (11) und des zweiten Addiergliedes (15) angeschlos sen ist, und
- daß der Ausgang des Subtrahiergliedes (11) sowohl an den Eingang des Versatz- und Dividiergliedes (14) als auch an einen Eingang eines dritten Addiergliedes (13) angeschlos sen ist, dessen erster Eingang mit dem Ausgang eines Haupt offsetwertgebers (3) verbunden ist und an dessen Ausgang jeder nach der Formel Pixel n_neu = Δ Pixel + Hauptoffsetwertkorrigierte Bildpunktwert des Gesamtbildes ansteht.

11. Schaltungsanordnung nach Anspruch 10, dadurch gekenn zeichnet, daß an den Ausgang des Bildsensors der erste Eingang eines ersten Selektors (6), dessen Ausgang an den ersten Eingang des ersten Addiergliedes (7) angeschlossen ist, und der erste Eingang eines den ersten Selektor (6) steuernden Komparators (4) angeschlossen ist, dessen zwei ter Eingang mit dem Ausgang eines Schwellwertgliedes (1) in Verbindung steht, und daß der zweite Eingang des ersten Se lektors (6) mit dem Ausgang eines Ersatzwertgebers (2) ver bunden ist.

12. Schaltungsanordnung nach Anspruch 10 oder 11, dadurch gekennzeichnet, daß ein Mikroprozessor 16 vorgesehen ist, der den Schwellwert in das Schwellwertglied (1), den Substi tutionswert in den Ersatzwertgeber (2) sowie den Hauptoffset wert in den Hauptoffsetwertgeber (3) einliest und den Mittel wertspeicher (10) ansteuert.

13. Schaltungsanordnung nach Anspruch 10, dadurch gekenn zeichnet, daß zwischen dem Ausgang des Subtrahiergliedes (11) und dem ersten Eingang des dritten Addiergliedes (13) eine Spreizeinrichtung (12) zur Kontrastverbesserung des Gesamtbildes für jeden Bildpunkt n angeordnet ist.