-
Die Erfindung betrifft ein Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, bei dem ein Dunkelstrombild mit dem Bildsensor und der Auslesevorrichtung erfasst wird. Ferner betrifft die Erfindung ein digitales Bilderfassungssystem mit einem Bildsensor und mit einer Auslesevorrichtung zum Auslesen des Bildsensors, wobei die Auslesevorrichtung dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor zu erfassen.
-
Digitale Bilderfassungssysteme sind allgemein bekannt und werden für verschiedene Anwendungen eingesetzt. Beispielsweise umfasst eine Digitalkamera oder eine digitale Videokamera ein solches System.
-
Die in digitalen Bilderfassungssystemen eingesetzten Bildsensoren, wie beispielsweise CCD- oder CMOS-Sensoren, weisen vielfach ein in der Sensorebene inhomogenes Dunkelstromrauschen auf. Dies betrifft sowohl lineare Bildsensoren, wie sie in Zeilenkameras zum Einsatz kommen, als auch flächige Bildsensoren, wie sie bei Kameras eingesetzt werden. Das von einem vollständig abgedunkelten Bildsensor erfasste Bild zeigt oftmals ein schwaches Streifenmuster. Die inhomogene Erfassungscharakteristik der Bildsensoren ist durch fertigungsbedingte Toleranzen und systemische Eigenschaften der verwendeten Kameraelektronik bedingt.
-
Für Endbenutzeranwendungen spielen die in den erfassten Bildern auftretenden Artefakte, die sich insbesondere in einer geringfügig variierenden Bildhelligkeit niederschlagen, eine eher untergeordnete Rolle. Für professionelle Anwendungen, beispielsweise bei der Bilderfassung im Mikroskopiebereich, sind solche systematischen Bildfehler jedoch unerwünscht. Die in der Sensorebene vorhandenen Unterschiede des Untergrundsignals verringern das Signal-zu-Rausch-Verhältnis (für englisch: „signal-to-noise ratio“) und überlagern die schwachen Lichtintensitäten der erfassten Bilder.
-
Um die systematischen Bildfehler zu korrigieren, wird in einem Kalibriervorgang ein für den Sensor individuelles Korrekturbild aufgenommen. Während des Kalibriervorgangs wird der Bildsensor vollständig abgedunkelt, beispielsweise abgedeckt. Als Korrekturbild wird anschließend ein sog. Dunkelstrombild aufgenommen, welches das Dunkelstromrauschen des Bildsensors wiedergibt. Anschließend wird dieses für den Sensor spezifische Korrekturbild von den mit diesem Sensor erfassten Bildern abgezogen. Diese Form der Kalibrierung ist möglich, da bei vollständig abgedunkeltem Sensor die auftretenden Bildfehler weder von der Menge des einfallenden Lichts noch von der Quanteneffizienz der einzelnen Pixel des Bildsensors abhängig sind. Die Sensorfehler überlagern das erfasste Bild additiv.
-
Das Korrekturbild wird üblicherweise im Speicher einer mit der Kamera gekoppelten bildverarbeitenden Einheit, beispielsweise auf der Festplatte eines PC, abgelegt. Von jedem mit Hilfe des Bilderfassungssystems erfassten Bild wird anschließend, beispielsweise von einer auf der bildverarbeitenden Einheit vorhandenen Software, dieses Korrekturbild abgezogen.
-
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem und ein verbessertes digitales Bilderfassungssystem anzugeben, wobei insbesondere der konstruktive Aufwand für das digitale Bilderfassungssystem möglichst gering sein soll.
-
Die erfindungsgemäße Aufgabe wird gelöst durch ein Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, bei dem ein Dunkelstrombild mit dem Bildsensor und der Auslesevorrichtung erfasst wird, wobei das Verfahren dadurch fortgebildet ist, dass es die folgenden Schritte umfasst:
- A) Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes,
- B) Abspeichern von die Fouriertransformierte beschreibenden Daten,
- C) Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Daten und
- D) Korrigieren von Bildfehlern des Bilderfassungssystems in einem mit dem Bilderfassungssystem erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.
-
Die Fouriertransformierte wird auf der Grundlage der Bilddaten des Dunkelstrombildes berechnet. Bei dem Bildsensor des digitalen Bilderfassungssystems handelt es sich insbesondere um einen flächigen Bildsensor, beispielsweise um einen CCD- oder CMOS-Sensor, der ein pixelweise aufgelöstes Dunkelstrombild liefert. Es ist ebenso denkbar, dass der Bildsensor ein linearer Sensor ist, wie er beispielsweise in Zeilenkameras zum Einsatz kommt. Die Fouriertransformierte ist insbesondere eine diskrete Fouriertransformierte (englisch: discrete Fourier transform, abgekürzt: DFT). Zur Berechnung der DFT ist ferner die sog. schnelle Fouriertransformation (englisch: fast Fourier transform, abgekürzt: FFT) geeignet. Die Algorithmen zur effizienten Berechnung einer FFT sind allgemein bekannt. Die die Fouriertransformierte beschreibenden Daten sind in diesem Fall insbesondere das Amplituden- und Phasenbild im Fourierraum, die Fourierkoeffizienten und die Phasen der zur Berechnung der FFT verwendeten Schwingungen.
-
Insbesondere sind mit Hilfe des erfindungsgemäßen Verfahrens zur Fehlerkorrektur nicht dynamische und bezüglich des Bildsensors ortskonstante Bildfehler korrigierbar.
-
Die Korrektur der Bildfehler durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes erfolgt bevorzugt, indem von den Bilddaten des erfassten weiteren Bildes die Bilddaten des Korrekturbildes abgezogen werden. Insbesondere wird zur Korrektur der Bildfehler das Korrekturbild von dem erfassten Bild pixelweise abgezogen bzw. subtrahiert.
-
Vorteilhaft ist das Verfahren sowohl zur Fehlerkorrektur in einem digitalen Bilderfassungssystem zur Erfassung von Standbildern (Fotos) als auch in einem digitalen Bilderfassungssystem zur Erfassung von bewegten Bildern (Videobildern) verwendbar.
-
Mit Hilfe der Fouriertransformation erfolgt eine Umrechnung der Bilddaten des Dunkelstrombildes vom Ortsraum in den Frequenzraum. Bevorzugt erfolgt diese Umrechnung, d.h. die Fouriertransformation, nacheinander in mehreren Richtungen des Bildes. Insbesondere wird die Fouriertransformierte des Dunkelstrombildes berechnet, indem zeilen- bzw. spaltenweise eine diskrete Fouriertransformierte der in einer Zeile oder Spalte vorhandenen Pixelwerte des Dunkelstrombildes vorgenommen wird. Als Pixelwert wird beispielsweise der Helligkeitswert herangezogen.
-
Die in digitalen Bilderfassungssystemen auftretenden Bildartefakte sind vielfach durch den Herstellungsprozess der verwendeten Bildsensoren bedingt. Ebenso sind systemische Eigenschaften, wie z.B. die verwendeten Auslesefrequenzen der Kameraelektronik, mögliche Ursachen. Die Kalibrierung eines digitalen Bilderfassungssystems erfolgt mit Hilfe eines zuvor aufgenommenen Korrekturbildes, in der Regel einem Dunkelstrombild. Dieses Korrekturbild wird traditionell beispielsweise im nichtflüchtigen Speicher eines PC, der zur Verarbeitung der Bilddaten verwendet wird, hinterlegt. Bei großen Bildsensoren mit einer entsprechend großen Anzahl von Pixeln ist zu diesem Zweck jedoch ein relativ großer Datenspeicher erforderlich.
-
Die Erfindung beruht demgegenüber auf der Erkenntnis, dass durch Fouriertransformation des Dunkelstrombildes vom Orts- in den Frequenzraum, die Möglichkeit geschaffen wird, das Dunkelstrombild auf einfache und vielfältige Weise zu manipulieren. Dies betrifft bevorzugt die Möglichkeit, den benötigten Speicherplatz zur Speicherung des Dunkelstrombildes zu minimieren.
-
Gemäß einer vorteilhaften Ausführungsform zeichnet sich das Verfahren zur Fehlerkorrektur dadurch aus, dass das digitale Bilderfassungssystem eine Kamera umfasst, wobei die Kamera den Bildsensor und einen, insbesondere nichtflüchtigen, Datenspeicher umfasst, und wobei die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher abgespeichert werden.
-
Bei dem nichtflüchtigen Datenspeicher handelt es sich vorzugsweise um einen Halbleiterspeicher-Baustein, z.B. ein EPROM und einen Flash-Speicher. Ferner sind FeRAM, MRAM und/oder PCRAM Speicherbausteine geeignet. Insbesondere ist der nichtflüchtige Datenspeicher ein interner Datenspeicher der Kamera.
-
Indem das Korrekturbild in diesem internen Datenspeicher der Kamera ab- bzw. hinterlegt wird, ist das Korrekturbild unabhängig von den an die Kamera angeschlossenen weiteren Bildverarbeitungssystemen. Bei einer Änderung der Hardware und/oder Software dieses weiteren Bildverarbeitungssystems, bei dem es sich beispielsweise um einen PC handelt, entfällt die Notwendigkeit, eine Rekalibrierung des Bilderfassungssystems vorzunehmen. Es ist vorteilhaft nicht notwendig, erneut ein Dunkelstrombild aufzunehmen und auf dem geänderten oder neuen System abzuspeichern. Das digitale Bilderfassungssystem ist sicher und einfach in der Handhabung. Dies gilt vor allem, da es eine gewisse Expertise erfordert, den Kalibrierungsvorgang des Sensors erfolgreich und korrekt auszuführen.
-
Gemäß einer weiteren Ausführungsform ist das Verfahren zur Fehlerkorrektur dadurch fortgebildet, dass das Rücktransformieren der Fouriertransformierten und insbesondere das Korrigieren von Bildfehlern in der Auslesevorrichtung erfolgt, wobei ferner insbesondere die Auslesevorrichtung von einer Kamera des Bilderfassungssystems umfasst ist.
-
Bei der Auslesevorrichtung handelt es sich beispielsweise um einen Mikrocontroller, der von der Kamera umfasst ist. Der nichtflüchtige Datenspeicher ist bevorzugt innerhalb der Kamera vorgesehen, beispielsweise als interner Speicher des Mikrocontrollers. Ebenso ist es möglich, dass der Datenspeicher als separater Baustein ausgeführt und mit dem Mikrocontroller gekoppelt ist.
-
Vorteilhaft liefert das digitale Bilderfassungssystem (offset-)korrigierte Bilddaten an angeschlossene bildverarbeitende Einheiten, beispielsweise an einen zur Auswertung verwendeten PC. Der benutzerseitige Aufwand zur Anpassung zwischen dem digitalen Bilderfassungssystem und diesen weiteren bildverarbeitenden Einheiten ist gering. Das digitale Bilderfassungssystem ist daher flexibel an verschiedenen bildverarbeitenden Einheiten einsetzbar.
-
Vorteilhaft ist das Verfahren zur Fehlerkorrektur ferner dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, wobei die Fouriertransformierte des Dunkelstrombildes erzeugt wird, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
-
Vorteilhaft umfasst die Fouriertransformierte des Dunkelstrombildes eine reduzierte Bildinformation, welche dennoch die wesentlichen Bildinformationen des Dunkelstrombildes enthält. Dies betrifft vor allem Artefakte, die in einer weiteren Richtung senkrecht zu der Geraden keine ausgeprägte Struktur haben, beispielsweise Streifenmuster.
-
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchgeführt und eine Fouriertransformierte erzeugt wird, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und wobei Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abgespeichert werden.
-
Gemäß einer anderen Ausführungsform ist vorgesehen, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte erzeugt wird, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
-
Ferner ist das Verfahren insbesondere dadurch fortgebildet, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei die Pixelwerte des Dunkelstrombildes zeilenweise aufsummiert und insbesondere gemittelt werden und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten erzeugt wird, und/oder wobei die Pixelwerte des Dunkelstrombildes spaltenweise aufsummiert und insbesondere gemittelt werden und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten erzeugt wird, wobei eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung erzeugt wird und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
-
Den oben genannten Ausführungsformen liegt die Erkenntnis zugrunde, dass die auftretenden nicht dynamischen, ortskonstanten Bildfehler in vielen Fällen eine Vorzugsrichtung haben. Bevorzugt treten die Bildfehler als horizontales oder vertikales Streifenmuster auf, dessen Vorzugsrichtung entlang der Streifen liegen soll. Sie sind in vielen Fällen durch den Herstellungsprozess des insbesondere flächigen Bildsensors bedingt und daher in Richtung der Zeilen oder Spalten des Bildsensors orientiert.
-
Da die auftretenden Bildfehler systematisch sind, ist es möglich, die Fouriertransformierte des Dunkelstrombildes zu reduzieren, so dass lediglich die senkrecht zu der Vorzugsrichtung auftretenden Fehler in der Fouriertransformierten berücksichtigt sind. Durch diese Form der Reduktion der Fouriertransformierten wird der benötigte Speicherplatz für die Beschreibung des Korrekturbildes erheblich gesenkt. Abstrakt formuliert liegt den genannten Ausführungsformen die Erkenntnis zugrunde, dass mit geringer werdendem Komplexitätsgrad des Dunkelstrombildes (Offset-Bildes) eine dramatische Reduktion der Anzahl der benötigten Fourierparameter bzw. Fourierkoeffizienten zur Beschreibung des Dunkelstrombildes einhergeht.
-
Die zur Beschreibung des Korrekturbildes im Fourierraum notwendige Datenmenge ist um ein Vielfaches geringer als eine Datenmenge des Korrekturbildes selbst. So wird die Möglichkeit geschaffen, das Korrekturbild in einem vergleichsweise kleinen internen Datenspeicher der Kamera zu hinterlegen. Ferner besteht die Möglichkeit, die Korrektur der Bildfehler des Bildsensors direkt in der Kamera vorzunehmen.
-
Der Speicherbedarf für die das Korrekturbild beschreibenden Daten wird weiter gesenkt, indem das Verfahren dadurch fortgebildet wird, dass aus den die Fouriertransformierte beschreibenden Daten diejenigen Daten oder Datensätze ausgewählt werden, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransformierte beschreibenden Daten eine vorbestimmte Anzahl von Daten oder Datensätzen ausgewählt werden, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, wobei aus diesen ausgewählten Daten ein reduzierter, die Fouriertransformierte beschreibender Datensatz gebildet wird.
-
Die Beschreibung des Dunkelstrombildes wird auf diejenigen Fourierfrequenzen beschränkt, die in nennenswertem Umfang zur Beschreibung des Korrekturbildes beitragen. Die zur Rekonstruktion des Korrekturbildes notwendige Datenmenge wird nochmals erheblich reduziert. Gegenüber einem klassischen Korrekturbild ergibt sich ein signifikant reduzierter Speicherbedarf, ohne dass ein nennenswerter Qualitätsverlust bei der Korrektur zu verzeichnen ist.
-
Beispielsweise erfordert ein Bildsensor mit einer großen Pixelanzahl für ein klassisches Korrekturbild einen Speicherplatz zwischen 10 MB und 100 MB. Durch die Darstellung des Korrekturbildes im Fourierraum wird der benötigte Speicherplatz, je nach Anzahl der verwendeten Fourierfrequenzen, um bis zu einen Faktor 1000 verringert. Beispielsweise wird der Speicherbedarf von 8,192 MB ohne nennenswerten Qualitätsverlust für das Korrekturbild auf 8,192 kB bei 2048 Fourierfrequenzen reduziert. Sofern auch horizontale Einflüsse korrigiert werden sollen, vergrößert sich der Platzbedarf für das Korrekturbild auf 4096 Fourierfrequenzen. Eine Reduktion auf diejenigen Fourierfrequenzen, welche nennenswert zur Rekonstruktion des Korrekturbildes beitragen, führt zu einer weiteren Reduktion der für die Beschreibung des Korrekturbildes notwendigen Datenmenge.
-
Das Korrekturbild kann selbst in einem verhältnismäßig kleinen internen Datenspeicher eines Mikrocontrollers hinterlegt werden, so dass eine kameraseitige Speicherung des Korrekturbildes problemlos möglich ist.
-
Die Notwendigkeit, eine Kalibrierung der erfassten Bilder in einem an das digitale Bilderfassungssystem angeschlossenen weiteren bildverarbeitenden System vorzunehmen, entfällt. Die vom Benutzer zu fordernde Expertise im Umgang mit dem digitalen Bilderfassungssystem, ist sehr gering. Somit sind das Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem sowie das entsprechende Bilderfassungssystem zuverlässig und robust in der Anwendung.
-
Die erfindungsgemäße Aufgabe wird ferner gelöst durch ein digitales Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, wobei die Auslesevorrichtung dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor zu erfassen, und wobei das digitale Bilderfassungssystem dadurch fortgebildet ist, dass die Auslesevorrichtung dazu eingerichtet ist,
- A) eine Fouriertransformierte mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes zu erzeugen,
- B) die Fouriertransformierte beschreibende Daten abzuspeichern,
- C) die Fouriertransformierte durch Fouriertransformation der abgespeicherten Daten zurückzutransformieren und ein Korrekturbild aus den rücktransformierten Daten zu erzeugen und
- D) Bildfehler des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten, weiteren Bild zu korrigieren, indem Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes verrechnet werden.
-
Bei dem Bildsensor handelt es sich insbesondere um einen flächigen Bildsensor. Gemäß weiterer Ausführungsformen umfasst das digitale Bilderfassungssystem einen linearen Bildsensor, wie er beispielsweise in einer Zeilenkamera zum Einsatz kommt.
-
Gemäß einer vorteilhaften Ausführungsform ist vorgesehen, dass das digitale Bilderfassungssystem eine Kamera umfasst, wobei die Kamera den Bildsensor und einen, insbesondere nichtflüchtigen, Datenspeicher umfasst, und der Datenspeicher dazu eingerichtet ist, die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher abzuspeichern.
-
Ferner ist insbesondere vorgesehen, dass die Auslesevorrichtung dazu eingerichtet ist, die Fouriertransformierte zurückzutransformieren und insbesondere Bildfehler zu korrigieren, wobei ferner insbesondere die Auslesevorrichtung von einer Kamera des Bilderfassungssystems umfasst ist.
-
Gemäß einer Ausführungsform ist ferner vorgesehen, dass der Bildsensor ein flächiger Bildsensor ist und das digitale Bilderfassungssystem dazu eingerichtet ist, die Fouriertransformierte des Dunkelstrombildes zu erzeugen, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
-
Vorzugsweise ist das digitale Bilderfassungssystem dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchzuführen und eine Fouriertransformierte zu erzeugen, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abzuspeichern.
-
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte zu erzeugen, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
-
Vorteilhaft ist das digitale Bilderfassungssystem dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, die Pixelwerte des Dunkelstrombildes zeilenweise aufzusummieren und insbesondere zu mitteln und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten zu erzeugen, und/oder die Pixelwerte des Dunkelstrombildes spaltenweise aufzusummieren und insbesondere zu mitteln und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten zu erzeugen, und ferner eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung zu erzeugen und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
-
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Auslesevorrichtung insbesondere ein Bestandteil der Kamera ist. Beispielsweise handelt es sich bei dieser um einen in die Kamera integrierten Mikrocontoller. Ebenso ist es jedoch möglich, dass sich die Auslesevorrichtung teilweise innerhalb und teilweise außerhalb der Kamera befindet, wobei eine funktionelle Trennung zwischen verschiedenen Funktionen der Auslesevorrichtung vorgenommen werden kann.
-
Ferner ist vorteilhaft vorgesehen, dass das Korrekturbild bzw. die zur Beschreibung des Korrekturbildes notwendigen Daten innerhalb der Kamera, in einem dort vorhandenen insbesondere nichtflüchtigen Datenspeicher abgelegt werden. Zu diesem Zweck umfasst die Kamera beispielsweise einen Flash-Speicherbaustein, ein EPROM, einen FeRAM, MRAM und/oder PCRAM Speicherbaustein.
-
Ferner ist insbesondere vorgesehen, dass die das Korrekturbild beschreibenden Daten in einem internen Speicher des Mikrocontrollers abgelegt sind. Ebenso ist vorteilhaft vorgesehen, dass die Bildkorrektur innerhalb der Kamera vorgenommen wird, so dass diese an weitere bildverarbeitende Einheiten bereits korrigierte Bilddaten bzw. einen korrigierten Bilddatenstrom liefert.
-
Auf das digitale Bilderfassungssystem treffen gleiche oder ähnliche Vorteile zu, wie sie bereits im Hinblick auf das Verfahren zur Fehlerkorrektur in einem solchen digitalen Bilderfassungssystem erwähnt wurden. Ferner sind die im Hinblick auf das Verfahren genannten Merkmale der Erfindung in gleicher oder ähnlicher Weise auf das digitale Bilderfassungssystem anwendbar.
-
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
-
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
-
1 ein schematisches digitales Bilderfassungssystem,
-
2 ein schematisches Ablaufdiagramm eines Verfahrens zur Fehlerkorrektur in einem solchen digitalen Bilderfassungssystem,
-
3 ein unkorrigiertes Dunkelstrombild eines digitalen Bilderfassungssystems,
-
4 eine Ausschnittsvergrößerung des in 3 gezeigten Dunkelstrombildes,
-
5 ein schematisches Fourierspektrum eines Korrekturbildes zur vertikalen Korrektur des in 3 dargestellten Bildes,
-
6 ein schematisches Fourierspektrum eines Korrekturbildes zur horizontalen Korrektur des in 3 dargestellten Bildes,
-
7 ein aus den Fourierspektren von 5 und 6 errechnetes Korrekturbild,
-
8 ein korrigiertes Dunkelstrombild, welches durch Anwendung des in 7 gezeigten Korrekturbildes auf das Dunkelstrombild von 3 entsteht,
-
9 eine Ausschnittsvergrößerung des in 8 gezeigten korrigierten Dunkelstrombildes,
-
10 ein reduziertes schematisches Fourierspektrum zur horizontalen Fehlerkorrektur, welches ausgehend von dem in 5 dargestellten Fourierspektrum bestimmt wird,
-
11 ein reduziertes schematisches Fourierspektrum zur vertikalen Fehlerkorrektur, welches ausgehend von dem in 6 dargestellten Fourierspektrum bestimmt wird,
-
12 ein aus den in 10 und 11 gezeigten reduzierten Fourierspektren berechnetes Korrekturbild,
-
13 ein korrigiertes Dunkelstrombild, welches durch Anwendung des in 12 gezeigten Korrekturbildes auf das in 3 gezeigte Dunkelstrombild entsteht,
-
14a) eine Ausschnittsvergrößerung des in 13 gezeigten korrigierten Dunkelstrombildes und
-
14b) eine Ausschnittsvergrößerung des in 8 gezeigten korrigierten Dunkelstrombildes, die identisch zu der Darstellung in 9 ist.
-
In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
-
1 zeigt schematisch ein digitales Bilderfassungssystem 2, umfassend eine Kamera 3 mit einem Bildsensor 4. Bei dem Bildsensor 4 handelt es sich insbesondere um einen flächigen Bildsensor 4, beispielsweise um einen CCD- oder CMOS-Sensor. Ebenso ist vorgesehen, dass die Kamera 3 nach der Art einer Zeilenkamera ausgestaltet ist und einen linearen Bildsensor 4 umfasst. Lediglich beispielhaft wird im Folgenden auf eine Kamera 3 mit einem flächigen Bildsensor 4 Bezug genommen. Ein von einem Objektiv 6 der Kamera 3 erfasstes Bildfeld wird auf den insbesondere flächigen Bildsensor 4 abgebildet. Alternativ ist es ebenso möglich, dass die Kamera 3 zur Abbildung eines Bildfeldes auf eine weitere optische Abbildungsvorrichtung, wie beispielsweise ein Mikroskop, aufgesetzt ist, welches das Objektiv 6 ggf. ersetzt. Der flächige Bildsensor 4 wird von der Auslesevorrichtung 8 ausgelesen. Bei der Auslesevorrichtung 8 handelt es sich beispielsweise um einen Mikrocontroller. Neben der Auslesevorrichtung 8 umfasst die Kamera 3 einen Datenspeicher 10, insbesondere einen nichtflüchtigen Datenspeicher. Als nichtflüchtiger Datenspeicher 10 sind ein Flash-Speicher, ein FERAM oder ein MRAM geeignet. Die Kamera 3 bzw. die Auslesevorrichtung 8 sind über einen Anschluss 12 mit weiteren zur Bildverarbeitung oder Bilderfassung verwendeten Datenverarbeitungseinheiten, wie beispielsweise einem PC, zur Erfassung und Analyse der mit der Kamera 3 erfassten digitalen Bilddaten, koppelbar. Der Anschluss 12 dient ferner, sofern notwendig, der Ansteuerung und/oder der Stromversorgung der Kamera 3.
-
2 zeigt ein vereinfachtes Ablaufdiagramm eines Verfahrens zur Fehlerkorrektur in dem beispielhaft in 1 gezeigten digitalen Bilderfassungssystem 2. Insbesondere ist die Auslesevorrichtung 8 dazu eingerichtet, das gezeigte Verfahren auszuführen. Es ist ebenso möglich, dass das Verfahren teilweise von der Auslesevorrichtung 8 und teilweise von einer mit der Kamera 3 über den Anschluss 12 verbundenen Bildverarbeitungseinheit, beispielsweise einem PC, ausgeführt wird. Das in 2 schematisch dargestellte Verfahren wird anschließend unter Bezugnahme auf die Darstellungen in den 3 bis 14b) erläutert.
-
Nach dem Start (Schritt S1) des Verfahrens erfolgt die Erfassung eines Dunkelstrombildes (Schritt S2) mit Hilfe des flächigen Bildsensors 4 und der Auslesevorrichtung 8. Die Erfassung des Dunkelstrombildes erfolgt durch beide Einheiten, um systematische Fehler des Systems insgesamt zu erfassen und zu korrigieren.
-
3 zeigt beispielhaft ein in Schritt S2 erfasstes Dunkelstrombild. Dieses weist die vielfach auftretende, fertigungsbedingte vertikale Streifenstruktur auf, wie sie als Artefakt bei CCD- und CMOS-Sensoren zu beobachten ist. Neben durch den Produktionsprozess der flächigen Bildsensoren 4 bedingten Artefakten treten solche Muster auch durch Frequenzüberlagerungen, z.B. von digitalen Taktsignalen, auf. Ein weiterer Grund für das Auftreten von ortskonstanten Artefakten sind Reflektionen im Infrarotbereich an der Rückseite des Siliziums des flächigen Bildsensors 4.
-
4 zeigt eine Ausschnittsvergrößerung des in 3 gezeigten Dunkelstrombildes. Die vertikale Streifenstruktur überlagert das Grundrauschen des Bildsensors.
-
Auf der Grundlage der Bilddaten des Dunkelstrombildes, wie es beispielhaft in 3 gezeigt ist, wird eine Fouriertransformierte erzeugt (Schritt S3 in 2). Zur Berechnung der Fouriertransformierten auf der Grundlage der Bilddaten des Dunkelstrombildes sind gemäß verschiedenen Ausführungsbeispielen mehrere Möglichkeiten vorgesehen.
-
So ist es beispielsweise möglich, auf der Grundlage der Bilddaten des Dunkelstrombildes (vgl. 3) eine 2D-Fouriertransformierte zu erzeugen. Ausgehend von dieser 2D-Fouriertransformierten werden die Fourierfrequenzen und Fourierkoeffizienten entlang einer durch diese 2D-Fouriertransformierten gelegten Geraden betrachtet. Grundsätzlich ist es möglich, diese Gerade in einer beliebigen Richtung durch die 2D-Fouriertransformierte zu legen, und die Fourierfrequenzen und Fourierkoeffizienten entlang dieser Geraden zu betrachten.
-
Gemäß einem Ausführungsbeispiel wird aus der berechneten 2D-Fouriertransformierten in vertikaler und horizontaler Richtung jeweils die zentrale Spalte bzw. Zeile entnommen und als Fouriertransformierte abgespeichert.
-
Die Fourierfrequenzen und zugehörigen Fourierparameter, welche der zentralen vertikalen Achse entnommen wurden und zur vertikalen Korrektur des Bildes vorgesehen sind, sind beispielhaft in 5 gezeigt. In gleicher Weise werden die Fourierfrequenzen und zugehörigen Fourierparameter, welche der horizontalen zentralen Zeile entnommen sind und zur horizontalen Korrektur des Bildes vorgesehen sind, beispielhaft in 6 gezeigt.
-
Mit anderen Worten enthält das in 5 gezeigte Fourierspektrum die zur Beschreibung der in vertikaler Richtung auftretenden periodischen Fehler des Dunkelstrombildes notwendigen Informationen. 6 enthält die Informationen, welche zur Beschreibung der in horizontaler Richtung im Dunkelstrombild auftretenden Fehler notwendig sind. Aufgrund der ausgeprägten vertikalen Streifenstruktur zeigt das in 6 gezeigte Fourierspektrum, welches zur horizontalen Korrektur der Bildfehler dient, ausgeprägte periodische Anteile.
-
Indem, ausgehend von dem 2D-Fourierspektrum, lediglich diejenigen Fourierkoeffizienten bzw. -parameter berücksichtigt werden, welche die vertikalen bzw. horizontalen Komponenten des Dunkelstrombildes abbilden, wird die Datenmenge der zur Beschreibung des Korrekturbildes verwendeten Fouriertransformierten, im Vergleich zum Korrekturbild selbst, signifikant verringert. So ist es möglich, die die Fouriertransformierten beschreibenden Daten, beispielsweise die in den 5 und 6 gezeigten Fourierkoeffizienten und zugehörigen Fourierfrequenzen, in einem verhältnismäßig kleinen internen Datenspeicher 10 der Kamera 3 abzuspeichern (Schritt S4 in 2). Die Speicherung dieser Daten erfolgt beispielsweise in einem internen Speicher eines Mikrocontrollers, der als Auslesevorrichtung 8 dient. Es ist ebenso möglich, die entsprechenden Daten in einem nichtflüchtigen Datenspeicher 10 abzulegen, welcher mit der Auslesevorrichtung 8 gekoppelt ist.
-
Gemäß einem weiteren Ausführungsbeispiel wird ausgehend von dem erfassten Dunkelstrombild (vgl. 3) keine vollständige 2D-Fouriertransformierte erzeugt. Die Intensitätswerte des Dunkelstrombildes werden stattdessen horizontal oder vertikal aufsummiert. Beispielsweise erfolgt eine pixelweise Summation der Helligkeitswerte in den Zeilen und/oder Spalten des aufgenommenen Dunkelstrombildes für alle Zeilen bzw. Spalten. Die Summenwerte können anschließend durch Division mit der Anzahl der in einer Zeile bzw. Spalte vorhandenen Pixel normiert werden.
-
Anschließend wird der errechnete mittlere Helligkeitswert verwendet, um eine mittlere Helligkeitsverteilung in horizontaler oder vertikaler Richtung zu bestimmen. Diese mittlere Helligkeitsverteilung bildet den Ausgangspunkt für die Berechnung der horizontalen und vertikalen Fouriertransformierten. Die so erhaltenen Spektren sind mit den in den 5 und 6 gezeigten Fourierspektren (welche auf unterschiedliche Weise errechnet wurden) vergleichbar.
-
Erneut wird im Ergebnis die Datenmenge durch die vorgenommene Mittelung erheblich reduziert, so dass es ebenfalls möglich ist, die das Fourierspektrum beschreibenden Daten, insbesondere die Fourierfrequenzen und zugehörigen Fourierkoeffizienten, in einem internen Datenspeicher 10 der Kamera 3 abzulegen. Vorteilhaft ist zum Abspeichern der die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten ein Datenspeicher von geringer Größe bzw. mit geringem Speichervolumen ausreichend.
-
Mit der Kamera 3, d.h. mit Hilfe des flächigen Bildsensors 4 und der Ausleseelektronik 8, werden anschließend weitere Bilder erfasst (Schritt S5 in 2).
-
Zur Korrektur dieser Bilder wird ein Korrekturbild erzeugt. Dieses wird ausgehend von den abgespeicherten, die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten, durch Rücktransformation der Fouriertransformierten berechnet (Schritt S6 in 2).
-
7 zeigt beispielhaft ein solches, auf der Grundlage der in den 5 und 6 gezeigten Fourierspektren berechnetes Korrekturbild.
-
Zur Fehlerkorrektur von in dem digitalen Bilderfassungssystem 2 vorhandenen Artefakten wird das Korrekturbild (vgl. 7) von einem weiteren erfassten Bild abgezogen (Schritt S7 in 2). Insbesondere erfolgt diese Korrektur, indem das Korrekturbild pixelweise von dem erfassten Bild abgezogen wird. Ebenso können jedoch andere geeignete mathematische Operationen zwischen dem erfassten Bild und dem Korrekturbild vorgesehen sein.
-
Zur Illustration des Erfolgs dieser Fehlerkorrektur ist in 8 die Differenz zwischen dem in 3 gezeigten Dunkelstrombild und dem in 7 dargestellten Korrekturbild gezeigt. Als Differenzbild zwischen diesen beiden Bildern verbleibt lediglich das statistische und homogene Hintergrundrauschen des flächigen Bildsensors 4. Periodische vertikale und horizontale Artefakte sind weitgehend beseitigt, das Bild weist eine homogene Helligkeitsverteilung auf.
-
Dies zeigt auch die in 9 dargestellte Detailvergrößerung des aus 8 bekannten Bildes.
-
Um die zur Beschreibung des Korrekturbildes notwendigen Daten weiter zu reduzieren, werden in der bzw. den Fouriertransformierten des erfassten Dunkelstrombildes lediglich diejenigen Fourierfrequenzen berücksichtigt, welche wesentlich zur Bildinformation beitragen. Gemäß einem weiteren Ausführungsbeispiel werden daher aus den die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten diejenigen ausgewählt, deren Werte oberhalb eines insbesondere vorbestimmten Grenzwertes liegen. Mit anderen Worten werden diejenigen Fourierfrequenzen ausgewählt, deren Fourierparameter einen Wert oberhalb des Grenzwertes aufweisen. Alternativ können die Fourierfrequenzen ausgewählt werden, die am deutlichsten zur Bildinformation beitragen. Beispielsweise werden die Fourierfrequenzen mit den größten n Fourierparametern ausgewählt, wobei die Anzahl n entsprechend dem zur Verfügung stehenden Speicherplatz ausgewählt werden kann. Das Ergebnis ist ein reduzierter Satz von Fourierkoeffizienten, der die Störsignale in guter Näherung beschreibt.
-
Beispielhaft sind in 10 und 11 reduzierte Fourierspektren gezeigt. 10 zeigt das bereits aus 5 bekannte Fourierspektrum, wobei ein erster Grenzwert T1 festgelegt wurde und lediglich diejenigen Fourierfrequenzen und zugehörigen Fourierparameter berücksichtigt werden, deren Wert oberhalb dieses ersten Grenzwertes T1 liegt. Die übrigen Fourierfrequenzen werden verworfen, da sie nicht signifikant zur Bildinformation des Dunkelstrombildes beitragen. 11 zeigt das bereits aus 6 bekannte Fourierspektrum, wobei analog zu 10 ein zweiter Grenzwert T2 festgelegt wurde und Fourierparameter, deren Amplitude unterhalb dieses zweiten Grenzwertes T2 liegen, nicht berücksichtigt werden.
-
Ausgehend von dem auf diese Weise erzeugten reduzierten Datensatz wird ein Korrekturbild berechnet, welches beispielhaft in 12 gezeigt ist.
-
Auch dieses Korrekturbild ist geeignet, die systematischen horizontalen und vertikalen Artefakte des digitalen Bilderfassungssystems 2 wirksam zu korrigieren. Zur Illustration der Wirksamkeit dieses Verfahrens zur Fehlerkorrektur, welches auf einem reduzierten Datensatz beruht, ist das in 12 gezeigte Korrekturbild von dem Dunkelstrombild, welches 3 zeigt, abgezogen worden. Das Differenzbild zeigt 13. Horizontale und vertikale, insbesondere durch den Herstellungsprozess des flächigen Bildsensors 4 bedingte Bildartefakte sind wirkungsvoll beseitigt.
-
14 zeigt einen Vergleich zwischen einer Bildkorrektur auf der Grundlage der in den 5 und 6 gezeigten Fourierspektren mit einer Korrektur auf der Grundlage der in den 10 und 11 gezeigten reduzierten Fourierspektren.
-
14a) zeigt einen Bildausschnitt von 13. Dieses Bild wurde auf der Grundlage des in 12 gezeigten Korrekturbildes berechnet. Dem Korrekturbild in 12 liegt ein reduzierter Datensatz zugrunde. Dem Korrekturbild in 12 liegen die in 10 und 11 gezeigten Fourierspektren zugrunde. 14b) zeigt einen Bildausschnitt von 8, der identisch zu demjenigen von 9 ist. 8 wurde ausgehend von dem Dunkelstrombild, wie es 3 zeigt, unter Berücksichtigung des Korrekturbildes in 7 berechnet. Dem Korrekturbild in 7 liegen die in 5 und 6 gezeigten Fourierspektren zugrunde.
-
Wie der Vergleich zwischen den in 14a) und 14b) gezeigten Bildausschnitten zeigt, erfolgt die Korrektur der vorhandenen Bildartefakte ausgehend von den Fourierspektren der 5 und 6 und den reduzierten Fourierspektren in den 10 und 11 praktisch gleichwertig. Im Ergebnis sind die korrigierten Bilder nicht zu unterscheiden. In beiden Fällen ist lediglich das statistische und homogene Hintergrundrauschen des flächigen Bildsensors 4 zu beobachten.
-
Die oben genannten Ausführungen gelten analog für ein digitales Bilderfassungssystem 2 mit einem linearen und somit nicht flächigen Bildsensor 4. Die verwendete Mathematik schrumpft bei einem solchen Ausführungsbeispiel auf eine Dimension zusammen.
-
Das in dem Ablaufdiagramm von 2 dargestellte Verfahren zur Fehlerkorrektur endet schließlich in Schritt S8.
-
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.
-
Bezugszeichenliste
-
- 2
- digitales Bilderfassungssystem
- 3
- Kamera
- 4
- Bildsensor
- 6
- Objektiv
- 8
- Auslesevorrichtung
- 10
- Datenspeicher
- 12
- Anschluss
- T1
- erster Grenzwert
- T2
- zweiter Grenzwert