DE102014224638A1 - Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System - Google Patents

Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System Download PDF

Info

Publication number
DE102014224638A1
DE102014224638A1 DE102014224638.5A DE102014224638A DE102014224638A1 DE 102014224638 A1 DE102014224638 A1 DE 102014224638A1 DE 102014224638 A DE102014224638 A DE 102014224638A DE 102014224638 A1 DE102014224638 A1 DE 102014224638A1
Authority
DE
Germany
Prior art keywords
image
data
fourier transform
dark current
fourier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102014224638.5A
Other languages
English (en)
Inventor
Jürgen Tümpner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuempner Juergen Dr De
Original Assignee
Olympus Soft Imaging Solutions GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Soft Imaging Solutions GmbH filed Critical Olympus Soft Imaging Solutions GmbH
Priority to DE102014224638.5A priority Critical patent/DE102014224638A1/de
Priority to PCT/EP2015/077612 priority patent/WO2016087277A1/de
Publication of DE102014224638A1 publication Critical patent/DE102014224638A1/de
Priority to US15/612,000 priority patent/US10356347B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Digitales Bilderfassungssystem (2) und Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem (2) mit einem Bildsensor (4) und einer Auslesevorrichtung (8) zum Auslesen des Bildsensors (4), bei dem ein Dunkelstrombild mit dem Bildsensor (4) und der Auslesevorrichtung (8) erfasst wird, wobei das Verfahren dadurch fortgebildet ist, dass es ferner die folgenden Schritte umfasst: Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes; Abspeichern von die Fouriertransformierte beschreibenden Daten; Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Daten und Korrigieren von Bildfehlern des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.

Description

  • Die Erfindung betrifft ein Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, bei dem ein Dunkelstrombild mit dem Bildsensor und der Auslesevorrichtung erfasst wird. Ferner betrifft die Erfindung ein digitales Bilderfassungssystem mit einem Bildsensor und mit einer Auslesevorrichtung zum Auslesen des Bildsensors, wobei die Auslesevorrichtung dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor zu erfassen.
  • Digitale Bilderfassungssysteme sind allgemein bekannt und werden für verschiedene Anwendungen eingesetzt. Beispielsweise umfasst eine Digitalkamera oder eine digitale Videokamera ein solches System.
  • Die in digitalen Bilderfassungssystemen eingesetzten Bildsensoren, wie beispielsweise CCD- oder CMOS-Sensoren, weisen vielfach ein in der Sensorebene inhomogenes Dunkelstromrauschen auf. Dies betrifft sowohl lineare Bildsensoren, wie sie in Zeilenkameras zum Einsatz kommen, als auch flächige Bildsensoren, wie sie bei Kameras eingesetzt werden. Das von einem vollständig abgedunkelten Bildsensor erfasste Bild zeigt oftmals ein schwaches Streifenmuster. Die inhomogene Erfassungscharakteristik der Bildsensoren ist durch fertigungsbedingte Toleranzen und systemische Eigenschaften der verwendeten Kameraelektronik bedingt.
  • Für Endbenutzeranwendungen spielen die in den erfassten Bildern auftretenden Artefakte, die sich insbesondere in einer geringfügig variierenden Bildhelligkeit niederschlagen, eine eher untergeordnete Rolle. Für professionelle Anwendungen, beispielsweise bei der Bilderfassung im Mikroskopiebereich, sind solche systematischen Bildfehler jedoch unerwünscht. Die in der Sensorebene vorhandenen Unterschiede des Untergrundsignals verringern das Signal-zu-Rausch-Verhältnis (für englisch: „signal-to-noise ratio“) und überlagern die schwachen Lichtintensitäten der erfassten Bilder.
  • Um die systematischen Bildfehler zu korrigieren, wird in einem Kalibriervorgang ein für den Sensor individuelles Korrekturbild aufgenommen. Während des Kalibriervorgangs wird der Bildsensor vollständig abgedunkelt, beispielsweise abgedeckt. Als Korrekturbild wird anschließend ein sog. Dunkelstrombild aufgenommen, welches das Dunkelstromrauschen des Bildsensors wiedergibt. Anschließend wird dieses für den Sensor spezifische Korrekturbild von den mit diesem Sensor erfassten Bildern abgezogen. Diese Form der Kalibrierung ist möglich, da bei vollständig abgedunkeltem Sensor die auftretenden Bildfehler weder von der Menge des einfallenden Lichts noch von der Quanteneffizienz der einzelnen Pixel des Bildsensors abhängig sind. Die Sensorfehler überlagern das erfasste Bild additiv.
  • Das Korrekturbild wird üblicherweise im Speicher einer mit der Kamera gekoppelten bildverarbeitenden Einheit, beispielsweise auf der Festplatte eines PC, abgelegt. Von jedem mit Hilfe des Bilderfassungssystems erfassten Bild wird anschließend, beispielsweise von einer auf der bildverarbeitenden Einheit vorhandenen Software, dieses Korrekturbild abgezogen.
  • Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem und ein verbessertes digitales Bilderfassungssystem anzugeben, wobei insbesondere der konstruktive Aufwand für das digitale Bilderfassungssystem möglichst gering sein soll.
  • Die erfindungsgemäße Aufgabe wird gelöst durch ein Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, bei dem ein Dunkelstrombild mit dem Bildsensor und der Auslesevorrichtung erfasst wird, wobei das Verfahren dadurch fortgebildet ist, dass es die folgenden Schritte umfasst:
    • A) Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes,
    • B) Abspeichern von die Fouriertransformierte beschreibenden Daten,
    • C) Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Daten und
    • D) Korrigieren von Bildfehlern des Bilderfassungssystems in einem mit dem Bilderfassungssystem erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.
  • Die Fouriertransformierte wird auf der Grundlage der Bilddaten des Dunkelstrombildes berechnet. Bei dem Bildsensor des digitalen Bilderfassungssystems handelt es sich insbesondere um einen flächigen Bildsensor, beispielsweise um einen CCD- oder CMOS-Sensor, der ein pixelweise aufgelöstes Dunkelstrombild liefert. Es ist ebenso denkbar, dass der Bildsensor ein linearer Sensor ist, wie er beispielsweise in Zeilenkameras zum Einsatz kommt. Die Fouriertransformierte ist insbesondere eine diskrete Fouriertransformierte (englisch: discrete Fourier transform, abgekürzt: DFT). Zur Berechnung der DFT ist ferner die sog. schnelle Fouriertransformation (englisch: fast Fourier transform, abgekürzt: FFT) geeignet. Die Algorithmen zur effizienten Berechnung einer FFT sind allgemein bekannt. Die die Fouriertransformierte beschreibenden Daten sind in diesem Fall insbesondere das Amplituden- und Phasenbild im Fourierraum, die Fourierkoeffizienten und die Phasen der zur Berechnung der FFT verwendeten Schwingungen.
  • Insbesondere sind mit Hilfe des erfindungsgemäßen Verfahrens zur Fehlerkorrektur nicht dynamische und bezüglich des Bildsensors ortskonstante Bildfehler korrigierbar.
  • Die Korrektur der Bildfehler durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes erfolgt bevorzugt, indem von den Bilddaten des erfassten weiteren Bildes die Bilddaten des Korrekturbildes abgezogen werden. Insbesondere wird zur Korrektur der Bildfehler das Korrekturbild von dem erfassten Bild pixelweise abgezogen bzw. subtrahiert.
  • Vorteilhaft ist das Verfahren sowohl zur Fehlerkorrektur in einem digitalen Bilderfassungssystem zur Erfassung von Standbildern (Fotos) als auch in einem digitalen Bilderfassungssystem zur Erfassung von bewegten Bildern (Videobildern) verwendbar.
  • Mit Hilfe der Fouriertransformation erfolgt eine Umrechnung der Bilddaten des Dunkelstrombildes vom Ortsraum in den Frequenzraum. Bevorzugt erfolgt diese Umrechnung, d.h. die Fouriertransformation, nacheinander in mehreren Richtungen des Bildes. Insbesondere wird die Fouriertransformierte des Dunkelstrombildes berechnet, indem zeilen- bzw. spaltenweise eine diskrete Fouriertransformierte der in einer Zeile oder Spalte vorhandenen Pixelwerte des Dunkelstrombildes vorgenommen wird. Als Pixelwert wird beispielsweise der Helligkeitswert herangezogen.
  • Die in digitalen Bilderfassungssystemen auftretenden Bildartefakte sind vielfach durch den Herstellungsprozess der verwendeten Bildsensoren bedingt. Ebenso sind systemische Eigenschaften, wie z.B. die verwendeten Auslesefrequenzen der Kameraelektronik, mögliche Ursachen. Die Kalibrierung eines digitalen Bilderfassungssystems erfolgt mit Hilfe eines zuvor aufgenommenen Korrekturbildes, in der Regel einem Dunkelstrombild. Dieses Korrekturbild wird traditionell beispielsweise im nichtflüchtigen Speicher eines PC, der zur Verarbeitung der Bilddaten verwendet wird, hinterlegt. Bei großen Bildsensoren mit einer entsprechend großen Anzahl von Pixeln ist zu diesem Zweck jedoch ein relativ großer Datenspeicher erforderlich.
  • Die Erfindung beruht demgegenüber auf der Erkenntnis, dass durch Fouriertransformation des Dunkelstrombildes vom Orts- in den Frequenzraum, die Möglichkeit geschaffen wird, das Dunkelstrombild auf einfache und vielfältige Weise zu manipulieren. Dies betrifft bevorzugt die Möglichkeit, den benötigten Speicherplatz zur Speicherung des Dunkelstrombildes zu minimieren.
  • Gemäß einer vorteilhaften Ausführungsform zeichnet sich das Verfahren zur Fehlerkorrektur dadurch aus, dass das digitale Bilderfassungssystem eine Kamera umfasst, wobei die Kamera den Bildsensor und einen, insbesondere nichtflüchtigen, Datenspeicher umfasst, und wobei die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher abgespeichert werden.
  • Bei dem nichtflüchtigen Datenspeicher handelt es sich vorzugsweise um einen Halbleiterspeicher-Baustein, z.B. ein EPROM und einen Flash-Speicher. Ferner sind FeRAM, MRAM und/oder PCRAM Speicherbausteine geeignet. Insbesondere ist der nichtflüchtige Datenspeicher ein interner Datenspeicher der Kamera.
  • Indem das Korrekturbild in diesem internen Datenspeicher der Kamera ab- bzw. hinterlegt wird, ist das Korrekturbild unabhängig von den an die Kamera angeschlossenen weiteren Bildverarbeitungssystemen. Bei einer Änderung der Hardware und/oder Software dieses weiteren Bildverarbeitungssystems, bei dem es sich beispielsweise um einen PC handelt, entfällt die Notwendigkeit, eine Rekalibrierung des Bilderfassungssystems vorzunehmen. Es ist vorteilhaft nicht notwendig, erneut ein Dunkelstrombild aufzunehmen und auf dem geänderten oder neuen System abzuspeichern. Das digitale Bilderfassungssystem ist sicher und einfach in der Handhabung. Dies gilt vor allem, da es eine gewisse Expertise erfordert, den Kalibrierungsvorgang des Sensors erfolgreich und korrekt auszuführen.
  • Gemäß einer weiteren Ausführungsform ist das Verfahren zur Fehlerkorrektur dadurch fortgebildet, dass das Rücktransformieren der Fouriertransformierten und insbesondere das Korrigieren von Bildfehlern in der Auslesevorrichtung erfolgt, wobei ferner insbesondere die Auslesevorrichtung von einer Kamera des Bilderfassungssystems umfasst ist.
  • Bei der Auslesevorrichtung handelt es sich beispielsweise um einen Mikrocontroller, der von der Kamera umfasst ist. Der nichtflüchtige Datenspeicher ist bevorzugt innerhalb der Kamera vorgesehen, beispielsweise als interner Speicher des Mikrocontrollers. Ebenso ist es möglich, dass der Datenspeicher als separater Baustein ausgeführt und mit dem Mikrocontroller gekoppelt ist.
  • Vorteilhaft liefert das digitale Bilderfassungssystem (offset-)korrigierte Bilddaten an angeschlossene bildverarbeitende Einheiten, beispielsweise an einen zur Auswertung verwendeten PC. Der benutzerseitige Aufwand zur Anpassung zwischen dem digitalen Bilderfassungssystem und diesen weiteren bildverarbeitenden Einheiten ist gering. Das digitale Bilderfassungssystem ist daher flexibel an verschiedenen bildverarbeitenden Einheiten einsetzbar.
  • Vorteilhaft ist das Verfahren zur Fehlerkorrektur ferner dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, wobei die Fouriertransformierte des Dunkelstrombildes erzeugt wird, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
  • Vorteilhaft umfasst die Fouriertransformierte des Dunkelstrombildes eine reduzierte Bildinformation, welche dennoch die wesentlichen Bildinformationen des Dunkelstrombildes enthält. Dies betrifft vor allem Artefakte, die in einer weiteren Richtung senkrecht zu der Geraden keine ausgeprägte Struktur haben, beispielsweise Streifenmuster.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchgeführt und eine Fouriertransformierte erzeugt wird, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und wobei Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abgespeichert werden.
  • Gemäß einer anderen Ausführungsform ist vorgesehen, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte erzeugt wird, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
  • Ferner ist das Verfahren insbesondere dadurch fortgebildet, dass ein flächiger Bildsensor vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei die Pixelwerte des Dunkelstrombildes zeilenweise aufsummiert und insbesondere gemittelt werden und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten erzeugt wird, und/oder wobei die Pixelwerte des Dunkelstrombildes spaltenweise aufsummiert und insbesondere gemittelt werden und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten erzeugt wird, wobei eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung erzeugt wird und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
  • Den oben genannten Ausführungsformen liegt die Erkenntnis zugrunde, dass die auftretenden nicht dynamischen, ortskonstanten Bildfehler in vielen Fällen eine Vorzugsrichtung haben. Bevorzugt treten die Bildfehler als horizontales oder vertikales Streifenmuster auf, dessen Vorzugsrichtung entlang der Streifen liegen soll. Sie sind in vielen Fällen durch den Herstellungsprozess des insbesondere flächigen Bildsensors bedingt und daher in Richtung der Zeilen oder Spalten des Bildsensors orientiert.
  • Da die auftretenden Bildfehler systematisch sind, ist es möglich, die Fouriertransformierte des Dunkelstrombildes zu reduzieren, so dass lediglich die senkrecht zu der Vorzugsrichtung auftretenden Fehler in der Fouriertransformierten berücksichtigt sind. Durch diese Form der Reduktion der Fouriertransformierten wird der benötigte Speicherplatz für die Beschreibung des Korrekturbildes erheblich gesenkt. Abstrakt formuliert liegt den genannten Ausführungsformen die Erkenntnis zugrunde, dass mit geringer werdendem Komplexitätsgrad des Dunkelstrombildes (Offset-Bildes) eine dramatische Reduktion der Anzahl der benötigten Fourierparameter bzw. Fourierkoeffizienten zur Beschreibung des Dunkelstrombildes einhergeht.
  • Die zur Beschreibung des Korrekturbildes im Fourierraum notwendige Datenmenge ist um ein Vielfaches geringer als eine Datenmenge des Korrekturbildes selbst. So wird die Möglichkeit geschaffen, das Korrekturbild in einem vergleichsweise kleinen internen Datenspeicher der Kamera zu hinterlegen. Ferner besteht die Möglichkeit, die Korrektur der Bildfehler des Bildsensors direkt in der Kamera vorzunehmen.
  • Der Speicherbedarf für die das Korrekturbild beschreibenden Daten wird weiter gesenkt, indem das Verfahren dadurch fortgebildet wird, dass aus den die Fouriertransformierte beschreibenden Daten diejenigen Daten oder Datensätze ausgewählt werden, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransformierte beschreibenden Daten eine vorbestimmte Anzahl von Daten oder Datensätzen ausgewählt werden, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, wobei aus diesen ausgewählten Daten ein reduzierter, die Fouriertransformierte beschreibender Datensatz gebildet wird.
  • Die Beschreibung des Dunkelstrombildes wird auf diejenigen Fourierfrequenzen beschränkt, die in nennenswertem Umfang zur Beschreibung des Korrekturbildes beitragen. Die zur Rekonstruktion des Korrekturbildes notwendige Datenmenge wird nochmals erheblich reduziert. Gegenüber einem klassischen Korrekturbild ergibt sich ein signifikant reduzierter Speicherbedarf, ohne dass ein nennenswerter Qualitätsverlust bei der Korrektur zu verzeichnen ist.
  • Beispielsweise erfordert ein Bildsensor mit einer großen Pixelanzahl für ein klassisches Korrekturbild einen Speicherplatz zwischen 10 MB und 100 MB. Durch die Darstellung des Korrekturbildes im Fourierraum wird der benötigte Speicherplatz, je nach Anzahl der verwendeten Fourierfrequenzen, um bis zu einen Faktor 1000 verringert. Beispielsweise wird der Speicherbedarf von 8,192 MB ohne nennenswerten Qualitätsverlust für das Korrekturbild auf 8,192 kB bei 2048 Fourierfrequenzen reduziert. Sofern auch horizontale Einflüsse korrigiert werden sollen, vergrößert sich der Platzbedarf für das Korrekturbild auf 4096 Fourierfrequenzen. Eine Reduktion auf diejenigen Fourierfrequenzen, welche nennenswert zur Rekonstruktion des Korrekturbildes beitragen, führt zu einer weiteren Reduktion der für die Beschreibung des Korrekturbildes notwendigen Datenmenge.
  • Das Korrekturbild kann selbst in einem verhältnismäßig kleinen internen Datenspeicher eines Mikrocontrollers hinterlegt werden, so dass eine kameraseitige Speicherung des Korrekturbildes problemlos möglich ist.
  • Die Notwendigkeit, eine Kalibrierung der erfassten Bilder in einem an das digitale Bilderfassungssystem angeschlossenen weiteren bildverarbeitenden System vorzunehmen, entfällt. Die vom Benutzer zu fordernde Expertise im Umgang mit dem digitalen Bilderfassungssystem, ist sehr gering. Somit sind das Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem sowie das entsprechende Bilderfassungssystem zuverlässig und robust in der Anwendung.
  • Die erfindungsgemäße Aufgabe wird ferner gelöst durch ein digitales Bilderfassungssystem mit einem Bildsensor und einer Auslesevorrichtung zum Auslesen des Bildsensors, wobei die Auslesevorrichtung dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor zu erfassen, und wobei das digitale Bilderfassungssystem dadurch fortgebildet ist, dass die Auslesevorrichtung dazu eingerichtet ist,
    • A) eine Fouriertransformierte mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes zu erzeugen,
    • B) die Fouriertransformierte beschreibende Daten abzuspeichern,
    • C) die Fouriertransformierte durch Fouriertransformation der abgespeicherten Daten zurückzutransformieren und ein Korrekturbild aus den rücktransformierten Daten zu erzeugen und
    • D) Bildfehler des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten, weiteren Bild zu korrigieren, indem Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes verrechnet werden.
  • Bei dem Bildsensor handelt es sich insbesondere um einen flächigen Bildsensor. Gemäß weiterer Ausführungsformen umfasst das digitale Bilderfassungssystem einen linearen Bildsensor, wie er beispielsweise in einer Zeilenkamera zum Einsatz kommt.
  • Gemäß einer vorteilhaften Ausführungsform ist vorgesehen, dass das digitale Bilderfassungssystem eine Kamera umfasst, wobei die Kamera den Bildsensor und einen, insbesondere nichtflüchtigen, Datenspeicher umfasst, und der Datenspeicher dazu eingerichtet ist, die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher abzuspeichern.
  • Ferner ist insbesondere vorgesehen, dass die Auslesevorrichtung dazu eingerichtet ist, die Fouriertransformierte zurückzutransformieren und insbesondere Bildfehler zu korrigieren, wobei ferner insbesondere die Auslesevorrichtung von einer Kamera des Bilderfassungssystems umfasst ist.
  • Gemäß einer Ausführungsform ist ferner vorgesehen, dass der Bildsensor ein flächiger Bildsensor ist und das digitale Bilderfassungssystem dazu eingerichtet ist, die Fouriertransformierte des Dunkelstrombildes zu erzeugen, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
  • Vorzugsweise ist das digitale Bilderfassungssystem dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchzuführen und eine Fouriertransformierte zu erzeugen, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abzuspeichern.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte zu erzeugen, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
  • Vorteilhaft ist das digitale Bilderfassungssystem dadurch fortgebildet, dass der Bildsensor ein flächiger Bildsensor ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, die Pixelwerte des Dunkelstrombildes zeilenweise aufzusummieren und insbesondere zu mitteln und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten zu erzeugen, und/oder die Pixelwerte des Dunkelstrombildes spaltenweise aufzusummieren und insbesondere zu mitteln und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten zu erzeugen, und ferner eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung zu erzeugen und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
  • In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die Auslesevorrichtung insbesondere ein Bestandteil der Kamera ist. Beispielsweise handelt es sich bei dieser um einen in die Kamera integrierten Mikrocontoller. Ebenso ist es jedoch möglich, dass sich die Auslesevorrichtung teilweise innerhalb und teilweise außerhalb der Kamera befindet, wobei eine funktionelle Trennung zwischen verschiedenen Funktionen der Auslesevorrichtung vorgenommen werden kann.
  • Ferner ist vorteilhaft vorgesehen, dass das Korrekturbild bzw. die zur Beschreibung des Korrekturbildes notwendigen Daten innerhalb der Kamera, in einem dort vorhandenen insbesondere nichtflüchtigen Datenspeicher abgelegt werden. Zu diesem Zweck umfasst die Kamera beispielsweise einen Flash-Speicherbaustein, ein EPROM, einen FeRAM, MRAM und/oder PCRAM Speicherbaustein.
  • Ferner ist insbesondere vorgesehen, dass die das Korrekturbild beschreibenden Daten in einem internen Speicher des Mikrocontrollers abgelegt sind. Ebenso ist vorteilhaft vorgesehen, dass die Bildkorrektur innerhalb der Kamera vorgenommen wird, so dass diese an weitere bildverarbeitende Einheiten bereits korrigierte Bilddaten bzw. einen korrigierten Bilddatenstrom liefert.
  • Auf das digitale Bilderfassungssystem treffen gleiche oder ähnliche Vorteile zu, wie sie bereits im Hinblick auf das Verfahren zur Fehlerkorrektur in einem solchen digitalen Bilderfassungssystem erwähnt wurden. Ferner sind die im Hinblick auf das Verfahren genannten Merkmale der Erfindung in gleicher oder ähnlicher Weise auf das digitale Bilderfassungssystem anwendbar.
  • Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
  • Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
  • 1 ein schematisches digitales Bilderfassungssystem,
  • 2 ein schematisches Ablaufdiagramm eines Verfahrens zur Fehlerkorrektur in einem solchen digitalen Bilderfassungssystem,
  • 3 ein unkorrigiertes Dunkelstrombild eines digitalen Bilderfassungssystems,
  • 4 eine Ausschnittsvergrößerung des in 3 gezeigten Dunkelstrombildes,
  • 5 ein schematisches Fourierspektrum eines Korrekturbildes zur vertikalen Korrektur des in 3 dargestellten Bildes,
  • 6 ein schematisches Fourierspektrum eines Korrekturbildes zur horizontalen Korrektur des in 3 dargestellten Bildes,
  • 7 ein aus den Fourierspektren von 5 und 6 errechnetes Korrekturbild,
  • 8 ein korrigiertes Dunkelstrombild, welches durch Anwendung des in 7 gezeigten Korrekturbildes auf das Dunkelstrombild von 3 entsteht,
  • 9 eine Ausschnittsvergrößerung des in 8 gezeigten korrigierten Dunkelstrombildes,
  • 10 ein reduziertes schematisches Fourierspektrum zur horizontalen Fehlerkorrektur, welches ausgehend von dem in 5 dargestellten Fourierspektrum bestimmt wird,
  • 11 ein reduziertes schematisches Fourierspektrum zur vertikalen Fehlerkorrektur, welches ausgehend von dem in 6 dargestellten Fourierspektrum bestimmt wird,
  • 12 ein aus den in 10 und 11 gezeigten reduzierten Fourierspektren berechnetes Korrekturbild,
  • 13 ein korrigiertes Dunkelstrombild, welches durch Anwendung des in 12 gezeigten Korrekturbildes auf das in 3 gezeigte Dunkelstrombild entsteht,
  • 14a) eine Ausschnittsvergrößerung des in 13 gezeigten korrigierten Dunkelstrombildes und
  • 14b) eine Ausschnittsvergrößerung des in 8 gezeigten korrigierten Dunkelstrombildes, die identisch zu der Darstellung in 9 ist.
  • In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
  • 1 zeigt schematisch ein digitales Bilderfassungssystem 2, umfassend eine Kamera 3 mit einem Bildsensor 4. Bei dem Bildsensor 4 handelt es sich insbesondere um einen flächigen Bildsensor 4, beispielsweise um einen CCD- oder CMOS-Sensor. Ebenso ist vorgesehen, dass die Kamera 3 nach der Art einer Zeilenkamera ausgestaltet ist und einen linearen Bildsensor 4 umfasst. Lediglich beispielhaft wird im Folgenden auf eine Kamera 3 mit einem flächigen Bildsensor 4 Bezug genommen. Ein von einem Objektiv 6 der Kamera 3 erfasstes Bildfeld wird auf den insbesondere flächigen Bildsensor 4 abgebildet. Alternativ ist es ebenso möglich, dass die Kamera 3 zur Abbildung eines Bildfeldes auf eine weitere optische Abbildungsvorrichtung, wie beispielsweise ein Mikroskop, aufgesetzt ist, welches das Objektiv 6 ggf. ersetzt. Der flächige Bildsensor 4 wird von der Auslesevorrichtung 8 ausgelesen. Bei der Auslesevorrichtung 8 handelt es sich beispielsweise um einen Mikrocontroller. Neben der Auslesevorrichtung 8 umfasst die Kamera 3 einen Datenspeicher 10, insbesondere einen nichtflüchtigen Datenspeicher. Als nichtflüchtiger Datenspeicher 10 sind ein Flash-Speicher, ein FERAM oder ein MRAM geeignet. Die Kamera 3 bzw. die Auslesevorrichtung 8 sind über einen Anschluss 12 mit weiteren zur Bildverarbeitung oder Bilderfassung verwendeten Datenverarbeitungseinheiten, wie beispielsweise einem PC, zur Erfassung und Analyse der mit der Kamera 3 erfassten digitalen Bilddaten, koppelbar. Der Anschluss 12 dient ferner, sofern notwendig, der Ansteuerung und/oder der Stromversorgung der Kamera 3.
  • 2 zeigt ein vereinfachtes Ablaufdiagramm eines Verfahrens zur Fehlerkorrektur in dem beispielhaft in 1 gezeigten digitalen Bilderfassungssystem 2. Insbesondere ist die Auslesevorrichtung 8 dazu eingerichtet, das gezeigte Verfahren auszuführen. Es ist ebenso möglich, dass das Verfahren teilweise von der Auslesevorrichtung 8 und teilweise von einer mit der Kamera 3 über den Anschluss 12 verbundenen Bildverarbeitungseinheit, beispielsweise einem PC, ausgeführt wird. Das in 2 schematisch dargestellte Verfahren wird anschließend unter Bezugnahme auf die Darstellungen in den 3 bis 14b) erläutert.
  • Nach dem Start (Schritt S1) des Verfahrens erfolgt die Erfassung eines Dunkelstrombildes (Schritt S2) mit Hilfe des flächigen Bildsensors 4 und der Auslesevorrichtung 8. Die Erfassung des Dunkelstrombildes erfolgt durch beide Einheiten, um systematische Fehler des Systems insgesamt zu erfassen und zu korrigieren.
  • 3 zeigt beispielhaft ein in Schritt S2 erfasstes Dunkelstrombild. Dieses weist die vielfach auftretende, fertigungsbedingte vertikale Streifenstruktur auf, wie sie als Artefakt bei CCD- und CMOS-Sensoren zu beobachten ist. Neben durch den Produktionsprozess der flächigen Bildsensoren 4 bedingten Artefakten treten solche Muster auch durch Frequenzüberlagerungen, z.B. von digitalen Taktsignalen, auf. Ein weiterer Grund für das Auftreten von ortskonstanten Artefakten sind Reflektionen im Infrarotbereich an der Rückseite des Siliziums des flächigen Bildsensors 4.
  • 4 zeigt eine Ausschnittsvergrößerung des in 3 gezeigten Dunkelstrombildes. Die vertikale Streifenstruktur überlagert das Grundrauschen des Bildsensors.
  • Auf der Grundlage der Bilddaten des Dunkelstrombildes, wie es beispielhaft in 3 gezeigt ist, wird eine Fouriertransformierte erzeugt (Schritt S3 in 2). Zur Berechnung der Fouriertransformierten auf der Grundlage der Bilddaten des Dunkelstrombildes sind gemäß verschiedenen Ausführungsbeispielen mehrere Möglichkeiten vorgesehen.
  • So ist es beispielsweise möglich, auf der Grundlage der Bilddaten des Dunkelstrombildes (vgl. 3) eine 2D-Fouriertransformierte zu erzeugen. Ausgehend von dieser 2D-Fouriertransformierten werden die Fourierfrequenzen und Fourierkoeffizienten entlang einer durch diese 2D-Fouriertransformierten gelegten Geraden betrachtet. Grundsätzlich ist es möglich, diese Gerade in einer beliebigen Richtung durch die 2D-Fouriertransformierte zu legen, und die Fourierfrequenzen und Fourierkoeffizienten entlang dieser Geraden zu betrachten.
  • Gemäß einem Ausführungsbeispiel wird aus der berechneten 2D-Fouriertransformierten in vertikaler und horizontaler Richtung jeweils die zentrale Spalte bzw. Zeile entnommen und als Fouriertransformierte abgespeichert.
  • Die Fourierfrequenzen und zugehörigen Fourierparameter, welche der zentralen vertikalen Achse entnommen wurden und zur vertikalen Korrektur des Bildes vorgesehen sind, sind beispielhaft in 5 gezeigt. In gleicher Weise werden die Fourierfrequenzen und zugehörigen Fourierparameter, welche der horizontalen zentralen Zeile entnommen sind und zur horizontalen Korrektur des Bildes vorgesehen sind, beispielhaft in 6 gezeigt.
  • Mit anderen Worten enthält das in 5 gezeigte Fourierspektrum die zur Beschreibung der in vertikaler Richtung auftretenden periodischen Fehler des Dunkelstrombildes notwendigen Informationen. 6 enthält die Informationen, welche zur Beschreibung der in horizontaler Richtung im Dunkelstrombild auftretenden Fehler notwendig sind. Aufgrund der ausgeprägten vertikalen Streifenstruktur zeigt das in 6 gezeigte Fourierspektrum, welches zur horizontalen Korrektur der Bildfehler dient, ausgeprägte periodische Anteile.
  • Indem, ausgehend von dem 2D-Fourierspektrum, lediglich diejenigen Fourierkoeffizienten bzw. -parameter berücksichtigt werden, welche die vertikalen bzw. horizontalen Komponenten des Dunkelstrombildes abbilden, wird die Datenmenge der zur Beschreibung des Korrekturbildes verwendeten Fouriertransformierten, im Vergleich zum Korrekturbild selbst, signifikant verringert. So ist es möglich, die die Fouriertransformierten beschreibenden Daten, beispielsweise die in den 5 und 6 gezeigten Fourierkoeffizienten und zugehörigen Fourierfrequenzen, in einem verhältnismäßig kleinen internen Datenspeicher 10 der Kamera 3 abzuspeichern (Schritt S4 in 2). Die Speicherung dieser Daten erfolgt beispielsweise in einem internen Speicher eines Mikrocontrollers, der als Auslesevorrichtung 8 dient. Es ist ebenso möglich, die entsprechenden Daten in einem nichtflüchtigen Datenspeicher 10 abzulegen, welcher mit der Auslesevorrichtung 8 gekoppelt ist.
  • Gemäß einem weiteren Ausführungsbeispiel wird ausgehend von dem erfassten Dunkelstrombild (vgl. 3) keine vollständige 2D-Fouriertransformierte erzeugt. Die Intensitätswerte des Dunkelstrombildes werden stattdessen horizontal oder vertikal aufsummiert. Beispielsweise erfolgt eine pixelweise Summation der Helligkeitswerte in den Zeilen und/oder Spalten des aufgenommenen Dunkelstrombildes für alle Zeilen bzw. Spalten. Die Summenwerte können anschließend durch Division mit der Anzahl der in einer Zeile bzw. Spalte vorhandenen Pixel normiert werden.
  • Anschließend wird der errechnete mittlere Helligkeitswert verwendet, um eine mittlere Helligkeitsverteilung in horizontaler oder vertikaler Richtung zu bestimmen. Diese mittlere Helligkeitsverteilung bildet den Ausgangspunkt für die Berechnung der horizontalen und vertikalen Fouriertransformierten. Die so erhaltenen Spektren sind mit den in den 5 und 6 gezeigten Fourierspektren (welche auf unterschiedliche Weise errechnet wurden) vergleichbar.
  • Erneut wird im Ergebnis die Datenmenge durch die vorgenommene Mittelung erheblich reduziert, so dass es ebenfalls möglich ist, die das Fourierspektrum beschreibenden Daten, insbesondere die Fourierfrequenzen und zugehörigen Fourierkoeffizienten, in einem internen Datenspeicher 10 der Kamera 3 abzulegen. Vorteilhaft ist zum Abspeichern der die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten ein Datenspeicher von geringer Größe bzw. mit geringem Speichervolumen ausreichend.
  • Mit der Kamera 3, d.h. mit Hilfe des flächigen Bildsensors 4 und der Ausleseelektronik 8, werden anschließend weitere Bilder erfasst (Schritt S5 in 2).
  • Zur Korrektur dieser Bilder wird ein Korrekturbild erzeugt. Dieses wird ausgehend von den abgespeicherten, die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten, durch Rücktransformation der Fouriertransformierten berechnet (Schritt S6 in 2).
  • 7 zeigt beispielhaft ein solches, auf der Grundlage der in den 5 und 6 gezeigten Fourierspektren berechnetes Korrekturbild.
  • Zur Fehlerkorrektur von in dem digitalen Bilderfassungssystem 2 vorhandenen Artefakten wird das Korrekturbild (vgl. 7) von einem weiteren erfassten Bild abgezogen (Schritt S7 in 2). Insbesondere erfolgt diese Korrektur, indem das Korrekturbild pixelweise von dem erfassten Bild abgezogen wird. Ebenso können jedoch andere geeignete mathematische Operationen zwischen dem erfassten Bild und dem Korrekturbild vorgesehen sein.
  • Zur Illustration des Erfolgs dieser Fehlerkorrektur ist in 8 die Differenz zwischen dem in 3 gezeigten Dunkelstrombild und dem in 7 dargestellten Korrekturbild gezeigt. Als Differenzbild zwischen diesen beiden Bildern verbleibt lediglich das statistische und homogene Hintergrundrauschen des flächigen Bildsensors 4. Periodische vertikale und horizontale Artefakte sind weitgehend beseitigt, das Bild weist eine homogene Helligkeitsverteilung auf.
  • Dies zeigt auch die in 9 dargestellte Detailvergrößerung des aus 8 bekannten Bildes.
  • Um die zur Beschreibung des Korrekturbildes notwendigen Daten weiter zu reduzieren, werden in der bzw. den Fouriertransformierten des erfassten Dunkelstrombildes lediglich diejenigen Fourierfrequenzen berücksichtigt, welche wesentlich zur Bildinformation beitragen. Gemäß einem weiteren Ausführungsbeispiel werden daher aus den die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten diejenigen ausgewählt, deren Werte oberhalb eines insbesondere vorbestimmten Grenzwertes liegen. Mit anderen Worten werden diejenigen Fourierfrequenzen ausgewählt, deren Fourierparameter einen Wert oberhalb des Grenzwertes aufweisen. Alternativ können die Fourierfrequenzen ausgewählt werden, die am deutlichsten zur Bildinformation beitragen. Beispielsweise werden die Fourierfrequenzen mit den größten n Fourierparametern ausgewählt, wobei die Anzahl n entsprechend dem zur Verfügung stehenden Speicherplatz ausgewählt werden kann. Das Ergebnis ist ein reduzierter Satz von Fourierkoeffizienten, der die Störsignale in guter Näherung beschreibt.
  • Beispielhaft sind in 10 und 11 reduzierte Fourierspektren gezeigt. 10 zeigt das bereits aus 5 bekannte Fourierspektrum, wobei ein erster Grenzwert T1 festgelegt wurde und lediglich diejenigen Fourierfrequenzen und zugehörigen Fourierparameter berücksichtigt werden, deren Wert oberhalb dieses ersten Grenzwertes T1 liegt. Die übrigen Fourierfrequenzen werden verworfen, da sie nicht signifikant zur Bildinformation des Dunkelstrombildes beitragen. 11 zeigt das bereits aus 6 bekannte Fourierspektrum, wobei analog zu 10 ein zweiter Grenzwert T2 festgelegt wurde und Fourierparameter, deren Amplitude unterhalb dieses zweiten Grenzwertes T2 liegen, nicht berücksichtigt werden.
  • Ausgehend von dem auf diese Weise erzeugten reduzierten Datensatz wird ein Korrekturbild berechnet, welches beispielhaft in 12 gezeigt ist.
  • Auch dieses Korrekturbild ist geeignet, die systematischen horizontalen und vertikalen Artefakte des digitalen Bilderfassungssystems 2 wirksam zu korrigieren. Zur Illustration der Wirksamkeit dieses Verfahrens zur Fehlerkorrektur, welches auf einem reduzierten Datensatz beruht, ist das in 12 gezeigte Korrekturbild von dem Dunkelstrombild, welches 3 zeigt, abgezogen worden. Das Differenzbild zeigt 13. Horizontale und vertikale, insbesondere durch den Herstellungsprozess des flächigen Bildsensors 4 bedingte Bildartefakte sind wirkungsvoll beseitigt.
  • 14 zeigt einen Vergleich zwischen einer Bildkorrektur auf der Grundlage der in den 5 und 6 gezeigten Fourierspektren mit einer Korrektur auf der Grundlage der in den 10 und 11 gezeigten reduzierten Fourierspektren.
  • 14a) zeigt einen Bildausschnitt von 13. Dieses Bild wurde auf der Grundlage des in 12 gezeigten Korrekturbildes berechnet. Dem Korrekturbild in 12 liegt ein reduzierter Datensatz zugrunde. Dem Korrekturbild in 12 liegen die in 10 und 11 gezeigten Fourierspektren zugrunde. 14b) zeigt einen Bildausschnitt von 8, der identisch zu demjenigen von 9 ist. 8 wurde ausgehend von dem Dunkelstrombild, wie es 3 zeigt, unter Berücksichtigung des Korrekturbildes in 7 berechnet. Dem Korrekturbild in 7 liegen die in 5 und 6 gezeigten Fourierspektren zugrunde.
  • Wie der Vergleich zwischen den in 14a) und 14b) gezeigten Bildausschnitten zeigt, erfolgt die Korrektur der vorhandenen Bildartefakte ausgehend von den Fourierspektren der 5 und 6 und den reduzierten Fourierspektren in den 10 und 11 praktisch gleichwertig. Im Ergebnis sind die korrigierten Bilder nicht zu unterscheiden. In beiden Fällen ist lediglich das statistische und homogene Hintergrundrauschen des flächigen Bildsensors 4 zu beobachten.
  • Die oben genannten Ausführungen gelten analog für ein digitales Bilderfassungssystem 2 mit einem linearen und somit nicht flächigen Bildsensor 4. Die verwendete Mathematik schrumpft bei einem solchen Ausführungsbeispiel auf eine Dimension zusammen.
  • Das in dem Ablaufdiagramm von 2 dargestellte Verfahren zur Fehlerkorrektur endet schließlich in Schritt S8.
  • Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein. Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.
  • Bezugszeichenliste
  • 2
    digitales Bilderfassungssystem
    3
    Kamera
    4
    Bildsensor
    6
    Objektiv
    8
    Auslesevorrichtung
    10
    Datenspeicher
    12
    Anschluss
    T1
    erster Grenzwert
    T2
    zweiter Grenzwert

Claims (16)

  1. Verfahren zur Fehlerkorrektur in einem digitalen Bilderfassungssystem (2) mit einem Bildsensor (4) und einer Auslesevorrichtung (8) zum Auslesen des Bildsensors (4), bei dem ein Dunkelstrombild mit dem Bildsensor (4) und der Auslesevorrichtung (8) erfasst wird, dadurch gekennzeichnet, dass das Verfahren ferner die folgenden Schritte umfasst: A) Erzeugen einer Fouriertransformierten mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes, B) Abspeichern von die Fouriertransformierte beschreibenden Daten, C) Rücktransformieren der Fouriertransformierten durch Fouriertransformation der abgespeicherten Daten und Erzeugen eines Korrekturbildes aus den rücktransformierten Daten und D) Korrigieren von Bildfehlern des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten weiteren Bild durch Verrechnen von Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das digitale Bilderfassungssystem (2) eine Kamera (3) umfasst, wobei die Kamera (3) den Bildsensor (4) und einen, insbesondere nichtflüchtigen, Datenspeicher (10) umfasst, und wobei die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher (10) abgespeichert werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Rücktransformieren der Fouriertransformierten und insbesondere das Korrigieren von Bildfehlern in der Auslesevorrichtung (8) erfolgt, wobei ferner insbesondere die Auslesevorrichtung (8) von einer Kamera (3) des Bilderfassungssystems (2) umfasst ist.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor ist, wobei die Fouriertransformierte des Dunkelstrombildes erzeugt wird, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein flächiger Bildsensor (4) vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchgeführt und eine Fouriertransformierte erzeugt wird, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und wobei Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abgespeichert werden.
  6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein flächiger Bildsensor (4) vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte erzeugt wird, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
  7. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein flächiger Bildsensor (4) vorgesehen ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei die Pixelwerte des Dunkelstrombildes zeilenweise aufsummiert und insbesondere gemittelt werden und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten erzeugt wird, und/oder wobei die Pixelwerte des Dunkelstrombildes spaltenweise aufsummiert und insbesondere gemittelt werden und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten erzeugt wird, wobei eine Fouriertransformierte der mittleren horizontalen und/oder der vertikalen Helligkeitsverteilung erzeugt wird und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter entnommen und als die Fouriertransformierte beschreibende Daten abgespeichert werden.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass aus den die Fouriertransformierte beschreibenden Daten diejenigen Daten oder Datensätze ausgewählt werden, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransformierte beschreibenden Daten eine vorbestimmte Anzahl von Daten oder Datensätzen ausgewählt werden, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, wobei aus diesen ausgewählten Daten ein reduzierter, die Fouriertransformierte beschreibender Datensatz gebildet wird.
  9. Digitales Bilderfassungssystem (2) mit einem Bildsensor (4) und einer Auslesevorrichtung (8) zum Auslesen des Bildsensors (4), wobei die Auslesevorrichtung (8) dazu eingerichtet ist, ein Dunkelstrombild mit dem Bildsensor (4) zu erfassen, dadurch gekennzeichnet, dass die Auslesevorrichtung (8) ferner dazu eingerichtet ist, A) eine Fouriertransformierte mittels einer Fouriertransformation auf der Grundlage der Bilddaten des Dunkelstrombildes zu erzeugen, B) die Fouriertransformierte beschreibende Daten abzuspeichern, C) die Fouriertransformierte durch Fouriertransformation der abgespeicherten Daten zurückzutransformieren und ein Korrekturbild aus den rücktransformierten Daten zu erzeugen und D) Bildfehler des Bilderfassungssystems (2) in einem mit dem Bilderfassungssystem (2) erfassten, weiteren Bild zu korrigieren, indem Bilddaten des erfassten Bildes mit Bilddaten des Korrekturbildes verrechnet werden.
  10. Digitales Bilderfassungssystem (2) nach Anspruch 9, dadurch gekennzeichnet, dass das digitale Bilderfassungssystem (2) eine Kamera (3) umfasst, wobei die Kamera (3) den Bildsensor (4) und einen, insbesondere nichtflüchtigen, Datenspeicher (10) umfasst, und der Datenspeicher (10) dazu eingerichtet ist, die die Fouriertransformierte des Dunkelstrombildes beschreibenden Daten in dem Datenspeicher (10) abzuspeichern.
  11. Digitales Bilderfassungssystem (2) nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Auslesevorrichtung (8) dazu eingerichtet ist, die Fouriertransformierte zurückzutransformieren und insbesondere Bildfehler zu korrigieren, wobei ferner insbesondere die Auslesevorrichtung (8) von einer Kamera (3) des Bilderfassungssystems (2) umfasst ist.
  12. Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor ist und das digitale Bilderfassungssystem (2) dazu eingerichtet ist, die Fouriertransformierte des Dunkelstrombildes zu erzeugen, indem eine Fouriertransformation entlang einer durch das Dunkelstrombild gelegten Geraden, welche insbesondere durch einen Mittelpunkt des Dunkelstrombildes verläuft, erzeugt wird.
  13. Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor (4) ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem (2) dazu eingerichtet ist, auf der Grundlage von in einer Zeile oder in einer Spalte des Dunkelstrombildes vorhandenen Pixelwerten eine diskrete Fouriertransformation durchzuführen und eine Fouriertransformierte zu erzeugen, wobei die Zeile oder Spalte zumindest näherungsweise durch einen Mittelpunkt des Dunkelstrombildes verläuft, und Fourierfrequenzen und zugehörige Fourierparameter der zeilen- oder spaltenweise erzeugten Fouriertransformierten als die Fouriertransformierte des Dunkelstrombildes beschreibende Daten abzuspeichern.
  14. Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor (4) ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem (2) dazu eingerichtet ist, auf der Grundlage dieser Pixelwerte des Dunkelstrombildes eine ebenfalls im Raster des Bildsensors dargestellte diskrete 2D-Fouriertransformierte zu erzeugen, und wobei aus der 2D-Fouriertransformierten entlang einer Zeile oder entlang einer Spalte, insbesondere entlang einer Zeile oder einer Spalte, welche zumindest näherungsweise durch einen Mittelpunkt der 2D-Fouriertransformierten verläuft, Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
  15. Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass der Bildsensor (4) ein flächiger Bildsensor (4) ist, der eine Vielzahl von in einem regelmäßigen Raster von Zeilen und Spalten angeordnete Pixel umfasst, wobei die das Dunkelstrombild beschreibenden Daten in diesem Raster dargestellte Pixelwerte sind, und wobei das digitale Bilderfassungssystem dazu eingerichtet ist, die Pixelwerte des Dunkelstrombildes zeilenweise aufzusummieren und insbesondere zu mitteln und eine mittlere vertikale Helligkeitsverteilung aus den zeilenweise aufsummierten Pixelwerten zu erzeugen, und/oder die Pixelwerte des Dunkelstrombildes spaltenweise aufzusummieren und insbesondere zu mitteln und eine mittlere horizontale Helligkeitsverteilung aus den spaltenweise aufsummierten Pixelwerten zu erzeugen, und ferner eine Fouriertransformierte der mittleren horizontalen und/oder vertikalen Helligkeitsverteilung zu erzeugen und dieser/diesen Fourierstransformierten Fourierfrequenzen und zugehörige Fourierparameter zu entnehmen und als die Fouriertransformierte beschreibende Daten abzuspeichern.
  16. Digitales Bilderfassungssystem (2) nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass das digitale Bilderfassungssystem dazu eingerichtet ist, aus den die Fouriertransformierte beschreibenden Daten diejenigen Daten oder Datensätze auszuwählen, deren Werte oberhalb eines, insbesondere vorbestimmten, Grenzwertes liegen und/oder aus den die Fouriertransformierte beschreibenden Daten eine vorbestimmte Anzahl von Daten oder Datensätzen auszuwählen, deren Werte im Vergleich zu den Werten der verbleibenden Daten oder Datensätze die höchsten sind, und aus diesen ausgewählten Daten einen reduzierten, die Fouriertransformierte beschreibenden Datensatz zu bilden.
DE102014224638.5A 2014-12-02 2014-12-02 Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System Ceased DE102014224638A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014224638.5A DE102014224638A1 (de) 2014-12-02 2014-12-02 Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System
PCT/EP2015/077612 WO2016087277A1 (de) 2014-12-02 2015-11-25 Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system
US15/612,000 US10356347B2 (en) 2014-12-02 2017-06-02 Digital imaging system and method for correcting errors in such a system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014224638.5A DE102014224638A1 (de) 2014-12-02 2014-12-02 Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System

Publications (1)

Publication Number Publication Date
DE102014224638A1 true DE102014224638A1 (de) 2016-06-02

Family

ID=54705592

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014224638.5A Ceased DE102014224638A1 (de) 2014-12-02 2014-12-02 Digitales Bilderfassungssystem und Verfahren zur Fehlerkorrektur in einem solchen System

Country Status (3)

Country Link
US (1) US10356347B2 (de)
DE (1) DE102014224638A1 (de)
WO (1) WO2016087277A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6820908B2 (ja) * 2016-02-26 2021-01-27 株式会社日立製作所 撮像装置
JP7127297B2 (ja) * 2018-02-23 2022-08-30 オムロン株式会社 画像センサ
CN111461961B (zh) * 2020-03-27 2022-10-21 佛山市灵觉科技有限公司 一种oct血管图像错位矫正方法
CN113724202B (zh) * 2021-08-03 2023-10-13 哈尔滨工程大学 基于一维傅里叶变换的图像传感器校正效果量化评价方法
CN113724201B (zh) * 2021-08-03 2023-10-13 哈尔滨工程大学 基于二维傅里叶变换的图像传感器校正效果量化评价方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473124B1 (en) * 1998-04-23 2002-10-29 Micron Technology, Inc. RAM line storage for fixed pattern noise correction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3952186A (en) * 1975-02-10 1976-04-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus for the generation of a two-dimensional discrete fourier transform
US6061092A (en) * 1997-12-05 2000-05-09 Intel Corporation Method and apparatus for dark frame cancellation for CMOS sensor-based tethered video peripherals
JPH11298762A (ja) * 1998-04-15 1999-10-29 Toshiba Corp 暗電流ノイズ除去装置
US7505619B2 (en) * 2002-09-27 2009-03-17 Kla-Tencor Technologies Corporation System and method for conducting adaptive fourier filtering to detect defects in dense logic areas of an inspection surface
JP4601623B2 (ja) * 2004-10-22 2010-12-22 三洋電機株式会社 ノイズ除去装置
US20070230776A1 (en) * 2006-04-04 2007-10-04 Sozotek, Inc. System and method of testing imaging equipment using transformed patterns
CA2584683A1 (en) * 2006-04-20 2007-10-20 Optosecurity Inc. Apparatus, method and system for screening receptacles and persons
FR2942093B1 (fr) * 2009-02-06 2011-04-15 Trixell Sas Procede de correction d'images obtenues par une matrice de points photosensibles.
JP5868132B2 (ja) * 2011-11-14 2016-02-24 キヤノン株式会社 撮像装置および画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473124B1 (en) * 1998-04-23 2002-10-29 Micron Technology, Inc. RAM line storage for fixed pattern noise correction

Also Published As

Publication number Publication date
US20170272669A1 (en) 2017-09-21
US10356347B2 (en) 2019-07-16
WO2016087277A1 (de) 2016-06-09

Similar Documents

Publication Publication Date Title
WO2016087277A1 (de) Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system
DE602005005553T2 (de) Abbildungsvorrichtung und Abbildungsverfahren
DE102006000946B4 (de) Verfahren und System zur Inspektion einer periodischen Struktur
DE102005017491B4 (de) Verfahren zum Erzeugen eines gainkorrigierten Röntgenbildes
DE60037852T2 (de) Vorrichtung und Verfahren zur Kalibrierung der Auflösung von Röntgenbildern
DE102012204019A1 (de) Verfahren zur Reduzierung von Bewegungsartefakten
EP2393286B1 (de) Verfahren und Vorrichtung zur Korrektur einer uneinheitlichen Sensitivität von Detektorelementen bei Wärmebildkameras
EP2791896B1 (de) Verfahren zur erzeugung von superaufgelösten bildern mit verbesserter bildauflösung und messvorrichtung
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE102016112968B4 (de) Bestimmung von Farbwerten für Pixel an Zwischenpositionen
DE102007013570A1 (de) Verfahren zur Rauschverminderung in digitalen Bildern mit lokal unterschiedlichem und gerichtetem Rauschen
DE102012221667A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
EP2790408A1 (de) Verfahren zur komprimierten Speicherung von grafischen Daten
EP2139223A2 (de) Verfahren zur Bilddatenaufnahme bei der Beobachtung von Himmelskörpern durch satellitengestützte Instrumente
EP3384461A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102012205051B4 (de) Verfahren zur Reduzierung von Direct-Hit-Artefakten und Röntgeneinrichtung
DE102019119039A1 (de) Verfahren und vorrichtungen zum kopensieren des sag-effekts
DE10055862C2 (de) Verfahren zum Ausgleich von technologisch bedingten Inhomogenitäten in den Einzelelementen eines Detektors, der zur Bildaufnahme eingesetzt wird
WO2012143159A1 (de) Verfahren und vorrichtung zur bestimmung von zur entzerrung eines bildes geeigneten werten und zur entzerrung eines bildes
WO2018224444A1 (de) Verfahren und vorrichtung zur bildkorrektur
DE102008016393B4 (de) Verfahren zur Korrektur von Bildfehlern elektronischer Kameras
WO2022122240A1 (de) Verfahren und vorrichtung zum detektieren einer störpflanzenabbildung in einem kamerarohbild und bildverarbeitungseinrichtung
AT508873A1 (de) Verfahren zur aufnahme eines bildes
DE102019134473A1 (de) Live-Kalibrierung
DE112014000874T5 (de) Elektronische Vorrichtung, Verfahren zum Erzeugen eines Bildes und Filteranordnung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R082 Change of representative
R002 Refusal decision in examination/registration proceedings
R081 Change of applicant/patentee

Owner name: TUEMPNER, JUERGEN, DR., DE

Free format text: FORMER OWNER: OLYMPUS SOFT IMAGING SOLUTIONS GMBH, 48149 MUENSTER, DE

R003 Refusal decision now final