DE69919351T2

DE69919351T2 - Verbesserte dunkelbildsubtraktion

Info

Publication number: DE69919351T2
Application number: DE69919351T
Authority: DE
Inventors: A. Curtis CORUM; M. Kevin CONNOLLY; J. Edward BAWOLEK
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1998-05-27
Filing date: 1999-05-14
Publication date: 2005-09-01
Anticipated expiration: 2019-05-15
Also published as: AU3992599A; JP2002517112A; KR100415681B1; TW425816B; US6101287A; EP1080443A1; EP1080443B1; WO1999062023A1; DE69919351D1; KR20010015925A; EP1080443A4

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft allgemein elektronische Bilddarstellungssysteme und im Besonderen Techniken zur Korrektur des Ansprechverhaltens von Bildsensoren.
Beschreibung des Stands der Technik
Die elektronische Bilddarstellung bzw. Bildbearbeitung wird immer beliebter, während Digitalkameras und Personalcomputer (PCs) Verbrauchern die Möglichkeit bieten, digitale Bilder und Filme kostengünstig zu erfassen, anzuzeigen und diese über einen PC und ein Netzwerk bzw. ein Netz an andere zu übermitteln. Ein weiterer Grund für die Beliebtheit der elektronischen Bilddarstellung bzw. Bildbearbeitung ist deren Fähigkeit, Unzulänglichkeiten in Bezug auf einen erwarteten Standard in einem erfassten Bild elektronisch zu korrigieren. Diese Unzulänglichkeiten bzw. Mängel werden häufig durch die Gegebenheiten der Fertigung eines Bilddarstellungssystems verursacht, das einer erwarteten Spezifikation entsprechen soll.
Abweichungen von optimalen Ergebnissen in dem Bilddarstellungssystem können zu Schwankungen des Ansprechverhaltens des Systems führen. Um derartige Abweichungen zu korrigieren, kann eine herkömmliche Kalibrierungsprozedur ausgeführt werden, um das Ansprechverhalten des Systems elektronisch so anzupassen, dass es dem erwarteten Ansprechverhalten entspricht.
Bei einer derartigen Technik wird das Bilddarstellungssystem einem bekannten Farbreiz ausgesetzt wie etwa einer Macbeth-Farbenkarte, um Bild-Frames (die Bilder aufweisen) des Reizes zu erzeugen. Jedes Bild-Frame umfasst eine Anzahl digitaler Pixelwerte, die jeweils einem Sensorschaltungselement in einem Halbleiter-Bildsensor zugeordnet sind. Die Bild-Frames werden daraufhin mit einer erwarteten Spezifikation verglichen, und es werden Kalibrierungsfaktoren berechnet, die im Verhältnis zu den Unterschieden zwischen den tatsächlichen und den erwarteten Werten stehen. Die Kalibrierungsfaktoren werden danach auf folgende Bild-Frames angewandt, die unter Verwendung des gleichen Bildsensors aufgenommen werden, was zu Bildern mit einem präziseren Farbinhalt führt.
Zusätzlich zu den Schwankungen des Fertigungsprozesses können auch thermische Prozesse und Defekte bzw. Fehler in den Halbleiterstrukturen, die den Bildsensor bilden, leichte Abweichungen in dem Ansprechverhalten eines Bilddarstellungssystems bzw. eines Bildverarbeitungssystems verursachen. Diese Abweichungen werden hierin als dunkle Offset-Störungen bezeichnet. Zu den dunklen Offset-Störungen leisten Verlustströme (Dunkelströme) und Schaltungsversätze in jedem Sensorschaltungselement des Bildsensors Beiträge. Die dunklen Offset-Störungen dringen in jedes Bild-Frame ein.
Die Verlustströme und somit die dunklen Offset-Störungen können durch ein dunkles Frame dargestellt werden, das sich von dem Bild-Frame unterscheidet, das von dem Bildsensor erfasst wird. Die meisten Bildverarbeitungssysteme wie zum Beispiel Digitalkameras versuchen es, die dunklen Offset-Störungen auf eine erste Ordnung auszuschließen, indem einfach das dunkle Frame von dem Bild-Frame subtrahiert wird, so dass ein korrigiertes Frame erhalten wird. Das Bild-Frame ist ein Bild der gewünschten Szene bzw. des gewünschten Motivs, und das dunkle Frame ist ein anderes Bild, das mit der gleichen Kamera erhalten wird, wobei die mechanische Blende der Kamera jedoch geschlossen ist, so das kein Licht auf den Bildsensor einfällt. Die Subtraktion verbessert die Qualität des Bilds in dem korrigierten Frame durch beschränkte Ausgrenzung der dunklen Offset-Störungen aus dem Bild-Frame. Die Störungen würden ansonsten zu Flecken oder Körnigkeit in dem unberichtigten Bild-Frame führen.
Das U.S. Patent US-A-5.278.658 und DE-A-4309724 offenbaren eine Bildlesevorrichtung zur Korrektur dunkler Signale in einem Bildsensor durch Multiplikation eines Abschnitts eines dunklen Frames mit einem Kompensationswert im Verhältnis zu dunklen Pixeln eines Bild-Frames, so dass ein angepasster dunkler Frame-Abschnitt erhalten wird, wobei das dunkle Frame und das Bild-Frame über den gleichen Bildsensor erhalten werden.
Die vorstehend beschriebene herkömmliche Technik der Subtraktion von Dunkelstrom kann mit herkömmlichen Kalibrierungstechniken kombiniert werden, um eine in gewisser Weise verbesserte Genauigkeit der Kalibrierung zu erreichen. Eine derartige Technik sieht jedoch keine ausreichend präzisen und wiederholbaren Ergebnisse einer Messfähigkeitsanalyse von Kalibrierungssystemen vor, die in Verbindung mit Metalloxid-Halbleiter-Bildsensoren bzw. CMOS-Bildsensoren eingesetzt werden. Somit ist es wünschenswert, die Präzision, Wiederholbarkeit und Qualität der Kalibrierung für Bildsensoren weiter zu verbessern.
Zusammenfassung der Erfindung
Vorgesehen ist gemäß einem ersten Aspekt der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch 1.
Vorgesehen ist gemäß einem zweiten Aspekt der vorliegenden Erfindung eine Bilddarstellungseinrichtung gemäß dem gegenständlichen Anspruch 8.
Vorgesehen ist gemäß einem dritten Aspekt der vorliegenden Erfindung ein Artikel gemäß dem gegenständlichen Anspruch 14.
Die vorliegende Erfindung verbessert die Qualität eines Bilds, indem Nahtstellen in einem Grenzbereich zwischen benachbarten Abschnitten eines Frames entfernt werden.
Kurze Beschreibung der Zeichnungen
In den Zeichnungen zeigen:
1 einen Rahmen für ein Ausführungsbeispiel der vorliegenden Erfindung;
2 eine Reihe von Operationen, die in dem Rahmen aus 1 ausgeführt werden;
3 eine Technik zur Ermittlung eines angepassten dunklen Frames gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
4 eine Technik zur Ermittlung eines angepassten dunklen Frames gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
5 eine Technik zur Ermittlung angepasster Film-Frames gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
6 ein Blockdiagramm eines Bildverarbeitungssystems eines weiteren Ausführungsbeispiels der vorliegenden Erfindung.
Genaue Beschreibung der Erfindung
Wie dies vorstehend bereits kurz zusammengefasst ausgeführt worden ist, handelt es sich bei einem Ausführungsbeispiel der vorliegenden Erfindung um ein Verfahren zum Verbessern der Genauigkeit von Fertigungstests und der Kalibrierung sowie zur Verbesserung der Leistungsfähigkeit von Bildsensoren und Bilddarstellungssystemen, in dem ein besserer Schätzwert eines idealen dunklen Frames von dem Bild-Frame subtrahiert wird. Das ideale dunkle Frame ist ein hypothetisches Frame, das gleichzeitig mit dem Bild-Frame erfasst wird. In der Praxis werden die dunklen und Bild-Frames allerdings zu unterschiedlichen Zeitpunkten erfasst. Selbst eine zeitliche Differenz von einer Sekunde zwischen den Frames bewirkt eine Veränderung der Temperatur des Bildsensors, die wiederum bewirkt, dass das dunkle Frame erhebliche Fehler in Bezug auf das ideale dunkle Frame aufweist. Die Temperaturveränderung ist in Sensoren mit integrierten Funktionen besonders stark, wie etwa in CMOS-Bildsensoren.
Um einen genaueren Schätzwert des idealen dunklen Frames zu erhalten, wird das dunkle Frame auf der Basis von Kompensationswerten im Verhältnis zu dunklen Referenzpixeln in einem Bild-Frame angepasst, die unter Verwendung des gleichen Bildsensors erfasst werden. Da die dunklen Referenzpixel gleichzeitig zu dem Rest des Bild-Frames erfasst werden, können sie als Teil des idealen dunklen Frames gesehen und somit verwendet werden, um das ideale dunkle Frame besser zu schätzen.
Die Abbildungen der 1 und 2 veranschaulichen ein Ausführungsbeispiel der vorliegenden Erfindung als ein Verfahren zum Verbessern der Genauigkeit des Ansprechverhaltens eines Bildsensors durch Ausführen einer angepassten Subtraktion eines dunklen Frames. In der Abbildung aus 1 sind zwei Frames dargestellt, ein dunkles Frame 116 und ein Bild-Frame 126. Diese Frames werden mit dem gleichen Bildsensor in keiner bestimmten Reihenfolge erhalten. Jedes Frame weist eine Mehrzahl von Referenzpixeln 112 in dem dunklen Frame und 122 in dem Bild-Frame auf, die sich für gewöhnlich in der Peripherie jedes Frames befinden. Diese sind als dunkle Referenzpixel bekannt, die durch Sensorelemente erzeugt werden, die keinem einfallenden Licht ausgesetzt sind.
Das Bild-Frame 126 weist einen Abschnitt F_P auf, der in dem vorliegenden Ausführungsbeispiel das gesamte Bild einer Szene darstellt, die unter Verwendung des Bildsensors erfasst wird. Die Sensorelemente, die F_P erzeugt haben, erzeugen auch F_D' des dunklen Frames 116 mit einer anderen Exposition. Ein Pixel in F_D' weist nur einen Beitrag von "dunklen Elektronen" auf, während das entsprechende Pixel in F_P Beiträge von dunklen Elektronen sowie von fotografisch erzeugten Elektroden des gleichen Sensorelements aufweist. Aufgrund der Temperaturunterschiede, die sich in dem Bildsensor zwischen dem Zeitpunkt entwickeln, zu dem das Bild-Frame 126 erfasst wird, und dem Zeitpunkt, zu dem das dunkle Frame 116 erfasst wird, unterscheidet sich der Beitrag von dunklen Elektronen in den beiden entsprechenden Pixeln.
Zur Unterstützung der Kompensation eines derartigen Unterschieds wird das Pixel in F_D' gemäß einem Kompensationswert angepasst, der im Verhältnis zu dunklen Referenzpixeln R_i in dem Bild-Frame 126 steht. Dies ist in dem Ausführungsbeispiel aus 1 als die Gleichung (1-1) dargestellt. Ein angepasster dunkler Frame-Abschnitt F''_D ist durch Multiplikation des dunklen Frame-Abschnitts F_D' mit einem Verhältnis der Summe von N entsprechenden dunklen Referenzpixeln R'_i in dem dunklen Frame und R_i in dem Bild-Frame 126 gegeben. Der angepasste dunkle Frame-Abschnitt F''_D kann als besserer Schätzwert des hypothetischen idealen dunklen Frame angesehen werden. Nachdem der Abschnitt F_D' angepasst worden ist, wird das angepasste dunkle Frame F''_D von dessen entsprechenden Bild-Frame-Abschnitt F_P subtrahiert, so dass sich ein korrigierter Bild-Frame-Abschnitt F_P(corrected) ergibt, wie dies in der Gleichung (1-2) angezeigt wird.
Die Abbildung aus 2 fasst die in einem Ausführungsbeispiel der vorliegenden Erfindung ausgeführten Schritte unter Verwendung des vorstehend beschriebenen Rahmens aus 1 zusammen. Der Ablauf beginnt normalerweise mit dem Schritt 210, in dem das dunkle Frame 116 unter Verwendung eines Bildsensors erfasst wird. Der Ablauf fährt mit dem Schritt 220 fort, in dem das Bild-Frame 126 unter Verwendung des gleichen Bildsensors erfasst wird. Danach fährt der Ablauf mit dem Schritt 230 fort, in dem ein Abschnitt des dunklen Frames gemäß Kompensationswerten angepasst wird, die im Verhältnis zu den dunklen Referenzpixeln R_i des Bild-Frames stehen. Dies ergibt einen angepassten dunklen Frame-Abschnitt F''_D, der danach von einem entsprechenden Abschnitt F_P des Bild-Frames subtrahiert wird, um einen korrigierten Bild-Frame-Abschnitt zu erhalten. Das korrigierte Bild-Frame empfängt somit den Vorteil eines verbesserten Schätzwerts des idealen dunklen Frames. Der Ablauf kann mit dem Schritt 250 fortfahren, in dem eine weitere Verarbeitung oder Anzeige des korrigierten Bild-Frame-Abschnitts ausgeführt werden kann. Das korrigierte Bild-Frame kann zum Beispiel besonders nützlich sein, um die Genauigkeit der Farbkalibrierung von Bildsensoren zu verbessern. In einem derartigen Szenario wird das korrigierte Bild-Frame verwendet, um eine Farbkalibrierungsmatrix für den Bildsensor zu bestimmen. Der Effekt der Subtraktion eines verbesserten Schätzwertes des dunklen Frames lässt sich durch die Durchführung einer Messfähigkeitsanalyse des Farbkalibrierungssystems unter Verwendung im Fach allgemein bekannter Techniken erkennen.
Der korrigierte Bild-Frame-Abschnitt kann auch zur Verbesserung der Genauigkeit der Detektierung toter Pixel nützlich sein. Die Fehlerreduzierung in dem dunklen Frame-Abschnitt F'_D, der von dem Bild-Frame-Abschnitt F_P subtrahiert wird, unterstützt eine bessere Identifizierung der Pixel in F_P, die wirklich tot sind, d.h., die Pixelwerte aufweisen, die entweder extrem hoch oder extrem niedrig sind.
Die dunklen Referenzpixel R_i in dem Ausführungsbeispiel aus 1 bilden zumindest eine Pixelspalte in dem Bild-Frame 126. Normalerweise werden für R_i zwei oder drei Spalten verwendet, wobei die ausgewählten Spalten in der Mitte einer Gruppe dunkler Referenzspalten liegen. Die mittleren Spalten werden so ausgewählt, dass die Möglichkeit der Verwendung von Pixeln vermieden wird, die durch frei liegende Sensorschaltungselemente nahe der Grenze mit F_P erzeugt werden. Für einen Bildsensor mit einer maximalen Auflösung von 1024 × 768 läge N in der Gleichung (1-1) aus 1 somit bei ungefähr mehreren Tausend.
Als eine Alternative zu den Spalten von R_i zeigt die Abbildung aus 3 eine Gruppe dunkler Referenzpixel S_i, welche Zeilen und Spalten aufweisen, die eine Begrenzung um den Abschnitt F_P bilden. In dem vorliegenden Ausführungsbeispiel stehen die Kompensationswerte im Verhältnis zu einer Summe dunkler Referenzpixel S_i, wie dies durch die Gleichung (3-1) angezeigt wird. Dies führt zu einem angepassten Frame-Abschnitt F''_D, der ebenfalls von dem entsprechenden Bild-Frame-Abschnitt F_P subtrahiert wird, um einen korrigierten Bild-Frame-Abschnitt zu ergeben, wie dies durch die Gleichung (3-2) angezeigt wird.
In einem weiteren Ausführungsbeispiel in Bezug auf die Abbildung aus 4 sind die dunklen Referenzpixel als eine Reihe von Abschnitten T₁, T₂,..., T_Q ausgebildet. In diesem Fall ist das dunkle Frame 116 in die Abschnitte F'_D1, F'_D2...., F'_DQ unterteilt, wobei jeder entsprechende Abschnitt F'_Dj auf der Basis von Kompensationswerten angepasst wird, die im Verhältnis zu den entsprechenden Referenzpixeln T_i stehen, wie dies in Gleichung (4-1) angezeigt wird. Nachdem alle Abschnitte F'_Dj angepasst worden sind, wird jeder Abschnitt einzeln von dem entsprechenden Bild-Frame-Abschnitt F_Pj subtrahiert, wie dies in (4-2) angezeigt wird, um das entsprechend korrigierte Bild-Frame F_{Pj(corrected)} zu erhalten. Durch die derartige Behandlung des dunklen Frames 116 können Fehler in dem dunklen Frame 116 reduziert werden, die durch einen Temperaturverlauf über den Bildsensor verursacht worden sind.
Wenn die Segmentierung des Bild-Frames 126 gemäß der Abbildung aus 4 zu einem korrigierten Bild-Frame mit Nahtstellen in der Begrenzung zwischen den benachbarten korrigierten Abschnitten F_{Pj(corrected)} führt, so können diese Nahtstellen zum Beispiel dadurch entfernt werden, dass ein DC-Anpassungsalgorithmus auf benachbarte korrigierte Abschnitte angewandt wird. Zum Beispiel kann ein bekannter DC-Anpassungsalgorithmus, wie er in Joint Photographic Experts Group (JPEG) Erweiterungen zum Einsatz kommt, verwendet werden, der eine Ausrichtung der Grenze zwischen benachbarten Abschnitten mit einem JPEG-Makroblock ermöglicht.
In der vorstehenden Offenbarung wurden Techniken zur Reduzierung von Fehlern in dem dunklen Frame 116 beschrieben, die durch einen Temperaturunterschied zwischen dem Zeitpunkt verursacht worden sind, zu dem das Bild-Frame erfasst worden ist und dem Zeitpunkt, zu dem das dunkle Frame erfasst worden ist. Das Ausführungsbeispiel aus 4 betrifft ferner im Besonderen Fehler, die durch einen Temperaturverlauf über den Bildsensor erzeugt worden sind. Bei einem dritten Beitrag zu dem Fehler in dem dunklen Frame 116 handelt es sich um Rauschstörungen. Rauschstörungen führen zu zufälligen Pixeln mit Zufallsabweichungen ihrer Werte sowohl in dem dunklen Frame als auch in dem Bild-Frame. Im Gegensatz zu Fehlern, die durch einen Temperaturunterschied oder durch einen Temperaturverlauf verursacht werden, können Rauschstörungsfehler im Allgemeinen nicht zur Verwendung der vorstehend beschriebenen Techniken Subtraktion des angepassten dunklen Frames unterdrückt oder korrigiert werden. Zur weiteren Reduzierung von Rauschstörungen in dem dunklen Frame können diese Techniken jedoch mit einer Technik kombiniert werden, die eine größere Integration oder Expositionszeit zur Erhaltung von F'_D im Vergleich zu F_P verwendet.
Zur Unterstützung einer weiteren Abschwächung von Rauschstörungen können die Ausführungsbeispiele der 1 bis 4 so modifiziert werden, dass die verwendete Integrationszeit zur Ermittlung des dunklen Frames 116 länger ist als die Integrationszeit für das Bild-Frame 126. Die vorstehend beschriebenen Verfahren bleiben ansonsten unverändert, mit Ausnahme eines zusätzlichen Schrittes zum Anpassen von F'_D gemäß zweiten Kompensationswerten, die im Verhältnis zu der längeren Integrationszeit stehen, die dem dunklen Frame zugeordnet ist. Zum Beispiel wird der angepasste dunkle Frame-Abschnitt F''_D in Gleichung (1-1) aus 1 ferner wie folgt angepasst:
wobei t für die Integrationszeit steht, die zur Ermittlung des Bild-Frames 126 verwendet wird, und wobei t' die längere Integrationszeit der entsprechenden Pixel in dem dunklen Frame 116 darstellt.
In der vorliegenden Offenbarung wurde bislang auf ein einzelnes Bild-Frame und ein einzelnes dunkles Frame in Bezug auf die Beschreibung der verschiedenen Ausführungsbeispiele der vorliegenden Erfindung verwiesen. Die Abbildung aus 5 zeigt ein weiteres Ausführungsbeispiel der vorliegenden Erfindung, das sich besonders zur Anwendung auf eine Folge von Bild-Frames 126_M1 , 126_M2 ,... eignet, die zur Erfassung von bewegten Bildern in der Szene verwendet werden kann. Die vorstehend in Bezug auf Ausführungsbeispiele mit einem Frame erörterten Grundsätze können auf eine Folge bzw. Sequenz mehrerer Bild-Frames erweitert werden. Die Abbildung aus 5 zeigt eine Reihe separater Bewegtbild-Frames MF_k, die durch den gleichen Bildsensor erfasst werden. Die Frames MF_k werden durch Subtraktion eines angepassten dunklen Frames F''_Dk korrigiert, wie dies in (5-1) angezeigt wird. In dem vorliegenden Ausführungsbeispiel wird ein einzelnes dunkles Frame 116_D durch den gleichen Bildsensor erhalten, der auch die Bewegtbild-Frames erfasst. Jeder angepasste dunkle Frame-Abschnitt F''_Dk wird durch Anpassen von F'_D gemäß Kompensationswerten gewonnen, die im Verhältnis zu den dunklen Referenzpixeln MR_ki des entsprechenden Bewegtbild-Frames 126_Mk stehen, wie dies in (5-2) angezeigt wird. Danach werden die angepassten dunklen Frame-Abschnitte F''_Dk von dem entsprechenden MF_k subtrahiert, um den korrigierten Bewegtbild-Frame-Abschnitt MF_k(corrected) zu erhalten.
Als Alternative zur Verwendung eines einzelnen dunklen Frames 116 können mehr als ein dunkles Frame erfasst und mit den Bewegtbild-Frames 126_Mk verwendet werden. Zum Beispiel kann ein separates dunkles Frame erfasst und verwendet werden, um alle fünf Bewegtbild-Frames anzupassen. Auf diese Weise kann das ideale dunkle Frame besser geschätzt werden (wenn sich die Temperatur mit aufeinander folgenden Frames ändert), indem das dunkle Frame und die zugeordneten Bewegtbild-Frames zeitlich näher aneinander gehalten werden und somit ähnlichere Temperaturen aufweisen.
Die Abbildung aus 6 veranschaulicht verschiedene Ausführungsbeispiele der Erfindung als Vorrichtungen, die Bestandteil eines Bilddarstellungs- bzw. Bildbearbeitungssystems sind. In einem Ausführungsbeispiel kann ein Bilddarstellungsmodul 618, das etwa einem Hersteller von Digitalkameras geliefert wird, mit einer Logikschaltkreisanordnung wie etwa einem anwendungsspezifischen Schaltkreis (ASIC) ausgerüstet sein, der so konfiguriert ist, dass er die Schritte 210-240 aus 2 zur Verbesserung des Ansprechverhaltungs des Bildsensors 617 auf dem Modul ausführt. Die korrigierten Bild- oder Bewegtbild-Frames werden durch eine entfernbare nichtflüchtige Speichervorrichtung oder einen Computerperipheriebus (z.B. einen Universal Serial Bus) zu einem Verarbeitungssystem 610 übertragen. Die korrigierten Bild-Frames können danach weiter verarbeitet und gemäß bekannten Techniken verwendet werden, wie etwa für Zwecke der Farbkalibrierung oder der Bildverarbeitung vor dem Anzeigen.
Als Alternative zu dem anwendungsspezifischen Logikschaltkreis kann ein programmierter Prozessor zur Ausführung der Schritte zur Anpassung der dunklen Frames und zur Ausführung der Subtraktion von den Bild-Frames verwendet werden. In diesem Fall würde das Bilddarstellungsmodul 618 oder die Digitalkamera 614 einen Artikel aufweisen, der ein maschinenlesbares Medium umfasst, wie etwa einen Halbleiterspeicher, der Anweisungen aufweist, die bei einer Ausführung durch den Prozessor die Ausführung der Schritte aus 2 bewirken.
In den vorstehend beschriebenen Ausführungsbeispielen der vorliegenden Erfindung in Bezug auf ein Bilddarstellungsmodul und eine Digitalkamera wurden die Bild- oder Bewegtbild-Frames zuerst korrigiert und danach zu dem Verarbeitungssystem 610 übertragen, bei dem es sich zum Beispiel um einen Computer handelt. Alternativ kann die Korrektur durch das Bildverarbeitungssystem 610 ausgeführt werden. In diesem Fall ist das System 610 so konfiguriert, dass es die Schritte aus 2 nach dem Empfang nicht korrigierter dunkler Frames und Bild-Frames von dem Bilddarstellungsmodul 618 oder der Digitalkamera 614 ausführt. In diesem Ausführungsbeispiel würde der Speicher 630 und/oder die Massenspeichervorrichtung 634 (z.B. ein Festplattenlaufwerk) Befehle aufweisen, die bei einer Ausführung durch den Prozessor 626 die Übertragung dunkler Frames und Bild-Frames durch die E/A-Steuervorrichtung 622 (z.B. USB-Controller) in das System 610 vor einer Anpassung und Subtraktion gemäß den Abbildungen der 1 bis 5 bewirken.
Die vorstehend beschriebenen Ausführungsbeispiele der vorliegenden Erfindung können natürlich in Bezug auf deren Aufbau und Implementierung verändert werden. Obwohl zum Beispiel die vorstehend beschriebenen Techniken der Subtraktion des angepassten dunklen Frames für die Kompensation von Dunkelstromstörungen in CMOS-Sensoren besonders nützlich sind, können die Techniken auch zur Abschwächung der unerwünschten Effekte dunkler Ströme in anderen Arten von Bildsensoren verwendet werden, wie etwa von Infrarot-Termographiesensoren und ladungsgekoppelten Sensoren (CCD-Sensoren). Der Umfang der vorliegenden Erfindung ist allgemein nicht durch die veranschaulichten Ausführungsbeispiele sondern durch die anhängigen Ansprüche bestimmt.

Claims

Verfahren, das folgendes umfasst: Anpassen einer Mehrzahl von Abschnitten eines dunklen Frames (116) gemäß Kompensationswerten in Bezug auf dunkle Pixel (122) eines Bild-Frames (126), um eine Mehrzahl angepasster dunkler Frame-Abschnitte zu erhalten, wobei das dunkle Frame und das Bild-Frame von dem gleichen Bildsensor erhalten werden; Subtrahieren der Mehrzahl angepasster dunkler Frame-Abschnitte von einer entsprechenden Mehrzahl von Abschnitten des Bild-Frames (126), um eine Mehrzahl korrigierter Abschnitte zu erhalten; und Entfernen etwaiger Nahtstellen zwischen der Mehrzahl korrigierter Abschnitte.
Verfahren nach Anspruch 1, wobei die Kompensationswerte im Verhältnis zu einem Verhältnis einer Summe der dunklen Pixel in dem Bild-Frame zu einer Summe entsprechender Pixel in dem dunklen Frame stehen.
Verfahren nach Anspruch 1, wobei die dunklen Pixel mindestens eine Spalte der Pixel in dem Bild-Frame bilden.
Verfahren nach Anspruch 1, wobei das Verfahren ferner folgendes umfasst: Anpassen des dunklen Frames gemäß zweiten Kompensationszeiten, die im Verhältnis zu Integrationszeiten stehen, die bei der Gewinnung des Bild-Frames und des dunklen Frames verwendet werden, wobei die Integrationszeit für das dunkle Frame länger ist als die Integrationszeit für das Bild-Frame.
Verfahren nach Anspruch 1, wobei das Verfahren ferner folgendes umfasst: Erzeugen einer Farbkalibrierungsmatrix für den Bildsensor auf der Basis des korrigierten Bild-Frames.
Verfahren nach Anspruch 1, wobei das Verfahren ferner folgendes umfasst: Detektieren toter Pixel in dem korrigierten Bild-Frame.
Verfahren nach Anspruch 1, wobei das Verfahren ferner folgendes umfasst: Erzeugen einer Mehrzahl angepasster dunkler Frame-Abschnitte auf der Basis des dunklen Frames und auf der Basis einer Mehrzahl entsprechender Bild-Frames, wobei jeder angepasste dunkle Frame-Abschnitt durch Multiplikation eines Abschnitts des dunklen Frames mit Kompensationswerten erhalten wird, die im Verhältnis zu den dunklen Pixeln des entsprechenden Bild-Frames stehen, wobei die entsprechenden Bild-Frames und das dunkle Frame unter Verwendung des gleichen Bildsensors erhalten werden; und Subtrahieren der Mehrzahl angepasster dunkler Frame-Abschnitte von der Mehrzahl der entsprechenden Bild-Frames, um eine Mehrzahl korrigierter Bild-Frames zu erhalten.
Bilddarstellungseinrichtung, die folgendes umfasst: einen Bildsensor (617); und eine Logikschaltkreisanordnung (610) zur Verarbeitung eines dunklen Frames und eines Bild-Frames, die von dem Bildsensor erhalten werden, wobei die genannte Logikschaltkreisanordnung so angeordnet ist, dass sie eine Mehrzahl von Abschnitten eines dunklen Frames (116) gemäß Kompensationswerten anpasst, die im Verhältnis zu dunklen Pixeln (122) eines Bild-Frames (126) stehen, um eine Mehrzahl angepasster dunkler Frame-Abschnitte zu erhalten, wobei die Mehrzahl der angepassten dunklen Frame-Abschnitte von einer entsprechenden Mehrzahl von Abschnitten des Bild-Frames (126) subtrahiert wird, um eine Mehrzahl korrigierter Abschnitte zu erhalten, und wobei alle etwaigen Nahtstellen zwischen der Mehrzahl korrigierter Abschnitte entfernt werden.
Bilddarstellungseinrichtung nach Anspruch 8, die ferner folgendes umfasst: eine Einrichtung zur Übertragung des korrigierten Bild-Frames zu einem Bildverarbeitungssystem.
Bilddarstellungseinrichtung nach Anspruch 8, die ferner folgendes umfasst: eine entfernbare nicht-flüchtige Speichervorrichtung zur Übertragung des korrigierten Bild-Frames zu einem Bildverarbeitungssystem.
Bilddarstellungseinrichtung nach Anspruch 8, wobei die Kompensationswerte im Verhältnis zu einem Verhältnis einer Summe der dunklen Pixel in dem Bild-Frame zu einer Summe entsprechender Pixel in dem dunklen Frame stehen.
Bilddarstellungseinrichtung nach Anspruch 8, wobei die Logikschaltkreisanordnung ferner so konfiguriert ist, dass das dunkle Frame gemäß den zweiten Kompensationswerten angepasst wird, die im Verhältnis zu Integrationszeiten stehen, die verwendet werden, um das Bild-Frame und das dunkle Frame zu erhalten, wobei die Integrationszeit für das dunkle Frame länger ist als die Integrationszeit für das Bild-Frame.
Bilddarstellungseinrichtung nach Anspruch 8, wobei die Logikschaltkreisanordnung dazu dient (i) eine Mehrzahl angepasster dunkler Frame-Abschnitte auf der Basis des dunklen Frames und auf der Basis einer Mehrzahl entsprechender Bild-Frames zu erzeugen, wobei jeder angepasste dunkle Frame-Abschnitt durch Multiplizieren eines Abschnitts des dunklen Frames mit Kompensationswerten im Verhältnis zu dunklen Pixeln des entsprechenden Bild-Frames erhalten wird, wobei die entsprechenden Bild-Frames und das dunkle Frame unter Verwendung des gleichen Bildsensors erhalten werden; und (ii) die Mehrzahl angepasster dunkler Frame-Abschnitte von der Mehrzahl entsprechender Bild-Frames zu subtrahieren, um eine Mehrzahl korrigierter Bild-Frames zu erhalten.
Artikel, der folgendes umfasst: ein maschinenlesbares Medium mit Anweisungen, die bei einer Ausführung durch einen Prozessor folgendes bewirken: die Anpassung einer Mehrzahl von Abschnitten eines dunklen Frames (116) gemäß Kompensationswerten im Verhältnis zu dunklen Pixeln (122) eines Bild-Frames (126), so dass eine Mehrzahl angepasster dunkler Frame-Abschnitte erhalten wird, wobei das dunkle Frame und das Bild-Frame von dem gleichen Bildsensor erhalten werden, wobei die Mehrzahl der angepassten dunklen Frame-Abschnitte von einer entsprechenden Mehrzahl von Abschnitten des Bild-Frames (126) subtrahiert wird, um eine Mehrzahl korrigierter Abschnitte zu erhalten; und die Entfernung etwaiger Nahtstellen zwischen der Mehrzahl korrigierter Abschnitte.
Artikel nach Anspruch 14, wobei das maschinenlesbare Medium weitere Anweisungen aufweist, die bei einer Ausführung durch den Prozessor ferner die Erzeugung der Kompensationswerte im Verhältnis zu einem Verhältnis einer Summe der dunklen Pixel in dem Bild-Frame zu einer Summe entsprechender Pixel in dem dunklen Frame bewirken.
Artikel nach Anspruch 14, wobei die dunklen Pixel mindestens eine Spalte der Pixel in dem Bild-Frame bilden.
Artikel nach Anspruch 14, wobei das maschinenlesbare Medium weitere Anweisungen aufweist, die bei einer Ausführung durch den Prozessor ferner das Anpassen des dunklen Frames gemäß zweiten Kompensationswerten bewirken, die im Verhältnis zu Integrationszeiten stehen, die zur Gewinnung des Bild-Frames und des dunklen Frames verwendet werden, wobei die Integrationszeit für das dunkle Frame länger ist als die Integrationszeit für das Bild-Frame.
Artikel nach Anspruch 14, wobei das maschinenlesbare Medium weitere Anweisungen aufweist, die bei einer Ausführung durch den Prozessor ferner die Erzeugung einer Farbkalibrierungsmatrix für den Bildsensor auf der Basis des korrigierten Bild-Frames bewirken.
Artikel nach Anspruch 14, wobei das maschinenlesbare Medium weitere Anweisungen aufweist, die bei einer Ausführung durch den Prozessor ferner das Detektieren toter Pixel in dem korrigierten Bild-Frame bewirken.
Artikel nach Anspruch 14, wobei das maschinenlesbare Medium weitere Anweisungen aufweist, die bei einer Ausführung durch den Prozessor ferner (i) eine Mehrzahl angepasster dunkler Frame-Abschnitte auf der Basis des dunklen Frames und auf der Basis einer Mehrzahl entsprechender Bild-Frames erzeugen, wobei jeder angepasste dunkle Frame-Abschnitt durch Multiplizieren eines Abschnitts des dunklen Frames mit Kompensationswerten im Verhältnis zu dunklen Pixeln des entsprechenden Bild-Frames erhalten wird, wobei die entsprechenden Bild-Frames und das dunkle Frame unter Verwendung des gleichen Bildsensors erhalten werden; und (ii) die Mehrzahl angepasster dunkler Frame-Abschnitte von der Mehrzahl entsprechender Bild-Frames subtrahieren, um eine Mehrzahl korrigierter Bild-Frames zu erhalten.
Computerprogramm, das eine Computerprogrammcodeeinrichtung umfasst, die alle Schritte aus Anspruch 1 ausführen kann, wenn das Programm auf einem Computer ausgeführt wird.