DE19882871B4

DE19882871B4 - Verfahren und Einrichtung zum Verarbeiten digitaler Pixelausgangssignale

Info

Publication number: DE19882871B4
Application number: DE19882871T
Authority: DE
Inventors: Randy R. Phoenix Dunton; Sasi K. Chandler Kumar; Ashutosh J. Chandler Bakhle
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1997-12-03
Filing date: 1998-11-06
Publication date: 2006-10-12
Anticipated expiration: 2018-11-07
Also published as: KR20010015840A; AU1310999A; GB2347041A; JP4243427B2; JP2001525641A; GB2347041B; US7173656B1; WO1999029118A3; DE19882871T1; GB0013353D0; WO1999029118A2; KR100380201B1; TW401711B

Abstract

Verfahren zum Verarbeiten digitaler Pixelausgangssignale, die von einem digitalen Bildgebungsarray erzeugt worden sind, wobei:
a) ein Dunkelbild des Bildgebungsarrays erzeugt und gespeichert wird;
b) ein Bild aufgenommen und die digitalen Pixelausgangssignale des aufgenommenen Bildes verarbeitet werden, indem:
b1) das Pixelausgangssignal durch Subtrahieren eines zugehörigen Pixelsignalwerts des Dunkelbildes korrigiert wird (130, 260), wenn das Pixelausgangssignal nicht gesättigt ist; und
b2) das Pixelausgangssignal abweichend verarbeitet wird (250), wenn es gesättigt ist.

Description

Die Erfindung bezieht sich auf die Verarbeitung von Pixelausgangssignalen und insbesondere auf die Verarbeitung digitaler Pixelausgangssignale.
Mit den Fortschritten der Digitaltechnologie werden Digitalkameras vorherrschend, d.h. Kameras, die die Intensität des Lichts für einen gegebenen Pixelort eines Bildes in einem binären Digitalsignalformat, wie beispielsweise in Bits, darstellen. Ein Nachteil der Verwendung derartiger Kameras ist jedoch das Rauschen oder das Offset, das manchmal bei der Verwendung von digitalen Bildarrays angetroffen wird, wie beispielsweise bei Arrays, die ladungsgekoppelte Bauelementesensoren oder Komplementär-Metall-Oxid-Halbleiter-Sensoren benutzen, die im folgenden als CCD-Sensoren bzw. CMOS-Sensoren bezeichnet werden. Um dieses sogenannte Festmusterrauschen (FPN – fixed pattern noise) anzugehen, besteht eine Technik, die benutzt worden ist, darin, ein "Dunkelbild" in den Speicher zu lesen, indem beispielsweise bei einem Satz von im wesentlichen vorgegebenen Parametern, einschließlich beispielsweise Belichtung, Temperatur und Verstärkungsfaktor, verhindert wird, daß die Sensoren des Arrays dem Licht ausgesetzt werden und indem die sich ergebenden digitalen Pixelausgangssignale gespeichert werden. Dann wird dieses gespeicherte Dunkelbild von dem jeweiligen unter Verwendung des Digitalbildgebungsarrays erzeugten interessierenden Bildes subtrahiert.

Eine Einrichtung, die das vorgenannte Prinzip einsetzt ist beispielsweise aus der US 47 40 908 A oder der US 52 78 658 A bekannt.

Typischerweise sichert die Digitalkamera entweder durch Hardware oder Software, daß zugehörige Pixelausgangssignale für das gewünschte Bild und das Dunkelbild so einander zu geordnet werden, daß sie richtig subtrahiert oder verglichen werden können. Jedoch bringt das Vorhandensein dieses Rauschens und die zu seiner Behandlung benutzte Lösung eine zusätzliche Komplexität bei der Verarbeitung eines Bildes, die bei Kameras, die einen Signalwert für die Intensität eines Pixels in einem von einem binären Digitalsignalformat abweichenden Format speichern, nicht vorhanden ist.

Aus der JP 02-76481 AA ist eine Bildaufnahmeeinrichtung bekannt, bei der den Bildsensoren eine Lichtabschirmungseinrichtung vorgeschaltet ist, deren Lichtdurchlässigkeit in Abhängigkeit von einem ansteuernden Signal auf Null herabgesetzt werden kann. Wenn Licht großer Intensität auf einen bestimmten Bereich fällt, wird die Abschirmung angesteuert.

Es ist demzufolge ein Bedürfnis vorhanden für Techniken, um die Komplexität anzugehen, die diese Sensoren benutzende Digitalkameras präsentieren.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Patentanspruch 1 oder Patentanspruch 21, eine Schaltungsanordnung gemäß Patentanspruch 6 oder Patentanspruch 7 sowie eine Digitalkamera gemäß Patentanspruch 14.

Gemäß einem anderen Ausführungsbeispiel der Erfindung enthält wenigstens eine integrierte Schaltung eine Bildverarbeitungsschaltung. Die Bildverarbeitungsschaltung ist so ausgebildet, daß sie von einem digitalen Bildgebungsarray erzeugte digitale Pixelausgangssignale verarbeitet. Die Bildverarbeitungsschaltung ist ferner so ausgebildet, daß sie gesättigte digitale Pixelausgangssignale abweichend von nicht-gesättigten digitalen Pixelausgangssignalen verarbeitet.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung umfaßt ein Verfahren zum Verarbeiten von durch ein digitales Bildgebungsarray erzeugten digitalen Pixelausgangssignalen eine Verarbeitung gesättigter digitaler Pixelaus gangssignale in einer von der Verarbeitung nicht-gesättigter digitaler Pixelausgangssignale abweichenden Weise.

Der als Erfindung angesehene Gegenstand wird insbesondere ausgeführt und gesondert beansprucht in dem abschließenden Abschnitt der Patentschrift. Die Erfindung kann jedoch, sowohl hinsichtlich ihres Aufbaus als auch des Betriebsverfahrens, zusammen mit ihren Aufgaben, Merkmalen und Vorteilen am besten unter Bezugnahme auf die folgende detaillierte Beschreibung, wenn sie zusammen mit den begleitenden Zeichnungen gelesen wird, verstanden werden, wobei in den Zeichnungen:

1 eine Blockdarstellung ist, die die logische Operation eines Ausführungsbeispiels einer Einrichtung zur Verarbeitung digitaler Pixelausgangssignale gemäß der Erfindung veranschaulicht;

2 ein Ablaufdiagramm ist, das ein Ausführungsbeispiel eines Verfahrens zum Verarbeiten digitaler Pixelausgangssignale gemäß der Erfindung veranschaulicht; und

3 eine Blockdarstellung ist, die ein Hardware-Ausführungsbeispiel einer Vorrichtung zum Verarbeiten digitaler Pixelausgangssignale gemäß der vorliegenden Erfindung veranschaulicht.

In der folgenden detaillierten Beschreibung werden zahlreiche spezielle Details angegeben, um ein besseres Verständnis der Erfindung zu erreichen. Für Fachleute ist es jedoch klar, daß die vorliegende Erfindung auch ohne diese speziellen Details ausgeführt werden kann. An anderen Stellen werden gut bekannte Verfahren, Prozeduren, Kompo nenten und Schaltungen nicht im Detail beschrieben, um die vorliegende Erfindung nicht unnötigerweise zu verdunkeln.
Wie zuvor beschrieben, werden Digitalkameras, zumindest zum Teil aufgrund der Verbesserungen der Digitaltechnologie, zunehmend üblicher. Dafür werden Bildgebungsarrays, die CCD- und CMOS-Sensoren aufweisen, eingesetzt. Jedoch ist ein der Verwendung derartiger Sensoren zugeordneter Aspekt das Vorhandensein eines Festmusterrauschens (FPN). Um die Qualität des unter Verwendung von Bildgebungsarrays, die derartige Sensoren aufweisen, erzeugten resultierenden Bildes zu verbessern, besteht eine Technik darin, ein Dunkelbild zu gewinnen, dieses im Speicher, wie beispielsweise einem Speicher mit wahlfreiem Zugriff (RAM) oder einem dynamischen RAM (DRAM), zu speichern, das Bildgebungsarray zu verwenden, um ein interessierendes Bild zu gewinnen und dann das gespeicherte Dunkelbild von dem interessierenden Bild zu subtrahieren bzw. abzuziehen. Folglich wird das FPN erfaßt, indem die Sensoren daran gehindert werden, dem Licht ausgesetzt zu werden, wobei dies vorzugsweise so nah wie möglich an einem Parametersatz, wie beispielsweise der Belichtung, Temperatur und dem Verstärkungsfaktor, geschieht, der zum Erzeugen des interessierenden Bildes benutzt wird, und indem die sich ergebenden digitalen Pixelausgangssignale gespeichert werden. Grundsätzlich ist es gewünscht, das Dunkelbild unter Bedingungen zu gewinnen, die die Bedingungen des interessierenden Bildes so eng wie möglich nachahmen. In gleicher Weise enthält eine eine Bildverarbeitung aufweisende Digitalkamera außerdem eine Digitalkamera- oder Bildgebungsarrayschaltung, die so ausgebildet ist, daß sie die digitalen Pixelausgangssignale verarbeitet, die von dem Bildgebungsarray erzeugt werden. Folglich synchronisiert die Schaltung die zugehörigen digitalen Pixelausgangssignale, die für das interessierende Bild und für das Dunkelbild erzeugt worden sind, so daß sie voneinander subtrahiert oder verglichen werden können. Für einen Fachmann ist es selbstverständlich klar, daß diese Verarbeitung ausschließlich in Hardware implementiert werden kann oder alternativ in Software, die auf einer Hardware-Plattform ausgeführt wird, wie beispielsweise eine, die einen Prozessor, wie beispielsweise einen Mikroprozessor oder einen digitalen Signalprozessor, enthält. In diesem Kontext soll der Begriff Schaltung sich auf irgendeine beliebige Hardware beziehen, beispielsweise eine spezielle Hardware, eine Mehrzweckhardware mit spezieller Software, "Firmware" oder eine beliebige Kombination davon.
Wie zuvor beschrieben, besteht ein Problem bei dieser Lösung oder Technik darin, daß sie eine zusätzliche Komplexität in Vergleich zu Lösungen einführt, die keine binären Digitalsignale oder Bits benutzen. Wenn beispielsweise binäre Digitalsignale einer fest vorgegebenen Länge benutzt werden, ist der Dynamikbereich für die Intensität des von einem Pixel des Bildgebungsarrays empfangenen Lichts inhärent eingeschränkt. Wenn somit ein Pixel einer Lichtintensität ausgesetzt wird, die den Dynamikbereich überschreitet, wird die Bildqualität beeinflußt, da das digitale Pixelausgangssignal gesättigt oder abgeschnitten wird und da somit das Ausgangssignal des Pixels keine genaue Darstellung der Intensität des Lichtes ist, welcher das Pixel ausgesetzt war. Eine typische Situation, bei welcher dies auftreten könnte, wird beispielsweise als "spiegelnde Reflexion" bezeichnet. In diesem Kontext bezieht sich der Begriff der spiegelnden Reflexion auf Licht, das von einer sehr intensiven oder hellen Quelle, wie beispielsweise der Sonne, direkt in die Sensoren hinein reflektiert wird. Im Ergebnis ist der Dynamikbereich der Intensität für sämtliche der Bildmerkmale üblicherweise jenseits der Möglichkeiten eines digitalen Sensors, was zu einer Beschneidung des Signals führt. Folglich wird bei einer Situation, bei der eine Untermenge der Pixel des Bildgebungsarrays gesättigt sind oder abgeschnittene Pixelausgangssignale erzeu gen, die zuvor beschriebene Technik des Subtrahierens des Dunkelbildes ein zusätzliches Rauschen in das Bild einbringen, statt das Vorhandensein des Rauschens zu reduzieren, was das gewünschte Ergebnis wäre.
Obwohl sowohl CCD- als auch CMOS-Sensoren ein FPN erzeugen, zeigen gegenwärtig übliche CMOS-Sensoren einen größeren Betrag des Rauschens. Die Quelle des FPN kann aus einer Vielzahl von Faktoren herrühren, die jedoch typischerweise winzige Defekte bei dem Herstellungsprozeß der CMOS-Sensoren einschließen. Andere Faktoren, die ein derartiges Rauschen erzeugen können, umfassen das Design der Bildgebungsarrayschaltung oder die Geometrie des Arrays.
Ein Ausführungsbeispiel einer Digitalkamera gemäß der vorliegenden Erfindung, wie es durch das Ausführungsbeispiel 300 gemäß 3 veranschaulicht ist, enthält ein Digitalbildgebungsarray 310, das eine Vielzahl von aus Sensoren, wie beispielsweise CCD- und CMOS-Sensoren, gebildete Pixel aufweist. Zusätzlich enthält die Digitalkamera 300 eine Bildverarbeitungsschaltung, um die digitalen Pixelausgangssignale zu verarbeiten, die von den Pixeln des Bildgebungsarrays erzeugt werden. Beispielsweise werden, wie es in 3 veranschaulicht ist, bei diesem Ausführungsbeispiel die digitalen Pixelausgangssignale, die jeweils 10 Bits aufweisen, bei 12 MHz an die Aufnahmeschnittstellenschaltung 320 zur Verfügung gestellt, obwohl die Erfindung hinsichtlich ihres Umfangs diesbezüglich nicht beschränkt ist. Die Rohbilddaten in Form des binären Digitalsignals werden dann einer Dunkel-Festmusterrausch(DFPN)-Reduktions- oder -Entfernungseinheit 340 zur Verfügung gestellt. In der Entfernungseinheit 340 werden die digitalen Pixelausgangssignale für das gewünschte Bild mit den digitalen Pixelausgangssignalen für das Dunkelbild verglichen. Die digitalen Pixelausgangssignale für das Dunkelbild werden unter Verwendung des Bildgebungsarrays 310, wie es zuvor beschrieben wurde, erzeugt und diese digitalen Pixelausgangssignale, bei diesem speziellen Ausführungsbeispiel, durch eine RAM-Tabelle 330 unter Verwendung einer Datenflußsteuereinrichtung, wie beispielsweise einer Direktspeicheradressierungs(DMA)-Steuereinrichtung 390 und einer DRAM-Steuereinrichtung 380, gespeichert. Selbstverständlich ist die Erfindung in ihrem Umfang nicht auf diese Speicherarchitektur eingeschränkt. Wenn das Dunkelbild erzeugt und gespeichert wird, werden die Aspekte der Entfernungseinheit, die die Subtraktion ausführt, umgangen. Wenn somit das gewünschte Bild erzeugt wird, wird das Dunkelbild aus dem Speicher 330 wiedergewonnen und die durch Subtraktion des Dunkelbilds von dem gewünschten Bild erzeugten, sich ergebenden binären Digitalsignale werden dann der Kompander-Nachschlagetabelle (LUT) 350 zur Verfügung gestellt. Wie es in 3 veranschaulicht ist, werden die binären digitalen Signale der Kompander-LUT 350 als 10 Bits zur Verfügung gestellt und dann aus dem Kompander als 8 Bits der übrigen Bildverarbeitung bereitgestellt. Zusätzlich veranschaulicht 3, daß bei diesem Ausführungsbeispiel ein Farb-Tag bereitgestellt wird. Bei diesem speziellen Ausführungsbeispiel kennzeichnet das zur Verfügung gestellte Farb-Tag eine Farbebene für ein digitales Pixelausgangssignal, obwohl die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt ist. Ein beliebiger einer Reihe von möglichen Farbräumen kann benutzt werden; jedoch ist ein derartiger Farbraum der Rot-Grün-Blau(RGB)-Farbraum. Folglich werden drei Bilder, die verschiedene Farben darstellen, anstelle eines Einzelbildes erzeugt und verarbeitet, und es wird bei diesem Ausführungsbeispiel ein Farb-Tag mit jedem Bild bereitgestellt. Bei diesem Ausführungsbeispiel, das Kompander-LUTs verwendet, werden drei Kompander-LUTs, jeweils eine für jede Farbe, benutzt. Selbstverständlich ist es klar, daß die Erfindung nicht auf das Erzeugen von Farbbildern oder auf den RGB-Farbraum beschränkt ist.
Ein Aspekt dieses Ausführungsbeispiels der Digitalkamera gemäß der vorliegenden Erfindung besteht darin, daß die Bildgebungsarrayschaltung so ausgebildet ist, daß sie gesättigte digitale Pixelausgangssignale abweichend von nicht-gesättigten digitalen Pixelausgangssignalen verarbeitet. Dieser Aspekt dieses speziellen Ausführungsbeispiels ist detaillierter in 1 veranschaulicht, obwohl wiederum die Erfindung in ihrem Umfang nicht auf dieses spezielle Ausführungsbeispiel beschränkt ist. Wie in 1 veranschaulicht, wird das Bild zunächst aufgenommen oder gewonnen, wie durch Block 110 veranschaulicht. Die unkorrigierten digitalen Pixelausgangssignale werden dann der Sättigungserfassungs- und Steuerlogik 120 zur Verfügung gestellt. Sofern ein bestimmtes digitales Pixelausgangssignal nicht gesättigt ist, wird der aufgenommene unkorrigierte Signalwert dem Knoten 130 zur Verfügung gestellt, so daß der zugehörige Signalwert des Dunkelbildes subtrahiert werden kann. Jedoch wird diese Subtraktion nicht durchgeführt, sofern die Sättigungserfassungs- und Steuerlogik anzeigt, daß das bestimmte digitale Pixelausgangssignal des gewünschten Bildes gesättigt ist. Bei diesem Ausführungsbeispiel ist diese Sättigungserfassungs- und -Steuerlogik in der Dunkel-Festmusterrausch-Entfernungseinheit 340 eingeschlossen. Wie zuvor beschrieben, wird das Dunkelbild vor dem Erzeugen und Speichern des gewünschten Bildes gewonnen und gespeichert. Folglich stellen, wie es in 1 veranschaulicht ist, die DRAM-Steuereinrichtung 160 bzw. DMA 170 die gespeicherten digitalen Pixelausgangssignale und die zugehörige Adresse bei diesem speziellen Ausführungsbeispiel zur Verfügung. Selbstverständlich ist die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt. So stellt dann bei diesem Ausführungsbeispiel der Zeilenpuffer 150 die zugehörigen digitalen Pixelausgangssignale des Dunkelbildes zur Verfügung, die mit den unkorrigierten digitalen Pixelausgangssignalen des gewünschten Bildes, das wie durch Block 110 angezeigt aufgenommen wurde, verarbeitet werden sollen. Sobald die Subtraktion erfolgt ist, werden dann die korrigierten digitalen Pixelausgangssignale der Kompander-LUT 140 zur Verfügung gestellt, wie es in 1 veranschaulicht ist.
Bei diesem speziellen Ausführungsbeispiel werden, obwohl die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt ist, wie zuvor beschrieben, 10 binäre Digitalsignale oder Bits verwendet, um einen Intensitätspegel darzustellen. Folglich wird ein digitales Pixelausgangssignal abgeschnitten oder gesättigt, wenn 10 Einsen oder ein Hexadezimalsignalwert "3FF" erfaßt wird. Somit wird bei einem Ausführungsbeispiel einer Digitalkamera oder Digitalkameraschaltung gemäß der vorliegenden Erfindung dann, wenn der Signalwert "3FF" als digitales Pixelausgangssignal für ein bestimmtes Pixel des gewünschten Bildes erfaßt wird, anstelle des Subtrahierens des zugehörigen digitalen Pixelausgangssignals des Dunkelbildes für dieses Pixel die Subtraktion umgangen oder "aus"-geschaltet, wie es beispielsweise in 1 angezeigt ist. Der gesättigte Signalwert wird der Kompander-LUT 140 in 1 oder 350 in 3 zur Verfügung gestellt.
Dieses Ausführungsbeispiel ist außerdem durch das Ablaufdiagramm gemäß 2 veranschaulicht. Bei diesem Ausführungsbeispiel wird ein unkorrigiertes digitales Pixelausgangssignal durch die Entfernungseinheit am Block 210 empfangen. Am Block 220 wird eine Entscheidung darüber getroffen, ob das Dunkel-Festmusterrausch-Reduktions- oder -Enfernungs-Merkmal "eingeschaltet" wird. Dieses Merkmal würde beispielsweise dann nicht eingeschaltet werden, wenn das Dunkelbild gewonnen und gespeichert wird. In diesem Fall werden, wie es in 2 beim Block 270 dargestellt ist, diese verarbeiteten binären Digitalsignale zur nächsten Stufe weitergeleitet, welche bei diesem speziellen Ausführungsbeispiel zu einem Anlegen dieser Signale an den Kompander führt. Wenn jedoch dieses Merkmal "eingeschaltet" ist und ein spezieller Sättigungsfall angetroffen worden ist, erfaßt die Schaltung, ob der Signalwert gleich "3FF" bei diesem speziellen Ausführungsbeispiel ist, wie es durch Block 240 veranschaulicht ist. Sofern dies nicht der Fall ist, so wird der zugehörige Signalwert von dem Dunkelbild subtrahiert, wie es durch Block 260 angezeigt ist. Wenn jedoch dieser binäre Digitalsignalwert erfaßt wird, d.h. bei diesem Ausführungsbeispiel "3FF", dann wird anstelle des Durchführens der Subtraktion dieser spezielle binäre Digitalsignalwert als binärer Digitalsignalwert "3FF" durchgeleitet, wie es durch Block 250 angezeigt wird.
In einem weiteren Ausführungsbeispiel einer Digitalkamera gemäß der vorliegenden Erfindung werden die gesättigten digitalen Pixelausgangssignale abweichend von den nicht-gesättigten digitalen Pixelausgangssignalen verarbeitet; jedoch umfaßt die abweichende Verarbeitung mehr als die Umgehung der Subtraktion des zugehörigen digitalen Pixelausgangssignals von dem Dunkelbild. Beispielsweise kann bei einem Ausführungsbeispiel ein durchschnittlicher Dunkel-Festmusterrauschpegel von sämtlichen gesättigten binären Digitalsignalwerten subtrahiert werden. Diese Lösung schafft verschiedene Vorteile. Infolge der Natur des Festmusterrauschens wären typischerweise die Dunkelbildsignalwerte, die beim Fehlen eines Ausführungsbeispieles gemäß der vorliegenden Erfindung subtrahiert würden, ungleichmäßig und würden folglich ein ungleichmäßiges oder fleckiges Erscheinen des Bildes liefern, wenn sie von den gesättigten Signalwerten subtrahiert würden. Insbesondere würde das menschliche Auge erwarten, daß das Bild in diesem Bereich gleichmäßig oder abgeschnitten ist, und durch das Subtrahieren der Dunkelbildsignalwerte würde dadurch ein Rauschen eingebracht werden. Folglich ist es wünschenswert, einen Durchschnittswert anstelle des speziellen Signalwerts des Dunkelbildes von den entsprechenden gesättigten Signal werten abzuziehen. Darüber hinaus wäre dort, wo gesättigte Signalwerte angetroffen werden, die relative Intensität dieser gesättigten Werte im Vergleich zu den nicht-gesättigten Werten größer als erwünscht, wenn die Dunkelbildsignalwerte von ausschließlich den nicht-gesättigten Signalwerten abgezogen würden. Dies kann das Erscheinungsbild des Bildes für einen Betrachter in unerwünschter Weise beeinflussen. Folglich wäre es außerdem wünschenswert, wenn ein Wert von den gesättigten Signalwerten abgezogen werden könnte, um diese relative Intensität zu verringern. Diese Subtraktion verringert oder vermeidet eine Verschwendung des verfügbaren Dynamikbereichs, der von den hohen relativen Intensitäten herrührt.
Es kann eine beliebige einer Reihe von Techniken benutzt werden, um den Durchschnittssignalwert zu gewinnen, der von den gesättigten Signalwerten subtrahiert werden soll. Bei diesem speziellen Ausführungsbeispiel werden die Signalwerte des Dunkelbildes abgetastet, um einen Mittelwert und eine Standardabweichung zu erzeugen und dadurch den Pegel des Festmusterrauschens zu approximieren. Es können selbstverständlich eine Vielzahl unterschiedlicher Abtasttechniken bei verschiedenen Ausführungsbeispielen benutzt werden. Beispielsweise kann es wünschenswert sein, nur in den gesättigten Bereichen des gewünschten Bildes abzutasten. Alternativ kann es wünschenswert sein, die Standardabweichung zu überprüfen und in Abhängigkeit vom Wert der Standardabweichung Bereiche in dem Bild genauer abzutasten (subsample), um die Standardabweichung zu reduzieren. In ähnlicher Weise können Trends in dem Rauschen durch Verarbeitung ausgewählter Abschnitte des Dunkelbildes beobachtet werden, wenn beispielsweise der Mittelwert und/oder die Abweichung in einem Abschnitt des Bildes größer sein können als in einem anderen.
In gleicher Weise kann bei einem weiteren Ausführungsbeispiel der Erfindung das Subtrahieren des als Durch schnitts-Dunkel-Festmusterrauschensignalpegelwerts bestimmten Werts in die durch die Kompander-Nachschlagetabelle implementierte Verarbeitung eingebracht werden, so daß diese Subtraktionsoperation mit anderen Operationen, wie beispielsweise einer Kompander-Operation und einer Operation zum Abgleichen der Differenzen zwischen der Farbantwort der Sensoren und dem menschlichen Auge, welche als Gammaoperation bezeichnet wird, kombiniert werden. Insbesondere werden bei einem Ausführungsbeispiel, obwohl die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt ist, bei der Kompander-Operation 10 Bits empfangen und aus diesen 8 Bits erzeugt. Dies ist eine im wesentlichen nichtlineare Operation, die unter Verwendung einer Nachschlagetabelle implementiert wird. Ein Grund dafür, daß diese spezielle Operation im wesentlichen nichtlinear ist, besteht darin, daß diese Operation, die Empfindlichkeit des menschlichen Auges für Licht reflektieren bzw. entsprechen soll. Folglich werden bei diesem speziellen Ausführungsbeispiel die Werte für die LUT gewonnen, indem mit einem analytischen Modell dieser Empfindlichkeit begonnen wird und dann sie empirisch eingestellt wird. In ähnlicher Weise wird eine Gammaoperation ebenfalls benutzt, um die Farbantwort des sich ergebenen Bildes einzustellen. Insbesondere wird bei diesem speziellen Ausführungsbeispiel ein Farbfilterarray (CFA; color filter array) inhärent in die Bildgebungsarraysensoren aufgenommen, obwohl dies auf vielfältige Weise durchgeführt werden kann und die Erfindung in ihrem Umfang in dieser Beziehung nicht eingeschränkt oder gar auf die Benutzung einer CFA beschränkt ist. Somit wird eine Gammaoperation benutzt, um den Einfluß zu invertieren oder zu entfernen, den dieses Farbfilterarray zu Beginn beim Kalibrieren der Farbe in dem sich ergebenden Bild hätte. Außerdem kann bei diesem speziellen Ausführungsbeispiel, wie zuvor beschrieben wurde, der Signalwert, der den Pegel des Dunkelbild-Festmusterrauschens repräsentieren oder darstellen soll, in glei cher Weise subtrahiert werden. Darüber hinaus kann bei diesem Ausführungsbeispiel, da der Wert eines abgeschnittenen oder gesättigten digitalen Pixelausgangssignals bekannt ist, die Subtraktion implementiert werden, indem bloß der zu subtrahierende Signalwert gespeichert wird. Selbstverständlich ist die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt. Wie es gut bekannt ist, können die drei zuvor beschriebenen Operationen kombiniert und unter Verwendung einer einzigen Nachschlagetabelle implementiert werden. Obwohl die genauen Schritte, um dies auszuführen, hier nicht erörtert werden, liegen derartige Techniken eindeutig innerhalb des durchschnittlichen Vermögens eines Fachmanns auf dem Gebiet, zu welchem diese Erfindung gehört. Wiederum werden, wie zuvor beschrieben, verschiedene Nachschlagetabellen für jede Farbebene bei diesem Ausführungsbeispiel benutzt, obwohl die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt ist.
Bei einem weiteren Ausführungsbeispiel einer Digitalkamera gemäß der vorliegenden Erfindung kann die Bildgebungsverarbeitungsschaltung die Fähigkeit enthalten, gesättigte Bereiche in dem Bild zu identifizieren, bevor die gesättigten digitalen Pixelausgangssignale abweichend von den nicht-gesättigten digitalen Pixelausgangssignalen verarbeitet werden. Insbesondere kann bei einem Ausführungsbeispiel die Entfernungseinheit so ausgebildet sein, daß sie die Ausgangssignale von Randpixeln für ein Pixel überprüft, das ein gesättigtes Ausgangssignal erzeugt, um zu überprüfen, daß sämtliche unmittelbar benachbarten Pixelausgangssignale ebenfalls gesättigt sind. Bei einem Ausführungsbeispiel kann dann, sofern nicht sämtliche gesättigt sind, dieser gesättigte Signalwert abweichend verarbeitet werden. Wenn alternativ eine bestimmte Anzahl von Signalwerten in dem Umgebungsbereich als gesättigt erfaßt werden, dann können die Ausgangssignale für Pixel, die sich in diesem Bereich befinden und gesättigt sind, in abwei chender Weise verarbeitet werden. Andere Ausführungsbeispiele zum Bestimmen und/oder Kennzeichnen eines Bereichs gesättigter digitaler Pixelausgangssignalwerte können benutzt werden. In gleicher Weise kann dort, wo ein gesättigter digitaler Ausgangssignalwert identifiziert wird, die Bildverarbeitungsschaltung die Fähigkeit enthalten, zu bestimmen, daß sich dieser nicht in einem Gebiet gesättigter Signalwerte befindet. Wenn somit beispielsweise der gesättigte Signalwert ein isolierter gesättigter Signalwert ist, wird keine abweichende Verarbeitung im Vergleich zu nicht-gesättigten Pixelausgangssignalen benutzt. Wiederum können alternative Lösungen hierfür benutzt werden.
Selbstverständlich können, wie zuvor angezeigt wurde, Ausführungsbeispiele auf eine Vielzahl unterschiedlicher Weise implementiert werden. Beispielsweise kann, wie zuvor beschrieben, die Verarbeitung "fest verdrahtet" sein. Alternativ kann, wie zuvor beschrieben, ein Prozessor, wie beispielsweise ein DSP oder ein Mikroprozessor, mit Software geladen werden, die, wenn sie auf dem Prozessor ausgeführt wird, die gewünschten Operationen durchführt. Alternativ kann ein Ausführungsbeispiel ebenso in Firmware implementiert werden. Obwohl die Erfindung in ihrem Umfang diesbezüglich nicht eingeschränkt ist, ist es typischerweise erwünschter, Ausführungsbeispiele auf eine Weise zu implementieren, die wegen der relativ hohen Anzahl binärer digitaler Signalwerte oder Bits, die zu verarbeiten sind, zu einer höheren Verarbeitungsgeschwindigkeit führt.
Während bestimmte Merkmale der Erfindung hier veranschaulicht und beschrieben worden sind, können viele Modifikationen, Substitutionen, Änderungen und Äquivalente einem Fachmann in den Sinn kommen. Es ist folglich klar, daß die anhängigen Ansprüche sämtliche derartige Modifikationen und Änderungen abdecken sollen, so daß sie unter den wahren Geist der Erfindung fallen.

Claims

Verfahren zum Verarbeiten digitaler Pixelausgangssignale, die von einem digitalen Bildgebungsarray erzeugt worden sind, wobei: a) ein Dunkelbild des Bildgebungsarrays erzeugt und gespeichert wird; b) ein Bild aufgenommen und die digitalen Pixelausgangssignale des aufgenommenen Bildes verarbeitet werden, indem: b1) das Pixelausgangssignal durch Subtrahieren eines zugehörigen Pixelsignalwerts des Dunkelbildes korrigiert wird (130, 260), wenn das Pixelausgangssignal nicht gesättigt ist; und b2) das Pixelausgangssignal abweichend verarbeitet wird (250), wenn es gesättigt ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die gesättigten Pixelausgangssignale abweichend verarbeitet werden, indem sie zur nächsten Stufe durchgeleitet werden (250).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die gesättigten Pixelausgangssignale abweichend verarbeitet werden, indem die gesättigten Pixelausgangssignale korrigiert werden, indem ein Schätzwert des Dunkelbild-Festmusterrauschens für das Bildgebungsarray von dem Pixelausgangssignal subtrahiert wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß der Schätzwert des Dunkelbild-Festmusterrauschens für das Bildgebungsarray ein Mittelwert der Pixelsignalwerte des Dunkelbildes ist, so daß die gesättigten Pixelausgangssignale korrigiert werden, indem ein Mittelwert der Pixelsignalwerte des Dunkelbildes subtrahiert wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß der Mittelwert gewonnen wird, indem nur diejenigen Pixel des Dunkelbildes abgetastet werden, die den Pixeln entsprechen, welche in dem interessierenden Bild gesättigt sind, und der Mittelwert aus den Pixelsignalwerten der abgetasteten Pixel gewonnen wird.
Schaltungsanordnung mit einem digitalen Bildgebungsarray (310) und einer Verarbeitungsschaltung (340–360) und mit einem Speicher (330), der ein von dem Bildgebungsarray (310) aufgenommenes Dunkelbild speichern kann, wobei die Verarbeitungsschaltung eine Korrekturschaltung (340) umfaßt, die von eingegebenen Pixelausgangssignalen des Bildgebungsarrays zugehörige Pixelsignalwerte des Dunkelbildes subtrahieren kann, wobei die Korrekturschaltung so ausgebildet ist, daß die Pixelsignalwerte des Dunkelbildes dann von den eingegebenen Pixelausgangssignalen subtrahiert werden, wenn die Pixelausgangssignale nicht gesättigt sind, wobei die Pixelausgangssignale abweichend verarbeitet werden, wenn sie gesättigt sind.
Integrierte Schaltungsanordnung, aufweisend: eine Bildverarbeitungsschaltung; wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie digitale Pixelausgangssignale, die von einem digitalen Bildgebungsarray erzeugt werden, verarbeitet; wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie gesättigte digitale Pixelausgangssignale abweichend von nicht-gesättigten digitalen Pixelausgangssignalen verarbeitet und daß sie das Dunkelbild in Bereichen abtastet, die den Bereichen der gesättigten digitalen Pixelausgangssignale in einem interessierenden Bild entsprechen.
Integrierte Schaltungsanordnung nach Anspruch 7, wobei das Bildgebungsarray Bildgebungsarraysensoren enthält, wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie gesättigte digitale Pixelausgangssignale verarbeitet, indem sie einen Schätzwert für das Dunkelbild-Festmusterrauschen für die Bildgebungsarraysensoren subtrahiert.
Integrierte Schaltungsanordnung nach Anspruch 8, wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie den Schätzwert für das Dunkel-Festmusterrauschen, indem sie aus einem gespeicherte digitale Pixelausgangssignale aufweisenden Dunkelbild abtastet.
Integrierte Schaltungsanordnung nach Anspruch 8, wobei die Bildverarbeitungsschaltung an eine Verwendung von Bildgebungsarraysensoren angepaßt ist, die wenigstens einen CCD-Sensor oder einen CMOS-Sensor umfassen.
Integrierte Schaltungsanordnung nach Anspruch 7, wobei die Bildverarbeitungsschaltung eine Festmusterrauschreduktionsschaltung aufweist.
Integrierte Schaltungsanordnung nach Anspruch 11, wobei die Festmusterrauschreduktionsschaltung eine Dunkel-Festmusterrausch-Reduktionsschaltung umfaßt.
Integrierte Schaltungsanordnung nach Anspruch 7, wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie Bereiche gesättigter digitaler Pixelausgangssignale in einem interessierenden Bild erfaßt.
Digitalkamera, aufweisend: ein digitales Bildgebungsarray, das eine Vielzahl von Pixeln aufweist, und eine Bildverarbeitungsschaltung zum Verarbeiten der digitalen Pixelausgangssignale, die von dem Bildgebungsarray erzeugt werden; wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie gesättigte digitale Pixelausgangssignale abweichend von nicht-gesättigten digitalen Pixelausgangssignalen verarbeitet und daß sie das Dunkelbild in Bereichen abtastet, die den Bereichen der gesättigten digitalen Pixelausgangssignale in einem interessierenden Bild entsprechen.
Digitalkamera nach Anspruch 14, wobei das Bildgebungsarray Bildgebungsarraysensoren enthält; wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie gesättigte digitale Pixelausgangssignale verarbeitet, indem sie einen Schätzwert für das Dunkelbild-Festmusterrauschen für die Bildgebungsarraysensoren subtrahiert.
Digitalkamera nach Anspruch 15, wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie den Schätzwert für das Dunkel-Festmusterrauschen bestimmt, indem sie aus einem Dunkelbild abtastet, das gespeicherte digitale Pixelausgangssignale aufweist.
Digitalkamera nach Anspruch 14, wobei die Bildverarbeitungsschaltung an eine Verwendung von Bildgebungsarraysensoren angepaßt ist, die wenigstens einen CCD-Sensor oder einen CMOS-Sensor umfassen.
Digitalkamera nach Anspruch 14, wobei die Bildverarbeitungsschaltung eine Festmusterrauschreduktionsschaltung aufweist.
Digitalkamera nach Anspruch 18, wobei die Festmusterrauschreduktionsschaltung eine Dunkel-Festmusterrausch-Reduktionsschaltung aufweist.
Digitalkamera nach Anspruch 14, wobei die Bildverarbeitungsschaltung so ausgebildet ist, daß sie Bereiche gesättigter digitaler Pixelausgangssignale in einem interessierenden Bild erfaßt.
Verfahren zum Verarbeiten digitaler Pixelausgangssignale, die von einem digitalen Bildgebungsarray erzeugt werden, umfassend: Verarbeiten gesättigter digitaler Pixelausgangssignale in abweichender Weise gegenüber nicht-gesättigten digitalen Pixelausgangssignalen, wobei ein Dunkelbild in Bereichen abgetastet wird, die den Bereichen der gesättigten digitalen Pixelausgangssignale in einem interessierenden Bild entsprechen.
Verfahren nach Anspruch 21, wobei das Bildgebungsarray Bildgebungsarraysensoren enthält; und ferner umfassend das Abschätzen des Dunkelbild-Festmusterrauschens für die Bildgebungsarraysensoren; wobei die Verarbeitung gesättigter digitaler Pixelausgangssignale in abweichender Weise das Subtrahieren einer Abschätzung des Dunkelbild-Festmusterrauschens für die Bildgebungsarraysensoren umfaßt.
Verfahren nach Anspruch 22, wobei das Abschätzen des Dunkel-Festmusterrauschens das Abtasten aus einem Dunkelbild umfaßt, das gespeicherte digitale Pixelausgangssignale aufweist.
Verfahren nach Anspruch 22, wobei die Bildgebungsarraysensoren wenigstens einen CCD-Sensor oder einen CMOS-Sensor umfassen.
Verfahren nach Anspruch 21, wobei die Verarbeitung gesättigter digitaler Pixelausgangssignale eine Festmusterrauschreduktionsverarbeitung umfaßt.
Verfahren nach Anspruch 25, wobei die Festmusterrauschreduktionsverarbeitung eine Dunkel-Festmusterrausch-Reduktionsverarbeitung umfaßt.
Verfahren nach Anspruch 21, wobei die Verarbeitung gesättigter digitaler Pixelausgangssignale das Erfassen von Bereichen gesättigter digitaler Pixelausgangssignale in einem interessierenden Bild umfaßt.