-
Verweis auf rückbezogene
Anmeldungen
-
Diese
Anmeldung beansprucht Priorität
der Anmeldung Nr. 60/962,028 eingereicht am 25. Juli 2007.
-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Der
offenbarte Gegenstand betrifft allgemein eine automatische Belichtungssteuerung
in einer digitalen Kamera.
-
2. Allgemeiner Stand der Technik
-
Digitalkameras
enthalten einen Bildsensor, der optische Energie in elektrische
Signale konvertiert. Die meisten Digitalkameras sind mit einer automatischen
Belichtungssteuerung ausgestattet. Eine Belichtungssteuerung bezieht
das Bestimmen der Belichtungseinstellungen ein, die den Dynamikbereich
des Bildsensors bei den gegebenen Eigenschaften einer zu fotografierenden
Bildszene am besten einsetzt. Der Dynamikbereich eines Bildsensors
kann als das Verhältnis
der höchsten
Signalausgabe zur niedrigsten brauchbaren Signalausgabe definiert
werden.
-
Bildsensoren
weisen einen begrenzten Dynamikbereich auf. Ein typischer elektronischer Bildsensor
weist einen Dynamikbereich auf, der kleiner ist als der Dynamikbereich
natürlicher
Szenen. Dies liegt hauptsächlich
an der Vielzahl von Lichtquellen mit stark variierenden Intensitäten, welche die
Objekte der Szene beleuchten.
-
Allgemein
gesagt ist eine Belichtung wünschenswert,
so dass das aufgenommene Bild nicht zu hell oder zu dunkel ist.
Gewöhnlich
wird dies durch Verschieben eines Bildhistogramms auf einen optimalen
Punkt innerhalb der Grenzen der maximalen und minimalen Ausgabesignalpegel
des Systems erzielt. Die Histogramme sind Häufigkeitsverteilungen der Bildpixel
auf der Grundlage von Intensitätswerten.
-
Eine
Belichtungssteuerung in einer Kamera bezieht typischerweise ein
Messen der durchschnittlichen Lichtintensität in einem Abtastbereich einer
fotografierten Bildszene ein. Belichtungseinstellungen werden dann
so ausgewählt,
dass sie den Durchschnitt eines vorbestimmten Prozentsatzes des
Dynamikbereichs des Bildsensors skalieren. Ein Verfahren, das gewöhnlich als
mittlere Fotometrie bezeichnet wird, umfasst ein Detektieren des
gesamten Bildbereichs und ein Steuern der Belichtung, so dass das Detektionssignal
einen konstanten Pegel aufweist. Ein anderes Verfahren, das gewöhnlich als
zentrumsbetonte Fotometrie bezeichnet wird, detektiert nur einen
Mittenabschnitt des Bildbereichs und steuert die Belichtung so,
dass das Detektionssignal einen konstanten Pegel aufweist. Eine
Kombination aus mittlerer Fotometrie und zentrumsbetonter Fotometrie
kann durch Gewichten der Detektionsdaten des gesamten Bildbereichs
und der Detektionsdaten des Zentralbereichs und mit Durchführen einer
Belichtungssteuerung auf der Grundlage von Detektionsdaten erzielt
werden, die durch Addieren der gedichteten Daten in einem festen
Verhältnis
erhalten werden. Eine feinere Belichtungssteuerung kann durch Unterteilen
einer Szene in Bereiche, durch Detektieren des Bilds in jeden Bereich
und durch Begrenzen der Bereiche von Detektionsdaten, die bei der
Belichtungssteuerung verwendet werden, oder durch Ändern der
Gewichte erzielt werden. Auch die oben stehend beschriebenen Fotometrieverfahren stellen
jedoch nicht immer einen Belichtungssteuerungszustand bereit, der
für die
fragliche Szene geeignet ist.
-
KURZFASSUNG DER ERFINDUNG
-
Eine
Vorrichtung, die ein Bild analysiert. Die Vorrichtung weist eine
Schaltung auf, die ein Bild erhält,
das eine Vielzahl Pixel umfasst. Die Schaltung erzeugt ein Histogramm
des Bilds und analysiert das Histogramm, um eine annehmbare Belichtung
des Bilds zu bestimmen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist
eine Darstellung, die ein Blockdiagramm einer Bildaufnahmevorrichtung
zeigt;
-
2 ist
eine Darstellung, die Komponenten des Bildgebungssystems zeigt;
-
3 ist
ein Schaubild, das ein Beispiel eines Bildhistogramms zeigt;
-
4 ist
eine Darstellung, die Komponenten einer ersten Ausführungsform
einer Histogrammerzeugungseinheit zeigt;
-
5 ist
ein Ablaufdiagramm, das den Prozess der ersten Ausführungsform
der Histogrammerzeugungseinheit beschreibt;
-
6 sind
Bildbeschreibungen von drei LDR-Bildern bei verschiedenen Belichtungen,
die zusammengesetzt werden, um ein EDR-Bild zu bilden;
-
7 ist
eine Darstellung eines Prozesses für die Zusammensetzung eines
EDR-Bilds aus mehreren LDR-Bildern;
-
8 sind
Bildbeschreibungen der Extraktion von drei LDR-Bildern bei verschiedenen
Belichtungen aus einem EDR-Bild;
-
9 zeigt
ein Ablaufdiagramm, das die Erzeugung eines LDR-Bilds aus einem
EDR-Bild beschreibt;
-
10 sind
Bildbeschreibungen der Erzeugung von Histogrammen aus vier verschiedenen
Kanälen:
Rot, Grün,
Blau und Luminanz aus einem LDR-Bild;
-
11 ist
eine Darstellung einer zweiten Ausführungsform der Histogrammerzeugungseinheit;
-
12 zeigt
ein Ablaufdiagramm, das einen Prozess der zweiten Ausführungsform
der Histogrammerzeugungseinheit beschreibt;
-
13 sind
Bildbeschreibungen der Erzeugung von EDR-Histogrammen aus vier verschiedenen
Kanälen:
Rot, Grün,
Blau und Luminanz aus einem EDR-Bild;
-
14 umfasst
eine Anzahl Schaubilder, welche die Erzeugung von drei LDR-Histogrammen aus
einem EDR-Histogramm darstellen;
-
15 ist
ein Ablaufdiagramm, das die Extraktion von LDR-Histogrammen aus einem EDR-Histogramm
zeigt;
-
16 umfasst
eine Anzahl Schaubilder, welche die Erzeugung von vier verschiedenen LDR-Histogrammen
aus einem EDR-Histogramm darstellen, wobei jedes eine verschiedene
Belichtung aufweist;
-
17 ist
eine Darstellung einer Ausführungsform
der Histogrammerzeugungseinheit;
-
18 ist
ein Ablaufdiagramm, das die Schritte für die dritte Ausführungsform
der Histogrammerzeugungseinheit illustriert;
-
19 illustriert
vier LDR-Bilder mit entsprechenden Histogrammen des Rot-Kanals;
-
20 ist
ein Ablaufdiagramm, das die Schritte für eine vierte Ausführungsform
der Histogrammerzeugungseinheit illustriert;
-
21 ist
ein Ablaufdiagramm, das die Schritte für eine fünfte Ausführungsform der Histogrammerzeugungseinheit
illustriert;
-
22 ist
ein Ablaufdiagramm, das die Schritte für eine sechste Ausführungsform
der Histogrammerzeugungseinheit illustriert;
-
23 ist
ein Ablaufdiagramm, das die Schritte für eine siebte Ausführungsform
der Histogrammerzeugungseinheit illustriert;
-
24a bis c sind Schaubilder, die drei Typen
von Histogramm-Peaks zeigen;
-
25 ist eine Darstellung einer Ausführungsform
einer Merkmaleextraktionseinheit;
-
26 ist
ein Ablaufdiagramm, das die Schritte für eine Detektionseinheit für den Himmelspeak
illustriert;
-
27a bis b sind Schaubilder, die ein Beispiel von ähnlichen
am weitesten rechts liegenden Peaks in den Histogrammen des Grün- und Blau-Kanals zeigen;
-
28a bis b sind Schaubilder, die ein Beispiel des
letzten Vertex des Blau-Histogramms
zeigen, der deutlich höher
als das Rot-Histogramm ist;
-
29a bis c sind Schaubilder, die ein Beispiel des
Gipfels des am weitesten rechts liegenden Peaks im Blau-Histogramm
zeigen, der höher
als sowohl das Rot- als auch das Grün-Histogramm ist;
-
30a bis c sind Schaubilder, die ein Beispiel des
letzten Vertex des Blau-Histogramms
zeigen, der höher
als die letzten Vertices des Rot- und Grün-Histogramms
ist;
-
31 ist
ein Ablaufdiagramm, das die Messung eines Parameters des Signifikanz-Peaks
erklärt;
-
32 sind
Schaubilder, die eine Bildbeschreibung der Messung des Parameters
des Signifikanz-Peaks zeigen;
-
33 ist
ein Ablaufdiagramm, das die Schritte für die Messung eines Parameters
des Rechts-Peaks beschreibt;
-
34 sind
Schaubilder, die eine Bilddarstellung der Messung des Parameters
des Rechts-Peaks zeigen;
-
35 ist
eine Darstellung einer Bestimmungseinheit der optimalen Belichtung;
-
36 ist
ein Ablaufdiagramm, das einen Prozess illustriert, der durch die
Bestimmungseinheit der optimalen Belichtung durchgeführt wird;
-
37a bis b sind Schaubilder, die ein erstes Beispiel
einer Messung des Dunklen Details zeigen;
-
38a bis b sind Schaubilder, die ein zweites Beispiel
einer Messung des Dunklen Details zeigen;
-
39 ist
ein Ablaufdiagramm, das die Messung des Himmelskontrasts im Detail
zeigt;
-
40a bis b sind Schaubilder, die ein Beispiel einer
Himmelskontrastmessung zeigen;
-
41 ist
ein Ablaufdiagramm, das die Details der Messung eines Kontrast-Peaks
zeigt;
-
42a bis b sind Schaubilder, die ein erstes Beispiel
einer Messung eines Kontrast-Peaks zeigen;
-
43a bis b sind Schaubilder, die ein zweites Beispiel
einer Messung eines Kontrast-Peaks zeigen;
-
44 ist
ein Ablaufdiagramm, das die Fluct-Messung im Detail zeigt;
-
45a bis d sind Schaubilder, die ein Beispiel einer
Fluct-Messung zeigen;
-
46 ist
ein Ablaufdiagramm, das einen Prozess zum Erhöhen der Belichtung zeigt;
-
47 ist
ein Ablaufdiagramm, das einen Prozess zum Vermindern der Belichtung
zeigt;
-
AUSFÜHRLICHE BESCHREIBUNG
-
Eine
Vorrichtung wird offenbart, die ein Bild analysiert. Die Vorrichtung
weist eine Schaltung auf, die ein Bild erhält, das eine Vielzahl Pixel
umfasst. Die Schaltung erzeugt ein Histogramm des Bilds und analysiert
das Histogramm, um eine annehmbare Belichtung des Bilds zu bestimmen.
Das Histogramm kann mehrere Intervallbereiche versus eine Pixelpopulation
aufweisen, die jedem Intervallbereich zugeordnet ist. Beispielsweise
können
die Intervallbereiche einer Lichtintensität zugeordnet sein. Die Bilder und
Histogramme können
Daten aufweisen, die durch eine Bit-Anzahl im geringen Dynamikbereich und/oder
eine Bit-Anzahl im erweiterten Dynamikbereich definiert sind. Bestimmte
Merkmale und Kriterien des Bilds können bestimmt und analysiert
werden, um zu bestimmen, ob das Bild eine annehmbare Belichtung
aufweist. Wenn das Bild nicht akzeptabel ist, kann eine Belichtungseigenschaft
verändert
werden, und der Prozess kann wiederholt werden, bis ein annehmbares
Bild erhalten wird.
-
Unter
Bezugnahme auf die Zeichnungen und insbesondere durch Bezugszeichen,
zeigt 1 eine Ausführungsform
einer Bildaufnahmevorrichtung 102. Die Ausführungsform
repräsentiert
eine digitale Standbildkamera, wobei es jedoch viele verschiedene
Ausführungsformen
geben kann, die das Bildgebungssystem zur Belichtungssteuerung eines
Bilds verwenden. Die Bildaufnahmevorrichtung 102 weist ein
Objektiv 104, eine Blende 106, einen Bildsensor 108,
einen A/D-Wandler 110, einen Prozessor 112, eine
Anzeige 114 und eine Speicherkarte 116 auf. Licht
von einer Szene tritt durch das Objektiv 104 ein, wobei
die Blende 106 die Lichtmenge steuert, die in den Bildsensor 108 eindringt.
Das Analogsignal, das aus dem Bildsensor 108 erhalten wird,
wird durch den A/D-Wandler 110 in ein digitales Signal
konvertiert. Das digitale Signal wird dann an den Prozessor 112 für verschiedene
Prozesse, wie beispielsweise Interpolation, gesendet. Vom Prozessor 112 wird
ein Belichtungssteuerungswert erzeugt, und dieser Wert ändert die
Einstellungen entweder der Blende 106 und/oder der Zeitintegrationsvorrichtung,
die innerhalb des Bildsensors 108 angeordnet ist. Das abschließende Bild,
das als zur Ausgabe geeignet erachtet wird, wird entweder auf der
Anzeige 114 angezeigt oder in der Speicherkarte 116 gespeichert.
Der Prozessor 112 führt
die Bildgebungsprozesse durch.
-
Die
Belichtung ist definiert als die Lichtmenge, die in die Bildaufnahmevorrichtung
102 eintritt. Sie
kann aus der Größe der Blende
106,
die als F-Zahl, z. B. F 4,5 angegeben wird, und der Verschlusszeit
der Bildaufnahmevorrichtung
102 berechnet werden, die als
Belichtungszeit, z. B. 1/125 s angegeben wird. Der Belichtungswert
kann unter Verwendung der folgenden Formel berechnet werden:
wobei EV der Belichtungswert
ist, N die F-Zahl ist und t die Belichtungszeit ist.
-
2 ist
ein Blockdiagramm einer Ausführungsform
eines Bildsystems 204 mit Eingaben und Ausgaben. Das Bildgebungssystem 204 kann
als ein Teil der elektronischen Vorrichtung, beispielsweise als
eine Verarbeitungseinheit in einer Digitalkamera oder ähnlichem,
wie beispielsweise der oben stehend beschriebenen, implementiert
werden. Eine Bildaufnahmevorrichtung kann eine digitale Standbildkamera
sein, ist aber nicht auf eine derartige Ausführungsform begrenzt. Sie kann
ein Scanner, ein digitaler Fotokiosk, ein Computer mit digitalen
Bildern oder jede Vorrichtung sein, die dem Bildgebungssystem 204 und
dem Speicher digitale Bilder bereitstellen kann, um das Bildgebungssystem
zu betreiben. Eine Bildbereitstellungseinheit 202 stellt
dem Bildgebungssystem 204 ein digitales Bild bereit. Eine
Bildbereitstellungseinheit kann eine Speicherkarte, eine Festplatte
mit digitalen Bildern oder jede Vorrichtung sein, die dem Bildgebungssystem 204 digitale
Bilder bereitstellen kann.
-
Das
Bildgebungssystem 204 weist eine Histogrammerzeugungseinheit 206,
eine Histogramm-Merkmaleextraktionseinheit 208, (oder kurz Merkmaleextraktionseinheit)
und eine Bestimmungseinheit der optimalen Belichtung 210 auf,
die ein optimal belichtetes Bild 212 bereitstellt. Die
Histogrammerzeugung seinheit 206 erzeugt Histogramme aus den
digitalen Bildern, die durch die Bildbereitstellungseinheit 202 bereitgestellt
werden. Die erzeugten Histogramme werden dann an die Merkmaleextraktionseinheit 208 gesendet,
wo verschiedene Merkmale des Histogramms gemessen und berechnet
werden. Diese Merkmale sind Eingaben an die Bestimmungseinheit der
optimalen Belichtung 210, wo die Angemessenheit der Belichtung
auf der Grundlage dieser Merkmale gemessen wird. Wie durch den Pfeil 214 gezeigt
arbeitet das Bildgebungssystem 204 in einem Schleifenbetrieb,
bei dem die Einheiten 206, 208 und 210 wiederholt
werden, bis ein Bild mit einer optimalen Belichtung 212 erhalten
wird. Die Bestimmungseinheit der optimalen Belichtung 210 berechnet
für jede
Schleifeniteration einen vorläufigen
Belichtungswert, Tx, und gibt diesen an die Histogrammerzeugungseinheit 206 aus.
-
3 zeigt
ein Beispiel eines Histogramms, das aus einem Bild erzeugt wurde.
Ein Bildhistogramm ist eine grafische Repräsentation der Anzahl Pixel
in einem Bild als eine Funktion der Intensität. Die Intensität eines
Pixels kann durch eine digitale Zahl ausgedrückt werden, die eine bestimmte
Farbe, Farbton, Helligkeit oder andere Dimensionen des in dem Bild
eingefangenen Lichts misst. Histogramme bestehen aus Vertices 302,
die Punkte auf dem Histogramm sind. Die x-Achse 304 besteht
aus Intervallbereichen, wobei jeder Intervallbereich einen bestimmten
Intensitätswertebereich
repräsentiert.
Das Histogramm wird durch Untersuchen aller Pixel und durch Zuordnen
jedes Pixels zu einem Intervallbereich in Abhängigkeit von der Pixelintensität berechnet.
Die y-Achse 306 repräsentiert
die Pixelpopulation des Bilds, die zu jeden Intervallbereich gehört. Beispielsweise
umfasst ein Histogramm des Rot-Kanals mit 256 Intervallbereichen
für ein
8-Bit-RGB-Bild mit Rot-Kanalwerten im Bereich von 0 bis 255 einen Intervallbereich
1, der Rot-Werte von 0; einen Intervallbereich 2 von 1 und so weiter,
während
ein Histogramm mit 16 Intervallbereichen einen Intervallbereich
1, der Rot-Kanalwerte von 0 bis 15; einen Intervallbereich 2 von
16 bis 31 und so weiter umfasst.
-
Der
Dynamikbereich eines Bilds bezieht sich auf das Verhältnis des
größten möglichen
Signalwerts geteilt durch den kleinsten Signalwert, der nicht null
ist. Beispielsweise ist in einem digitalen 8-Bit-RGB-Bild der größte Signalwert
255, und der kleinste Signalwert, der nicht null ist, ist 1. Der
Dynamikbereich eines 8-Bit-Bilds beträgt 255. Ein Bild mit geringem
Dynamikbereich (LDR-Bild) bezieht sich typischerweise auf ein 8-Bit-Bild
mit einem Dynamikbereich von 255, wohingegen sich ein Bild mit erweitertem
Dynamikbereich (EDR-Bild) auf ein Bild mit einem Dynamikbereich
größer als
255 bezieht.
-
Unter
Bezugnahme auf 2 erhält die Histogrammerzeugungseinheit 206 digitale
LDR-Bilder und gibt einen Satz LDR-Histogramme eines vorläufigen LDR-Bilds
aus. Es kann verschiedene Ausführungsformen
geben, bei denen dies durchgeführt werden
kann, und ein paar davon werden hier beschrieben. Die Merkmaleextraktionseinheit 208 erhält die LDR-Histogramme
und berechnet Parameter der Histogramme, die signifikante Merkmale
des vorläufigen
Bilds angeben können.
Das vorläufige
Bild kann durch das Bildgebungssystem 204 in Abhängigkeit
von der Ausführungsform
der Histogrammerzeugungseinheit 206 erzeugt werden oder
nicht. Die Bestimmungseinheit der optimalen Belichtung 210 innerhalb
des Bildgebungssystems 204 prüft auf adäquate Belichtung des vorläufigen Bilds
durch Untersuchen von Merkmalen, die sie von der Merkmaleextraktionseinheit 208 erhält. Wenn
festgestellt wird, dass die Belichtung für die Szene ungeeignet ist,
berechnet die Bestimmungseinheit der optimalen Belichtung 210 einen
neuen vorläufigen
Belichtungswert, Tx, für
das nächste
vorläufige
Bild und stellt der Histogrammerzeugungseinheit 206 den
Wert, Tx, bereit, um ein neues vorläufiges Bild mit der Belichtung, Tx,
zu erzeugen. Ein neues vorläufiges
Bild mit einer verschiedenen Belichtung wird verarbeitet, um ein neues
Histogramm zu erzeugen. Die Merkmale werden erneut extrahiert, und
es gibt eine Bestimmung der Angemessenheit der Belichtung. Dieser
Prozess wird wiederholt, bis ein vorläufiges Bild als geeignet belichtet
erachtet wird und als eine Ausgabe 212 bereitgestellt wird.
-
4 ist
ein Blockdiagramm einer Ausführungsform
der Histogrammerzeugungseinheit 206. Die Einheit erhält mehrere
LDR-Bilder bei verschiedenen Belichtungen 402, die durch
eine EDR-Bilderzeugungseinheit 404, eine Bilderzeugungseinheit 406 und
eine Histogrammberechnungseinheit 408 verarbeitet werden.
Die Histogrammerzeugungseinheit 206 stellt LDR-Histogramme 410 bereit.
Der Bilderzeugungseinheit 406 wird auch ein vorläufiger Belichtungswert,
Tx, 412 bereitgestellt.
-
5 ist
ein Ablaufdiagramm, das einen Prozess zum Erzeugen von Histogrammen
beschreibt. In Block 502 werden mehrere LDR-Bilder bei
verschiedenen Belichtungen unter Verwendung entweder eines Belichtungsreihenmodus
oder eines anderen Verfahrens zum Erhalten von Bildern der gleichen
Szene bei verschiedenen Belichtungen erhalten. In Block 504 wird
das EDR-Bild aus den LDR-Bildern erzeugt. Ein EDR-Bild reduziert
den Speicherbedarf zum Speichern vieler LDR-Bilder bei verschiedenen
Belichtungen. Dies liegt daran, dass ein LDR-Bild mit einer Belichtung
innerhalb eines vordefinierten Bereichs aus dem EDR-Bild extrahiert werden
kann, das einen Bereich aufweist, der von dem minimalen Belichtungswert,
Tmin, und von dem maximalen Belichtungswert, Tmax, der LDR-Bilder festgelegt
wird. In Block 506 wird dann ein einzelnes LDR-Bild mit
einer vorläufigen
Belichtung, Tx, aus dem EDR-Bild erzeugt. Tx liegt innerhalb des
vordefinierten Bereichs. In Block 508 werden LDR-Histogramme des Bilds
aus dem einzelnen LDR-Bild erzeugt.
-
6 zeigt
ein Beispiel eines EDR-Bilds, das aus drei LDR-Bildern bei verschiedenen
Belichtungen gebildet wurde. Drei LDR-Bilder bei ansteigenden Belichtungen
werden auf der linken Seite der 6 gezeigt,
die LDR 1 602 bei der niedrigsten Belichtung, T1, (am dunkelsten),
LDR 2 604 bei Belichtung, T2, und LDR 3 606 bei
der höchsten
Belichtung, T3, (am hellsten) umfassen. Zusammen werden die LDR-Bilder
verwendet, um ein EDR-Bild 608 zusammenzusetzen, das auf
der rechten Seite der 6 gezeigt wird. Jedes LDR-Bild
ist ein 8-Bit-RGB-Bild bei
diesem Beispiel; deshalb ist das erzeugte EDR-Bild ein 10-Bit-RGB-Bild. Es kann
eine verschiedene Anzahl LDR-Bilder verwendet werden, um ein EDR-Bild
zusammenzusetzen, solange die Anzahl größer als eins ist. Deshalb ist
die Beschreibung nicht so gemeint, das Verfahren zum Zusammensetzen
eines EDR-Bilds einzuschränken,
sondern als eine vereinfachte Erklärung, die helfen soll, die
Idee zu verstehen.
-
7 illustriert
einen Prozess zum Erzeugen eines EDR-Bilds
608 aus den
drei LDR-Bildern
602,
604 und
606. Die
hellste der drei Aufnahmen, LDR 3,
606 der Belichtung,
T3, stellt die erste Eingabe an das System bereit. Die LDR-Bilder können nichtlineare
Verzerrungen enthalten, die beim Bilderfassungsprozess erzeugt werden.
Ein Beispiel einer nichtlinearen Verzerrung tritt in der Bildaufnahmevorrichtung
auf, wobei die analoge Schaltung darin einen Verstärkungswert
aufweisen kann, der mit dem Signalpegel variiert. Ein zweites Beispiel
ist, dass der Abtastknoten der Bildaufnahmevorrichtung einen Kapazitätswert aufweist,
der mit dem Signalpegel variiert. Ein drittes Beispiel ist, wo LDR-Bilder
eine Gamma-Vorverzerrung erhalten, was gewöhnlich der Fall ist, wenn digitale
Bilder für
Computeranzeigen produziert werden. LDR 3
606 wird durch
eine Linearisierungseinheit
702 verarbeitet, die eine Linearisierungsfunktion
auf die Intensitätswerte
jedes Pixels anwendet, um die nichtlinearen Verzerrungen zu entfernen.
Die Linearisierungsfunktion transformiert nicht lineare Bilder in
lineare Bilder. Ein Beispiel einer Gamma-Funktion und einer entsprechenden
inversen Gamma-Funktion wird nachfolgend gezeigt. Die Gamma-Funktion:
Für ein 8-Bit-Bild
-
Die
inverse Gamma-Funktion: x = –255G log(1 – y255 (1 – e–G));Für ein 8-Bit-Bild.
-
Die
Intensitätswerte
des linearisierten LDR 3 werden dann durch die Abbildungseinheit 704 auf
einen niedrigeren Belichtungswert, T2, abgebildet. T2 ist der Belichtungswert
des dunkleren Bilds LDR 2 604. Dies wird durch Multiplizieren
mit dem Verhältnis von
T2 zu T3 (d. h. T2/T3) erreicht, da die Intensitätswerte des linearisierten
LDR 3 606 bereits durch die Linearisierungseinheit 702 linear
gemacht wurden. Das resultierende Bild wird durch eine Delinearisierungseinheit 706 verarbeitet.
Die Ausgabe der Einheit 706 wird mit den Intensitätswerten
von LDR 2 604 durch eine Kombinationseinheit 1 708 kombiniert.
-
Die
Kombination wird erreicht durch Ersetzen „hellerer Pixel” in der
Ausgabe der Delinearisierungseinheit 706 durch die Pixel
des LDR 2 604, um ein Ausgabebild zu bilden. Ein „hellerer
Pixel” in
der Ausgabe der Delinearisierungseinheit 706 ist ein Pixel,
bei dem mindestens ein Farbkanal einen Intensitätswert aufweist, der eine erste
vorbestimmte Schwelle, z. B. 127 für Intensitätswerte zwischen 0 und 255, überschreitet.
Die Kombinationseinheit 2 710 ersetzt die „trüberen” Pixel” des LDR
2 604 durch Pixel in der Ausgabe der Kombinationseinheit
1 708. Ein „trüberer Pixel” in LDR
2 604 ist ein Pixel, bei dem mindestens ein Farbkanal einen
Intensitätswert
unter einer zweiten vorbestimmten Schwelle aufweist, wobei die zweite
vorbestimmte Schwelle identisch mit der ersten vorbestimmten Schwelle
sein kann oder nicht. Der kombinierte Betrieb der Kombinationseinheit
1 708 und der Kombinationseinheit 2 710 ist äquivalent
zum Ersetzen eines „trüberen Pixels” in LDR
2 durch die Ausgabe der Delinearisierungseinheit 706, wenn
und nur wenn der Letztere kein „hellerer Pixel” ist.
-
Diese
Betriebsweise vermeidet eine nachfolgend beschriebene Bildartefakteart.
Wenn eine Szene eine Helligkeit aufweist, die sich allmählich monoton über den
Bildausschnitt verändert,
werden die Pixel des LDR 2 604 durch die Ausgabe der Delinearisierungseinheit 706 ersetzt,
bei der die Pixel trüber werden.
Aufgrund einiger Ungenauigkeit beim Linearisieren oder Delinearisieren
ist die Ausgabe aus der Delinearisierungseinheit 706 etwas
heller als sie sein sollte. In dem resultierenden Bild zeigt sich
ein Rand, bei dem die Helligkeit in der Szene über die Schwelle hinausgeht.
Die Kombinationseinheit 708 überprüft dies, um sicherzustellen,
dass die Ausgabepixel der Delinearisierungseinheit 706 nicht
heller sind; andernfalls werden die Pixel des LDR 2 behalten.
-
Das
Ausgabebild der Einheit 710 wird durch den gleichen Prozess
verarbeitet wie das oben stehende LDR 3 606, außer dass
es nun durch Abbildungseinheit 712 erneut auf einen noch
niedrigeren Belichtungswert, T1, abgebildet wird, wobei T1 der Belichtungswert
des dunkelsten Bilds LDR 1 602 ist. Das zweite Eingabebild
an die beiden Kombinationseinheiten 708 und 710 wird
zu LDR 1 602 geändert. Das
Ausgabebild an der zweiten Kombinationseinheit 2 710 wird
dann durch die Linearisierungseinheit 702 verarbeitet.
Das resultierende Bild wird durch eine Multiplikationseinheit 714 mit
einem Faktor N multipliziert. N ist das Verhältnis der maximalen Belichtung,
Tmax, zum minimalen Belichtungswert, Tmin, der mehreren LDR-Bilder
(d. h. Tmax/Tmin). Das Zehn-Bit-EDR-Bild 608 wird durch
Einheit 714 hergestellt.
-
Unter
Bezugnahme auf 4 wird ein vorläufiges LDR-Bild
mit einer vorläufigen
Belichtung durch Bilderzeugungseinheit 406 erzeugt, nachdem ein
EDR-Bild durch die EDR-Bilderzeugungseinheit 404 erzeugt
wurde. Der vorläufige
Belichtungswert des LDR-Bilds liegt zwischen den minimalen und maximalen
Belichtungswerten der mehreren LDR-Bilder 402, die verwendet
wurden, um das EDR-Bild zu erzeugen. Wie beispielsweise in 8 gezeigt,
werden drei LDR-Bilder 802, 804 und 806 aus
einem EDR-Bild 808 extrahiert. Diese drei Bilder weisen
Belichtungen mit Werten zwischen Tmin und Tmax auf, die der minimale
Belichtungswert bzw. der maximale Belichtungswert sind.
-
9 illustriert
wie ein LDR-Bild 806 aus einem EDR-Bild 808 erzeugt
wird. Zuerst werden die Intensitätswerte
des EDR-Bilds 808 durch die Multiplikationseinheit 714, ähnlich wie
in 7 gezeigt, verarbeitet. Die Intensitätswerte
des EDR-Bilds 808 werden bei 714 mit einem Faktor
1/A multipliziert, wobei A das Verhältnis der maximalen Belichtung
zu dem vorläufigen
Belichtungswert für
das LDR-Bild 3 806 ist. Das multiplizierte EDR-Bild wird
durch die Delinearisierungseinheit 706 und durch eine Klemmeinheit 902 verarbeitet,
welche die Intensitätswerte
des Bilds derartig klammert, dass das Bild ein LDR-Bild wird. Wenn
beispielsweise ein System ein LDR-Bild als ein 8-Bit-Bild definiert,
klammert das System die Intensitätswerte
des delinearisierten EDR-Bilds 806 auf einen maximalen
Wert von 255. Das LDR 3 806 ist die Ausgabe der Klemmeinheit 902.
-
Unter
Bezugnahme auf 4 erhält die Histogrammberechnungseinheit 408 das
vorläufige LDR-Bild,
das durch die Bilderzeugungseinheit 406 erzeugt wurde,
und berechnet vorläufige
LDR-Histogramme auf der Grundlage des vorläufigen LDR-Bilds und eines
vorläufigen
Belichtungswerts Tx. 10 zeigt die Berechnung von
vier LDR-Histogrammen 1004, 1006, 1008 und 1010 aus
einem LDR-Bild 1002 für
vier verschiedene Intensitätskanäle; namentlich
einen Rot-Kanal 1004,
einen Grün-Kanal 1006,
einen Blau-Kanal 1008 und einen Luminanzkanal 1010.
Andere Farbraumhistogramme, wie beispielsweise HSV-Histogramme oder
CMYK-Histogramme können
auch berechnet werden, werden jedoch nicht in den Zeichnungen gezeigt.
-
11 zeigt
eine andere Ausführungsform einer
Histogrammerzeugungseinheit 206. Die Histogrammerzeugungseinheit 206 erzeugt
EDR-Histogramme aus einem EDR-Bild und erzeugt dann weiter vorläufige Histogramme
aus den EDR-Histogrammen, statt ein vorläufiges LDR-Bild zu erzeugen.
Die Einheit 206 erzeugt dann einen Satz vorläufiger LDR-Histogramme
wie bei der vorhergehenden Ausführungsform. Ähnlich wie
bei der vorhergehenden Ausführungsform,
werden LDR-Bilder bei verschiedenen Belichtungen 402 verwendet,
um ein EDR-Bild in
der EDR-Bilderzeugungseinheit 404 zu erzeugen. Das EDR-Bild
wird dann verwendet, um durch eine EDR-Histogrammerzeugungseinheit 1102 entsprechende
EDR-Histogramme auf der Grundlage der Pixelintensitätswerte
des EDR-Bilds zu erzeugen. Dann werden in der Histogrammberechnungseinheit 1104 unter
Verwendung der vorläufigen
Belichtung, Tx, 412 LDR-Histogramme 410 aus den
EDR-Histogrammen berechnet.
-
Ein
Histogramm wird gewöhnlich
aus einem Bild mit einem bestimmten Belichtungswert erzeugt. Bei
dieser Ausführungsform
können
LDR-Histogramme unmittelbar aus einem EDR-Histogramm erzeugt werden,
ohne LDR-Bilder zu erzeugen. Ein LDR-Histogramm, das aus einem EDR-Histogramm
bei einem be stimmten Belichtungswert erzeugt wurde, entspricht dem
LDR-Histogramm, das aus einem LDR-Bild mit dem gleichen Belichtungswert
erzeugt wurde. Deshalb ist ein LDR-Histogramm mit einem spezifischen
Belichtungswert definiert als das gleiche LDR-Histogramm, das aus
einem Bild bei diesem spezifischen Belichtungswert erzeugt wird.
-
12 ist
ein Ablaufdiagramm für
einen Prozess zum Erzeugen eines LDR-Histogramms. In Block 1202 werden
zuerst mehrere LDR-Bilder bei verschiedenen Belichtungen erhalten.
Die LDR-Bilder werden verwendet, um in Block 1204 ein EDR-Bild
zu erzeugen. In Block 1206 werden dann EDR-Histogramme aus dem
EDR-Bild berechnet. Schließlich
wird eine vorläufige
Belichtung, Tx, verwendet, um in Block 1208 vorläufige LDR-Histogramme
aus den EDR-Histogrammen zu erzeugen.
-
13 ist
eine Darstellung, welche die Erzeugung von EDR-Histogrammen zeigt. Ein EDR-Histogramm
wird auf die gleiche Weise berechnet wie ein LDR-Histogramm aus
einem LDR-Bild berechnet wird. Die Pixelpopulation in dem EDR-Bild, die
zu jeden Intervallbereich gehört,
wird gezählt,
und dies wird der y-Wert des EDR-Histogramms für jeden Intervallbereich. Auf
der linken Seite der 13 wird ein Beispiel eines EDR-Bilds 1302 gezeigt.
Unter Verwendung der Pixelintensitätswerte des EDR-Bilds 1302 werden
vier EDR-Histogramme 1304, 1306, 1308 und 1310 erzeugt.
Die vier Histogramme entsprechend den vier Intensitätskanälen: Rot,
Grün, Blau
bzw. Luminanz (Helligkeit) werden auf der rechten Seite der 13 gezeigt.
-
14 zeigt
ein EDR-Histogramm 1402 und mehrere LDR-Histogramme 1404, 1406 und 1408. Für ein 10-Bit-EDR-Bild,
das aus 8-Bit-LDR-Bildern zusammengesetzt
wurde, weist das EDR-Histogramm 1402, das aus dem EDR-Bild
erzeugt wurde, Intervallbereichswerte auf, die sich von 0 bis 1023
erstrecken. Die LDR-Histogramme 1404, 1406 und 1408,
die aus dem EDR-Histogramm
extrahiert wurden, weisen Intervallbereichswerte von 0 bis 255 auf.
-
Eine
Extraktion von LDR-Histogrammen aus einem EDR-Histogramm ist ähnlich wie
LDR-Bilder aus einem EDR-Bild extrahiert werden.
-
15 zeigt
eine Ausführungsform
zum Extrahieren eines LDR-Histogramms 1404 aus
einem EDR-Histogramm 1402. Ähnlich wie 9 zeigt 15,
dass das EDR-Histogramm 1402 durch eine Multiplikationseinheit 714,
eine Delinearisierungseinheit 706 und eine Klemmeinheit 902 verarbeitet
wird, um das LDR-Histogramm 1 1404 zu erzeugen. Die Intervallbereichswerte
des EDR-Histogramms 1402 werden erst durch die Multiplikationseinheit 714 verarbeitet,
bei der Werte mit einem Faktor 1/A multipliziert werden, wobei A
das Verhältnis
der maximalen Belichtung zum Belichtungswert des LDR-Histogramms 1 1404 ist.
Danach wird das multiplizierte EDR-Histogramm dann durch die Delinearisierungseinheit 706 und
eine Klemmeinheit 902 verarbeitet, welche die Intervallbereichswerte
des resultierenden Histogramms auf einen maximalen Wert von 255 klammert.
-
Ähnlich der
Idee eines EDR-Bilds, das aus mehreren LDR-Bildern zusammengesetzt
wird, kann auch ein EDR-Histogramm aus mehreren LDR-Histogrammen zusammengesetzt
werden. Deshalb ist auch dieser Prozess reversibel, so dass LDR-Histogramme
aus einem EDR-Histogramm extrahiert werden können. Zwei verschiedene Intervallbereiche
eines EDR-Histogramms können
auf den gleichen Intervallbereich des LDR-Histogramms abgebildet
werden, wobei in diesem Fall die Populationen der beiden Intervallbereiche
des EDR-Histogramms addiert werden, um die Population des Intervallbereichs
des LDR-Histogramms zu produzieren. Im Allgemeinen werden Populationen
aller Intervallbereiche des EDR-Histogramms, die auf den gleichen
Intervallbereich des LDR-Histogramms abgebildet werden, zusammen
addiert, um eine Population für
den Letzteren zu produzieren.
-
16 stellt
eine Darstellung bereit, bei der vier verschiedene Belichtungswerte,
T1, T2, T3 und T4, verwendet werden, um LDR-Histogramm 1 1604, LDR-Histogramm
2 1606, LDR-Histogramm 3 1608 bzw. LDR-Histogramm
4 1610 aus einem EDR-Histogramm 1602 zu erzeugen.
Jedes LDR-Histogramm repräsentiert
das LDR-Histogramm, das aus der Pixelintensität eines LDR-Bilds bei dem gleichem
Belichtungswert berechnet wird.
-
Im
Vergleich zu der vorhergehenden Ausführungsform weist diese Ausführungsform
den Vorteil auf, dass weniger Speicherplatz eines Prozessors verwendet
wird und auch die Verarbeitungszeit reduziert wird. Dies liegt daran,
dass der Speicher, der zum Speichern eines Histogramms verwendet
wird, deutlich kleiner ist als der des entsprechenden Bilds. Weiterhin
benötigt
eine Berechnung eines Histogramms aus einem Bild auch deutlich mehr
Rechenschritte und Speicherplatz als eine Extraktion eines LDR-Histogramms
aus einem EDR-Histogramm.
Die Speicherkapazität
eines Prozessors ist ziemlich beschränkt, und die Verwendung von
weniger Speicherplatz ermöglicht,
dass der Platz für
andere Prozesse und Zwecke verwendet werden kann. Eine Reduktion
der Verarbeitungszeit ermöglicht
eine schnellere Reaktionsdauer zum Aufnehmen einer Szene bei ihrer
optimalen Belichtungsstufe. Deshalb weist diese Ausführungsform
den Vorteil der Recheneffizienz gegenüber den anderen Ausführungsformen
auf.
-
Eine
dritte Ausführungsform
erzeugt LDR-Histogramme durch Erzeugen einer Reihe LDR-Bilder bei
verschiedenen Belichtungen aus einem EDR-Bild, wie in dem Blockdiagramm
der 17 gezeigt. Bei dieser Ausführungsform wird ähnlich wie
bei den beiden vorhergehenden Ausführungsformen ein EDR-Bild erzeugt. Ein
erster Satz mehrerer LDR-Bilder bei verschiedenen Belichtungen 402 wird
für das
Zusammensetzen des EDR-Bilds durch die EDR-Bilderzeugungseinheit 404 benötigt. Ein
zweiter Satz mehrerer LDR-Bilder wird durch eine Erzeugungseinheit
für mehrere
Bilder 1702 und eine Berechnungseinheit für mehrere
Histogramme 1704 erzeugt, um LDR-Histogramme 410 aus
jedem Bild im zweiten Satz mehrerer LDR-Bilder zu bilden. Eine vorläufige Belichtung,
Tx, 412 wird durch eine Histogrammauswahleinheit 1706 verwendet,
um LDR-Histogramme 410 auszuwählen, die durch das System
bereitgestellt werden.
-
18 arbeitet
den Prozess dieser Ausführungsform
weiter aus. Wie bei den beiden vorhergehenden Ausführungsformen
diskutiert wurde, wird ein erster Satz mehrerer LDR-Bilder bei verschiedenen
Belichtungen in Block 1802 erhalten und wird in Block 1804 verwendet,
um ein EDR-Bild zu erzeugen. In Block 1806 wird dann ein
zweiter Satz mehrerer LDR-Bilder bei verschiedenen Belichtungen
aus dem EDR-Bild erzeugt. Die Belichtungen dieser erzeugten LDR-Bilder können die
gleichen sein wie die Belichtungen der LDR-Bilder, die in Block 1802 erhalten
wurden, oder nicht. Aus jedem Bild werden in Block 1808 LDR-Histogramme
entsprechend der Pixelintensitäten
der LDR-Bilder berechnet. In Block 1810 werden LDR-Histogramme
entsprechend einem bestimmten LDR-Bild bei einer bestimmten Belichtung,
Tx, aus den mehreren LDR-Histogrammen ausgewählt. Eine erneute Auswahl der
LDR-Histogramme kann durchgeführt
werden, wenn der Belichtungswert des Bilds entsprechend dieses Satzes durch
die Bestimmungseinheit der optimalen Belichtung 210 (siehe 2)
als ungeeignet erachtet wird.
-
19 zeigt
vier LDR-Bilder, LDR 1 1902, LDR 2 1904, LDR 3 1906 und
LDR 4 1908, mit jeweils verschiedenen Belichtungen, die
verwendet werden, um entsprechende Histogramme in Block 1806 der
in 18 gezeigten Ausführungsform zu erzeugen. Bei diesem
Beispiel wird für
jedes LDR-Bild eine Anzahl Histogramme aus verschiedenen Farbkanälen erzeugt.
Der Einfachheit halber werden hier aus den verschiedenen verfügbaren Kanälen nur
die Histogramme aus dem Rot-Kanal gezeigt. Gezeigt werden Rot 1 1910,
Rot 2 1912, Rot 3 1914 bzw. Rot 4 1916, die
zu LDR 1 1902, LDR 2 1904, LDR 3 1906 und LDR
4 1908 gehören.
-
20 zeigt
eine andere Ausführungsform, die
der in 17 gezeigten Ausführungsform ähnlich ist.
LDR-Bilder bei verschiedenen Belichtungen werden in Block 2002 erhalten,
die dann verwendet werden, um in Block 2004 das EDR-Bild zu erzeugen. Mehrere
LDR-Bilder bei verschiedenen Belichtungen werden dann in Block 2006 erzeugt.
Die Belichtungswerte der LDR-Bilder können die gleichen sein wie die
Belichtungswerte der LDR-Bilder, die in Block 2002 erhal ten
wurden, oder nicht. Statt Histogramme für alle erzeugten Bilder zu
erstellen, wie bei der dritten Ausführungsform des Prozesses beschrieben, wird
in Block 2008 ein LDR-Bild aus den mehreren LDR-Bildern
ausgewählt.
In Block 2010 werden dann LDR-Histogramme dieses Bilds
berechnet. Eine erneute Auswahl des LDR-Bilds kann durchgeführt werden,
wenn das Bild durch die Bestimmungseinheit der optimalen Belichtung 210 (siehe 2)
als eins mit ungeeignetem Belichtungswert erachtet wird.
-
21 zeigt
eine andere Ausführungsform, die
eine leichte Variation der zweiten Ausführungsform des Prozesses ist.
In Block 2102 werden LDR-Bilder mit variierenden Belichtungen
erhalten und verwendet, um in Block 2104 ein EDR-Bild zu
erzeugen. In Block 2106 werden dann EDR-Histogramme unter
Verwendung der Pixelintensität
des EDR-Bilds berechnet. In Block 2108 werden dann mehrere
LDR-Histogramme, die verschiedenen Belichtungswerten entsprechen,
aus dem EDR-Histogramm erzeugt. In Block 2110 werden dann
LDR-Histogramme
eines vorläufigen
Belichtungswerts ausgewählt.
LDR-Histogramme,
die einem verschiedenen Belichtungswert entsprechen, können dann
erneut ausgewählt
werden, wenn das Bild, das dem vorläufigen Belichtungswert entspricht,
durch die Bestimmungseinheit der optimalen Belichtung 210 (siehe 2)
als eins mit ungeeignetem Belichtungswert erachtet wird. Ein LDR-Histogramm mit einem
spezifischen Belichtungswert ist definiert als das gleiche LDR-Histogramm,
das aus einem Bild bei diesem spezifischen Belichtungswert erzeugt
wird.
-
22 zeigt
eine andere Ausführungsform. Bei
dieser Ausführungsform
wird anders als bei den vorhergehenden Ausführungsformen kein EDR-Bild benötigt. In
Block 2202 werden mehrere LDR-Bilder bei verschiedenen
Belichtungen erhalten. Statt sie zu verwenden, um ein EDR-Bild zusammenzusetzen, werden
in Block 2204 aus jedem von ihnen LDR-Histogramme berechnet.
Aus diesen mehreren LDR-Histogrammen wird dann in Block 2206 ein EDR-Histogramm
erzeugt. Die Erzeugung eines EDR-Histogramms aus mehreren LDR-Histogrammen ist ähnlich wie
die Erzeugung eines EDR-Bilds aus einer Reihe LDR-Bilder, wie zuvor
in 6, 7 und 8 beschrieben.
LDR-Histogramme eines vorläufigen
Belichtungswerts, Tx, können
aus dem EDR-Histogramm in Block 2210 erzeugt werden. Tx
muss in einem vorbestimmten Bereich liegen: der minimalen Belichtung
bis zum maximalen Belichtungswert der mehreren LDR-Bilder. Ein neuer Tx-Belichtungswert
kann verwendet werden, wenn das Bild der Szene bei dem aktuellen
Belichtungswert durch die Bestimmungseinheit der optimalen Belichtung 210 (siehe 2)
als eins bei einem ungeeigneten Belichtungswert erachtet wird. Ein LDR-Histogramm
bei einem spezifischen Belichtungswert ist definiert als das gleiche
LDR-Histogramm, das aus einem Bild bei diesem spezifischen Belichtungswert
erzeugt wird.
-
23 zeigt
eine andere Ausführungsform, bei
der ein LDR-Bild in Block 2302 aus der Bildaufnahmevorrichtung 202 (siehe 2)
erhalten wird. Nachfolgend werden in Block 2304 aus diesem
Bild LDR-Histogramme erzeugt. Wenn die Bestimmungseinheit der optimalen
Belichtung 210 (siehe 2) feststellt,
dass das Bild eine ungeeignete Belichtung aufweist, dann kann ein
anderes Bild aus der Bildaufnahmevorrichtung 202 genommen
werden, und die Schritte werden wiederholt.
-
Die
Histogrammerzeugungseinheit 206 in dem Bildgebungssystem 204 und
ihre verschiedenen Ausführungsformen
wurden beschrieben. Die Histogramme-Merkmaleextraktionseinheit 208 oder
kurz die Merkmaleextraktionseinheit 208 wird nachfolgend
beschrieben.
-
Eine
typische Außenaufnahme
bei Tageslicht umfasst gewöhnlich
einen Teil des Himmels, ein vorherrschendes Subjekt, das der primäre Blickpunkt des
Bilds ist, und ein helles Objekt, das adäquat belichtet werden muss.
Das Subjekt kann in Abhängigkeit
von seiner Umgebung im Glanzlicht sein oder nicht. Die Gegenwart
eines Teils des Himmels in dem Bild kann bewirken, dass die automatische
Belichtung eines Bildgebungssystems das Bild unterbelichtet, was
bewirkt, dass das Subjekt zu dunkel ist. Wenn deshalb das Subjekt
im Blickpunkt des Bilds ist, dann ist es nötig, das Bild auch in der Gegenwart des
Himmels adäquat
zu belichten. Wenn andererseits ein helles Objekt im Bild vorhanden
ist, kann Fokussieren allein auf das vorherrschende Subjekt, das nicht
im Glanzlicht ist, die Belichtung soweit erhöhen, dass das helle Objekt
ausgewaschen ist. Deshalb ist es nötig, eine Balance zu erreichen,
um eine Belichtung sowohl für
das vorherrschende Subjekt als auch für das helle Objekt auch bei
Gegenwart des Himmels im Bild zu erzielen.
-
Um
ein adäquat
belichtetes Bild zu erzielen, weist das Bildgebungssystem 204 eine
in 2 gezeigte Merkmaleextraktionseinheit 208 auf.
Die Merkmaleextraktionseinheit identifiziert die drei Merkmale,
die für
ein optimal belichtetes Bild wesentlich sind: die Gegenwart des
Himmels, ein vorherrschendes Subjekt und ein helles Objekt. Diese
Merkmale werden als Himmel-Peak, Signifikanz-Peak bzw. Rechts-Peak bezeichnet.
-
Wie
in 24 gezeigt, kann die Merkmaleextraktionseinheit 208 eine
Himmel-Peak-Detektoreinheit 2404, eine Signifikanz-Peak-Detektoreinheit 2406 bzw.
eine Rechts-Peak-Detektoreinheit 2408 umfassen. Die verschiedenen
Detektoreinheiten untersuchen die Histogramme des Bilds und extrahieren
spezifische Merkmale.
-
Diese
Schlüsselmerkmale,
Himmel-Peak, Signifikanz-Peak und Rechts-Peak stellen einen Führer für die Inhalte der Histogramme
bereit, wann ein Bild eine optimale Belichtung aufweist. Diese drei Merkmale
sind als ein Führer
gedacht und sind ihrer Natur nach nicht beschränkend. Was einen Peak in einem
Histogramm ausmacht, wird nachfolgend diskutiert, um diese Merkmale
und was sie in einem Bild repräsentieren
zu verstehen.
-
Peaks
können
als eine Gruppe aufeinanderfolgender Vertices in einem Histogramm
definiert werden, die nur ein lokales Maximum aufweisen. Drei verschiedene
Peak-Typen, die in Histogrammen zu finden sind, werden in 25a bis c gezeigt. Der erste Peak-Typ, Peak 1 2502,
wird in 25a gezeigt. 25a zeigt einen Abschnitt des Histogramms, bei dem
ein Vertex des Abschnitts auf beiden Seiten von einem Vertex mit
einem niedrigeren y-Wert flankiert wird. Der höchste Punkt des Peaks wird
als der Gipfel 2410 bezeichnet, während der niedrigste Punkt
links vom Peak als der linke Ausläufer des Peaks 2508 und
rechts davon als der rechte Ausläufer
des Peaks 2512 bezeichnet wird. 25b zeigt
einen zweiten Peak-Typ, der nur am ganz rechten Ende des Histogramms
zu finden ist. Peak 2 2504 weist einen Gipfel 2510 beim
letzten Intervallbereich auf. Peak 2504 weist keinen rechten
Ausläufer
auf, nur einen linken Ausläufer 2508,
der den niedrigsten Punkt des Peaks bezeichnet. Schließlich wird
Peak 3 2506 in 25c gezeigt
und ist nur am ganz linken Ende der Histogramme zu finden. Der Gipfel 2510 des
Peaks 3 liegt beim ersten Intervallbereich des Histogramms. Peak 2510 weist
keinen linken Ausläufer
auf, weist jedoch einen rechten Ausläufer 2512 auf, der
den niedrigsten Punkt des Peaks bezeichnet. Die linken und rechten
Ausläufer
eines Peaks müssen
stets kleiner als der Gipfel sein. Die Vertices unmittelbar links
und rechts von den Ausläufern
müssen
höher als
der Ausläufer
selbst sein. Die Vertices unmittelbar links und rechts vom Gipfel
müssen
niedriger als der Gipfel selbst sein. Ein in der Beschreibung üblich verwendeter
Begriff ist der am weitesten rechts liegende Peak in einem Histogramm.
Er bezieht sich tatsächlich
auf den Peak mit dem innerhalb des Histogramms am weitesten rechts
liegenden Gipfel.
-
Unter
Bezugnahme auf 24 erhält die Merkmaleextraktionseinheit 208 Histogramme 2402 und
extrahiert Merkmale aus den Histogrammen. Die drei Hauptdetektoren 2404, 2406 und 2408 detektieren
und messen die Schlüsselmerkmale 2410 der Histogramme
und diese Merkmale werden in der Bestimmungseinheit der optimalen
Belichtung 210 verwendet, indem die Intervallbereichswerte
des Gipfels der Merkmale mit vorbestimmte Schwellen verglichen werden.
-
In
Außenaufnahmen
bei Tageslicht, bewirkt die Gegenwart des Himmels in Bildteilen
typischerweise, dass die automatische Belichtung einer typischen
Bildvorrichtung den Rest des Bilds dunkel macht. Die offenbarte
Belichtungssteuerung mindert den Einfluss des Himmelsbereichs auf
die Belichtungssteue rung. Das offenbarte Verfahren identifiziert
zuerst den Himmelsbereich, und danach eliminiert es bei den Berechnungen
für die
Belichtungssteuerung die Intervallbereiche des Histogramms, die
Pixeln im Himmelsbereich zugeordnet sind, oder weist ihnen einen
niedrigen Gewichtungsfaktor zu.
-
Der
Himmelsbereich eines Bilds bei Tageslicht ist gewöhnlich hell.
Ein erstes Merkmal des Himmelsbereichs ist, dass er typischerweise
aus den helleren Pixeln innerhalb des Bilds besteht. Ein zweites Merkmal
des Himmelsbereichs ist, dass er gewöhnlich von blauen oder grünen Farbtönen dominiert wird.
Wenn er durch den RGB-Farbraum repräsentiert wird, wird der Himmelsbereich
gewöhnlich
vom G-Wert und/oder vom B-Wert des RGB dominiert. Im HSV-Farbraum
zeigt sich ein Peak nahe des blauen Bereichs des Farbtonkanals,
z. B. bei ungefähr
240 Grad mit einem entsprechend hohen V-Wert (Helligkeit). Im YCrCb-Farbraum wird helles
Blau durch einen hohen positiven Cb-Wert repräsentiert. Eine derartige Detektion
ist nicht auf den Farbraum begrenzt, aber bei dieser Ausführungsform
wird der RGB-Farbraum verwendet. Dieses Merkmalepaar bedeutet Peaks
rechts außen
in den Grün-
und Blau-Histogrammen. Eine derartige Beobachtung bekommt einen
Namen, Himmel-Peak, und wie dies zu bestimmen ist, wird nachfolgend
ausführlich
beschrieben.
-
Die
erste Komponente der Merkmaleextraktionseinheit 208 ist
die Himmel-Peak-Detektoreinheit 2404. 26 zeigt
eine Ausführungsform
des Prozesses der Himmel-Peak-Detektoreinheit 2404. Die Himmel-Peak-Detektoreinheit
findet anfänglich
in Block 2602 die am weitesten rechts liegenden Peaks in
einem Satz der drei Kanalhistogramme (Rot, Grün und Blau). Der am weitesten
rechts liegende Peak des Blau-Histogramms wird dann in Entscheidungsblock 2604 mit
dem Grün-Histogramm
verglichen, um zu prüfen,
ob die beiden Peaks einander ähnlich
sind. Ein Peak wird als ausreichend ähnlich zu einem anderen bezeichnet,
wenn zwei seiner drei Punkte: linker Ausläufer, Gipfel oder rechter Ausläufer, maximal 1
Intervallbereich auseinander liegen. Zusätzlich muss die Population
in den ähnlichen
Punkten innerhalb eines Toleranzbereichs ausreichend nahe beieinander
liegen. Wenn beispielsweise der linke Ausläufer des Peaks A bei Intervall bereich
3 ist, der Gipfel bei Intervallbereich 5 ist und der rechte Ausläufer bei
Intervallbereich 8 ist und der linke Ausläufer des Peaks B bei Intervallbereich
2 ist, der Gipfel bei Intervallbereich 4 ist und der rechte Ausläufer bei
Intervallbereich 6 ist, werden dann die Population bei dem linken
Ausläufer
und beim Gipfel geprüft,
um zu sehen, ob sie innerhalb eines tolerierbaren Bereichs, wie
beispielsweise 10%, auseinander liegen. Wenn dies der Fall ist,
wird dann Peak A als ähnlich
zu Peak B angesehen. Wenn ermittelt wird, dass der am weitesten
rechts liegende Blau-Peak ähnlich
dem am weitesten rechts liegenden Grün-Peak ist, wird in Block 2614 daraus
gefolgert, dass im Bild ein Himmel existiert mit seinem entsprechenden
Himmel-Peak in den Histogrammen.
-
Wenn
ermittelt wird, dass der am weitesten rechts liegende Blau-Peak
dem am weitesten rechts liegenden Grün-Peak nicht ähnlich ist,
wird dann in Entscheidungsblock 2606 der am weitesten rechts liegende
Peak im Rot-Histogramm mit dem am weitesten rechts liegenden Peak
im Blau-Histogramm auf Ähnlichkeiten
geprüft.
Wenn gefunden wird, dass der am weitesten rechts liegende Rot-Peak
dem im Blau-Histogramm ähnlich
ist, wird dann in Entscheidungsblock 2608 der Gipfel des
am weitesten rechts liegenden Blau-Peaks mit dem Rot-Peak verglichen, um
zu bestimmen, ob der Blau-Peak höher
ist. Wenn der Blau-Peak tatsächlich
höher ist,
existiert ein Himmel-Peak. Wenn jedoch entweder der am weitesten rechts
liegende Rot-Peak dem Blau-Peak nicht ähnlich ist oder wenn sie ähnlich sind,
aber der Blau-Gipfel nicht höher
ist als der Rot-Gipfel, dann muss ein anderer Vergleich ausgeführt werden.
-
Der
dritte Vergleich prüft
in Entscheidungsblock 2610, ob der Gipfel des am weitesten
rechts liegenden Peaks des Blau-Histogramms höher ist als beide Gipfel des
am weitesten rechts liegenden Rot-Peaks und des am weitesten rechts
liegenden Grün-Peaks.
Wenn der blaue Gipfel höher
ist, existiert ein Himmel-Peak.
Andernfalls muss ein vierter Vergleich ausgeführt werden. Die Himmel-Peak-Detektoreinheit
prüft in
Entscheidungsblock 2612, um zu bestimmen, ob der letzte
Vertex des Blau-Histogramms höher
ist als die letzten Vertices der Rot- und Grün-Histogramme. Wenn die letzten
Rot- und Grün-Vertices
niedriger sind als der letzte Blau-Vertex, dann existiert ein Himmel-Peak.
Wenn jedoch alle Kriterien versagen, wird daraus in Block 2616 gefolgert,
dass es keine Himmel-Peaks in den Histogrammen und folglich keinen
Himmel im Bild gibt.
-
27a bis b, 28a bis
b, 29a bis c und 30a bis
c illustrieren Kriterien, die verwendet werden, um zu bestimmen,
ob ein Himmel-Peak existiert. In 27a und 27b wird das erste Kriterium des Vergleichs des
am weitesten rechts liegenden Blau- und Grün-Peaks in Entscheidungsblock 2604 des
in 26 gezeigten Prozesses illustriert. 27a zeigt ein Grün-Histogramm 2702 eines
bestimmten Bilds, während 27b ein Blau-Histogramm 2706 des gleichen
Bilds zeigt. Die am weitesten rechts liegenden Grün- und Blau-Peaks
sind unter Verwendung eines unterbrochenen Kreises hervorgehoben,
wie in 27a als 2704 bzw. in 27b als 2708 gezeigt. Die am weitesten
rechts liegenden Peaks in den beiden Histogrammen sind relativ ähnlich,
wie in 27a und 27b gezeigt, was
die Gegenwart eines Himmel-Peaks repräsentiert.
-
28a und 28b zeigen
ein Rot-Histogramm 2802 bzw. ein Blau-Histogramm 2808 eines bestimmten
Bilds. Der am weitesten rechts liegende Peak des Rot-Histogramms 2804 in 28a wird mit dem am weitesten rechts liegenden
Blau-Peak 2810 in 28b verglichen,
und es wird geprüft,
um zu bestimmen, ob sie sich ähnlich
sind. Aus der Untersuchung ist offensichtlich, dass beide Peaks
nicht ähnlich
sind und der Blau-Gipfel 2812 viel höher als der Rot-Gipfel 2806 der
am weitesten rechts liegenden Peaks in den beiden Histogrammen ist,
was das Vorhandensein eines Himmel-Peaks nahelegt.
-
29a, 29b und 29c zeigen Histogramme, die in Entscheidungsblock 2610 im
Ablaufdiagramm der 26 verwendet werden. 29a zeigt ein Rot-Histogramm 2902 mit
einem am weitesten rechts liegenden Gipfel 2904, 29b zeigt ein Grün-Histogramm 2906 mit
einem am weitesten rechts liegenden Gipfel 2908, und 29c zeigt ein Blau-Histogramm 2910 mit
einem am weitesten rechts liegenden Gipfel 2912. Aus der
visuellen Untersuchung ist offensichtlich, dass der Blau-Gipfel 2912 der
höchste
ist, was die Gegenwart eines Himmel-Peaks nahelegt.
-
30a bis c zeigen die Histogramme, die in Entscheidungsblock 2612 des
Ablaufdiagramms in 26 verwendet werden. 30a, 30b und 30c zeigen ein Rot-Histogramm 3002 mit
einem letzten Vertex 3004, ein Grün-Histogramm 3006 mit einem letzten
Vertex 3008 bzw. ein Blau-Histogramm 3010 mit
einem letzten Vertex 3012. Wie ersichtlich ist, ist der
letzte Blau-Vertex 3012 höher als sowohl der letzte Rot-Vertex 3004 als
auch der letzte Grün-Vertex 3008.
Deshalb existiert ein Himmel-Peak.
-
Die
Merkmaleextraktionseinheit 208 extrahiert ein Merkmal,
das als Signifikanz-Peak bekannt ist. Ein Signifikanz-Peak repräsentiert
ein vorherrschendes Subjekt innerhalb eines Bilds. Damit ein Bild
visuell ansprechend wird, darf dieses Detail nicht zu hell oder
zu dunkel sein. Dieses Merkmal kann verwendet werden, um zu bestimmen,
ob das Bild eine geeignete Belichtung aufweist. 31 zeigt
einen Prozess zum Detektieren eines Signifikanz-Peaks. Die höchsten Peaks
der Histogramme aller vier Kanäle
werden zuerst in den Blöcken 3102, 3104, 3106 und 3108 gefunden.
Diese Peaks müssen
nicht dem Himmel-Peak entsprechen und sind als Nicht-Himmel-Peaks
bekannt. Aus diesen vier höchsten
Nicht-Himmel-Peaks aus jedem der Histogramme wird in Block 3110 der
Peak mit dem Gipfel am weitesten rechts als ein Signifikanz-Peak 3112 ausgewählt.
-
32 stellt
ein grafisches Beispiel der Detektion des Signifikanz-Peaks bereit.
Ein Rot-Histogramm 3202 mit seinem höchsten Nicht-Himmel-Peak 3204,
ein Grün-Histogramm 3206 mit
seinem höchsten
Nicht-Himmel-Peak 3208, ein Blau-Histogramm 3210 mit
seinem höchsten Nicht-Himmel-Peak 3212 und
das Luminanz-Histogramm 3214 mit seinem höchsten Nicht-Himmel-Peak 3216 werden
gezeigt. Aus der visuellen Untersuchung ist offensichtlich, dass
der Rot-Gipfel beim
letzten Intervallbereich ist und der am weitesten rechts liegende
Gipfel ist, und der Rot-Peak 3204 wird folglich als ein
Signifikanz-Peak markiert. Wenn beispielsweise ein Bild unterbelichtet
ist, ist das Subjekt im Bildpunkt ge wöhnlich dunkel; folglich kann sich
der Intervallbereichswert des Gipfels eines Signifikanz-Peaks, der
aus einem derartigen Bild berechnet wird, in den dunkleren Intervallbereichen
befinden.
-
Das
letzte Merkmal, das durch die Merkmaleextraktionseinheit 208 extrahiert
werden soll, ist der Rechts-Peak. Dies kann eine Ausführungsform
für den
Signifikanz-Peak sein oder eine sein, die eigens dafür verwendet
wird. Der Rechts-Peak repräsentiert ein
helles Objekt in dem Bild. Ein Bild mit optimaler Belichtung muss
dieses Detail weder zu hell noch zu dunkel aufweisen. 33 zeigt
wie die Rechts-Peak-Detektoreinheit einen Rechts-Peak in den Histogrammen
misst und detektiert. Der am weitesten rechts liegende Peak, der
nicht dem Himmel-Peak entspricht, wird in jedem der vier Histogramme
in den Blöcken 3302, 3304, 3306 und 3308 detektiert.
Wenn alle vier am weitesten rechts liegende Nicht-Himmel-Peaks gefunden
sind, wird in Block 3310 der Peak mit dem höchsten Gipfel
bestimmt und in Block 3312 als ein Rechts-Peak markiert.
-
34 ist
eine grafische Repräsentation
des in 33 gezeigten Prozesses. Ein
Rot-Histogramm 3402, ein Grün-Histogramm 3406,
ein Blau-Histogramm 3410 und
ein Luminanz-Histogramm 3414 des gleichen Bilds werden
analysiert, wie auf der linken Seite der 34 gezeigt.
Die am weitesten rechts liegenden Peaks in jedem Histogramm, die nicht
dem Himmel-Peak entsprechen, werden als 3404, 3408, 3412 und 3416 in
dem Rot-, Grün-,
Blau- bzw. Luminanz-Histogramm gezeigt. Der Blau-Gipfel des Peaks 3412 ist
der höchste
und wird als der Rechts-Peak markiert, wie auf der rechten Seite
der 34 gezeigt. Wenn beispielsweise ein Bild unterbelichtet
ist, ist das Subjekt im Bildpunkt gewöhnlich dunkel; deshalb kann
sich der Intervallbereichswert des Gipfels eines Rechts-Peaks, der
aus einem derartigen Bild berechnet wird, in den dunkleren Intervallbereichen
befinden.
-
Ein
visuell ansprechendes Bild darf weder zu dunkel noch zu hell sein.
Auch müssen
Objekte in dem Bild einen ausreichenden Kontrast aufweisen. Wenn
ein Objekt ausgewaschen oder zu dunkel ist, gibt es kaum einen Unter schied
zwischen dem Objekt und seinem hellsten und seinem dunkelsten Punkt.
Weiterhin gehen Details in dem Bild verloren, wenn eine suboptimale
Belichtung auf das Bild angewandt wird.
-
Um
ein wünschenswertes
Bild zu erhalten, können
vier Kriterien verwendet werden, um zu bestimmen, ob ein Bild eine
optimale Belichtung aufweist. Erstens darf der dunkle Bereich in
dem Bild keinen großen
Prozentsatz des gesamten Bilds einnehmen. Zweitens muss ein ausreichender
Kontrast zwischen dem Himmel und dem Rest des Bilds vorhanden sein,
wenn das Bild einen Teil des Himmels enthält. Drittens muss das hellste
Subjekt oder ein signifikantes Detail in dem Bild, das kein Teil
des Himmels ist, einen ausreichenden Kontrast zwischen seinem hellsten
Punkt und dem Rest des Objekts aufweisen. Viertens dürfen die
Details der Objekte in dem Bild nicht ausgewaschen oder zu dunkel
sein.
-
Das
Bild kann durch drei Pixeltypen definiert sein: dunkle Pixel, mittlere
Pixel und helle Pixel. Beispielsweise weisen in einem 8-Bit-RGB-Bild
dunkle Pixel wahrscheinlich RGB-Werte unter 50, helle Pixel weisen
mindestens einen der RGB-Werte über
200 auf, und die mittleren Pixel sind Pixel mit RGB-Werten, die
dazwischen liegen. Die mittleren Pixel können einige Pixel überlappen,
die zu dem dunklen Pixelbereich und dem hellen Pixelbereich gehören. Bei dieser
Ausführungsform
sind die drei Bereiche nicht völlig
exklusiv und überlappen
sich. In einem optimal belichteten Bild besteht der Himmel überwiegend
aus hellen Pixeln, während
die meisten Objekte hauptsächlich
aus mittleren Pixeln bestehen, wobei sich ein kleiner Bildteil aus
dunklen Pixeln zusammensetzt.
-
35 zeigt
eine Ausführungsform
für eine Bestimmungseinheit
der optimalen Belichtung 210. Sowohl Histogramme 2402 eines
Bilds, die durch die Histogrammerzeugungseinheit 206 oder
ein anderes Mittel erzeugt wurden, als auch Merkmale, die durch die
Merkmaleextraktionseinheit 208 oder ein anderes Mittel
aus den Histogrammen 2410 extrahiert wurden, werden bereitgestellt,
um zu bestimmen, ob das Bild eine adäquate Belichtung aufweist.
-
Die
Bestimmungseinheit der optimalen Belichtung 210 umfasst
eine Bestimmungseinheit für dunkle
Details 3502, eine Bestimmungseinheit für den Himmelskontrast 3504,
eine Bestimmungseinheit für
den Peak-Kontrast 3506 und eine Bestimmungseinheit für mehrere
Details, die als eine Fluct-Bestimmungseinheit 3508 bezeichnet
wird, welche die vier oben stehend beschriebenen Kriterien misst.
Alle vier Messungen bestimmen, ob ein Bild eine geeignete Belichtung
aufweist, und produzieren ein derartiges Bild 212.
-
Die
Kriterien werden als Dunkles Detail, Himmelskontrast, Peak-Kontrast
und Fluct bezeichnet. Die Kriterien werden zunächst jeweils für die Histogramme
aller vier Kanäle
bestimmt und dann mit einem vorbestimmten Schwellenwert für eine optimale Belichtungsbestimmung
verglichen. Folgende Messungen werden zum Bestimmen der optimalen
Belichtung verwendet:
- (a) Dunkles Detail: Ermitteln
des Verhältnisses zwischen
den dunklen und den dunklen plus den mittleren Pixeln zusammen.
- (b) Himmelskontrast: Untersuchen des Kontrasts zwischen dem
dunklen Teil des Himmels und seiner dominanten Helligkeit, wenn
ein Himmel existiert.
- (c) Peak-Kontrast: Ermitteln des Kontrasts zwischen den hellen
Teilen des signifikanten Details und seiner dominanten Helligkeit
in dem Bild.
- (d) Fluct: Ermitteln der Gegenwart zahlreicher Details in dem
Bild.
-
Dunkles
Detail misst das Verhältnis
zwischen den dunklen Pixeln und den dunklen plus die mittleren Pixel
eines Bilds zusammen. Dieses Verhältnis wird verwendet, um zu
bestimmen, ob das Bild einen geeigneten Kontrast aufweist. Beispielsweise
kann es zwei Wege geben, das Dunkle Detail zu finden, und die Auswahl
des verwendeten Verfahrens hängt
von dem Vorhandensein des Himmel-Peaks in den Histogrammen ab. 36 zeigt
ein Beispiel eines Histogramms mit 8 Intervallbereichen, das durch
eine Bestimmungseinheit für
dunkle Details 3502 verarbeitet wird. In Block 3602 wird
eine erste Summe ermittelt, welche die Population der ersten beiden
Vertices eines Histogramms berechnet. Dies macht die dunklen Pixel
aus. Das Histogramm wird in Entscheidungsblock 3604 geprüft, um die
Gegenwart des Himmel-Peaks zu bestimmen. Wenn kein Himmel-Peak vorhanden
ist, wird das Histogramm mit 8 Intervallbereichen dann in drei Teile aufgeteilt.
Die ersten beiden Vertices werden als die dunklen Pixel klassifiziert,
während
die letzten 2 Intervallbereiche die hellen Pixel sind. Die mittleren
Pixel sind die zweiten und siebten Intervallbereiche. Es gibt Überlappungen
in den Intervallbereichen zwischen den mittleren Pixeln und den
dunklen Pixeln sowie zwischen den mittleren Pixeln und den hellen Pixeln.
Es können
auch andere Ausführungsformen verwendet
werden, bei denen sich die drei Teile nicht überlappen. Die mittleren Pixel
liegen zwischen dem dritten und sechsten Intervallbereich. Wenn
ein Himmel-Peak vorhanden ist, wird angenommen, dass die hellen
Pixel in den Intervallbereichen enthalten sind, die den Himmel-Peak
repräsentieren,
während
weiterhin angenommen wird, dass die ersten beiden Vertices die dunklen
Pixel sind. Mittlere Pixel sind in dem Intervallbereich zwischen
den dunklen und hellen Pixeln enthalten. Bei dieser Ausführungsform
sind die mittleren Pixel in dem Intervallbereich zwischen den dunklen
und den hellen Pixeln enthalten, was auch den letzten Intervallbereich
der dunklen Pixel und den ersten Intervallbereich des Himmel-Peaks
umfasst. Es können
auch andere Ausführungsformen verwendet
werden, bei denen die mittleren Pixel den Himmel-Peak nicht überlappen.
-
Um
das erste Kriterium, Dunkles Detail 3612, zu finden, wird
das Verhältnis
der Anzahl dunkler Pixel zu der Anzahl sowohl der dunklen als auch
der mittleren Pixel ermittelt. Bei Abwesenheit eines Himmel-Peaks
wird dies durch Verhältnisbildung 3610 aus
der Summe der Population der ersten beiden Vertices, die in Schritt 3602 gebildet
wird, versus die Summe der Population der ersten sechs Vertices,
die in Schritt 3606 bestimmt wird, durchgeführt. Auf
der anderen Seite verschiebt sich bei Gegenwart eines Himmel-Peaks
in Schritt 3608 die obere Grenze der mittleren Pixel von
dem sechsten Intervallbereich zum linken Ausläufer des Himmel-Peaks.
-
37a und 37b zeigen
ein Histogramm 3702, bei dem kein Himmel-Peak vorhanden ist.
Eine erste Summe der Population der ersten beiden Vertices 3704 eines
Histogramms mit 8-Intervallbereichen wird in 37a ermittelt,
was dem Block 3602 des Ablaufdiagramms in 36 entspricht. Eine
zweite Summe der Population der ersten sechs Vertices 3606 wird
dann, wie in 37b gezeigt, durch den Prozessblock 3606 der 36 berechnet. Das
Verhältnis
der ersten Summe 3704 zur zweiten Summe 3706 repräsentiert
das Dunkle Detail, den Kontrast zwischen den dunklen Pixeln und
allen Pixeln des Bilds, außer
den hellen Pixeln.
-
38a und 38b zeigen
ein Histogramm 3802 mit einem Himmel-Peak 3804. Eine erste Summe 3806 der
y-Werte der ersten beiden Vertices werden berechnet 3806.
Die zweite Summe 3808 summiert bei diesem Verfahren jedoch
durch den Prozessblock 3608 der 36 die
Population des ersten Vertex bis zum linken Ausläufer des Himmel-Peaks 3810 auf,
wie in 38b gezeigt. Das Dunkle Detail
wird bestimmt, indem das Verhältnis der
ersten Summe 3806 zu der zweiten Summe 3808 ermittelt
wird. Das Dunkle Detail wird mit einem Schwellenwert verglichen,
um zu bestimmen, ob die gemessene Belichtung des Bilds adäquat ist.
-
Der
Himmelskontrast misst den Kontrast zwischen dem dunklen Teil des
Himmels und seiner dominanten Helligkeit, wenn ein Himmel existiert.
Der Himmelskontrast misst, ob Details verloren gehen, wenn die Belichtung
erhöht
wird. Er ist definiert als das Verhältnis des linken Ausläufers des
Himmel-Peaks zum Gipfel, wobei der linke Ausläufer die dunklen Teile des
Himmels repräsentiert
und der Gipfel die Intervallbereichswerte der Pixel mit der dominanten
Helligkeit des Himmels repräsentiert. 39 zeigt
einen Prozess, der durch die Bestimmungseinheit für den Himmelskontrast 3504 durchgeführt wird, um
den Himmelskontrast zu messen. Das Histogramm wird zunächst in
Entscheidungsblock 3902 geprüft, um zu bestimmen, ob es
einen Himmel-Peak aufweist. Wenn ein Himmel-Peak vorhanden ist,
wird dann in Block 3904 das Verhältnis des y-Werts des linken Ausläufers des
Himmel-Peaks zum y-Wert des Gipfels berech net. Dieses Verhältnis wird
in Block 3906 als eine Himmelskontrastmessung bereitgestellt.
Wenn es jedoch keinen Himmel-Peak gibt, dann kann kein Himmelskontrast
bestimmt werden, wie durch Block 3908 angegeben.
-
40a und 40b zeigen
zwei Histogramme von zwei verschiedenen Bildern, die jeweils einen
Himmel-Peak enthalten. 40a zeigt
ein Histogramm 4002, das einen Himmel-Peak mit einem Gipfel 4006 beim
letzten Vertex und einen linken Ausläufer 4004 aufweist.
Dagegen zeigt 40b ein Histogramm 4008,
das einen Himmel-Peak mit einem Gipfel 4008 und einen linken
Ausläufer 4010 aufweist.
Der Himmelskontrast in jedem der beiden Histogramme ist das Verhältnis von 4004 zu 4006 bzw. 4010 zu 4012.
Um zu bestimmen, ob das aktuelle Bild eine geeignete Belichtung
aufweist, muss der Himmelskontrast unter einem bestimmten Schwellenwert
liegen.
-
Der
Peak-Kontrast bestimmt den Kontrast zwischen den hellen Teilen eines
signifikanten Details und seiner dominanten Helligkeit in dem Bild.
Es wird für
eine Messung der optimalen Belichtung verwendet, um sicherzustellen,
dass die signifikanten Details in einem Bild beim Erhöhen der
Belichtung nicht ausgewaschen werden. 41 zeigt
einen Prozess zum Bestimmen des Peak-Kontrasts. Das Histogramm wird in Entscheidungsblock 4102 geprüft, um zu
bestimmen, ob es einen Himmel-Peak enthält. Wenn dies der Fall ist,
wird der nächste
am weitesten rechts liegende Peak, der nicht dem Himmel-Peak entspricht
und ansonsten als ein Nicht-Himmel-Peak bekannt ist, in Block 4104 ermittelt.
Wenn es im anderen Fall keinen Himmel-Peak gibt, wird der am weitesten
rechts liegende Peak des Histogramms in Block 4106 ermittelt.
Danach wird das Verhältnis
der Population des rechten Ausläufers
des am weitesten rechts liegenden Nicht-Himmel-Peaks, der entweder in 4104 oder
in 4106 ermittelt wurde, zu der Population seines Gipfels
in Block 4108 berechnet, und dies ist die Messung, die
in Block 4110 als ein Peak-Kontrast bereitgestellt wird.
-
42a bis b und 43a bis
b illustrieren eine Bestimmung des Peak-Kontrasts. In 42a und 42b wird das Histogramm 4202 auf einen Himmel- Peak hin geprüft. Es wird
ermittelt 4204, dass ein Himmel-Peak vorhanden ist, und
der nächste
am weitesten rechts liegende Nicht-Himmel-Peak 4206 wird
ermittelt. Der Peak-Kontrast wird dann ermittelt, indem das Verhältnis der
Population des rechten Ausläufers
des am weitesten rechts liegenden Nicht-Himmel-Peaks 4208 zu der Population
des Gipfels 4210 genommen wird. Im zweiten Histogramm 4302,
in 43a und 43b gezeigt,
ist kein Himmel-Peak vorhanden. Der am weitesten rechts liegende
Peak 4304 wird ermittelt. Der Peak-Kontrast ist das Verhältnis der
Population des rechten Ausläufers
des Peaks 4304 zu der Population des Gipfels 4308.
Der Peak-Kontrast muss kleiner sein als ein bestimmter Schwellenwert,
damit das aktuelle Bild als eins mit adäquater Belichtung bestimmt wird.
-
Schließlich wird
die letzte Messung, Fluct, benötigt,
um festzustellen, ob die Belichtung für ein bestimmtes Bild adäquat ist.
Sie misst die Gegenwart zahlreicher Details im Bilds, die in den
Histogrammen als Fluktuationen oder Unebenheit dargestellt werden.
Zahlreiche Details in einem Bild müssen innerhalb einer bestimmten
optimalen Belichtung gehalten werden. Wenn die Anzahl der Details
zu klein ist, ist die Belichtung u. U. nicht adäquat. 44 zeigt
einen Prozess für
eine Fluct-Analyse. Die absolute Differenz zwischen der Population
eines ausgewählten Vertex,
Vertex A, und dem Mittelwert seiner unmittelbar links und rechts
benachbarten Vertices wird in Block 4402 ermittelt. Dies
wird in den Blöcken 4404 und 4406 durch
Verändern
des fraglichen Vertex (Vertex A) wiederholt. Bei diesem Beispiel
wird die absolute Differenz für
drei Vertices ermittelt, es kann jedoch jede beliebige Anzahl Vertices
in Abhängigkeit
von der Größe der Intervallbereiche
und anderen Faktoren verwendet werden. Die Summe aller absoluten
Differenzen wird dann in Block 4408 ermittelt, und dies
wird in Block 4110 als Fluct bereitgestellt.
-
Beispielsweise
kann Fluct als die Summe aller absoluten Differenzen zwischen einem
Vertex und dem Mittelwert seiner unmittelbar links und rechts benachbarten
Vertices auch für
eine Reihe aufeinanderfolgender Vertices berechnet werden, wie in 45a bis d gezeigt. 45a bis
d zeigen ein Histogramm 4502 mit 8 Intervallbereichen. 45a zeigt Fluct1, was die absolute Differenz zwischen dem
y-Wert des Vertex 3 4506 und dem Mittelwert der y-Werte
des Vertex 2 4504 und Vertex 4 4508 ist. Fluct2
ist die absolute Differenz zwischen der Population des Vertex 4 4508 und
dem Mittelwert des Vertex 3 4506 und des Vertex 5 4510 und
wird in 45b gezeigt. Fluct3, in 45c gezeigt, ist die absolute Differenz zwischen
dem y-Wert des Vertex 5 4510 und dem Mittelwert des Vertex
4 4508 und des Vertex 6 4512. In 45d ist Fluct4 der absolute Unterschied der y-Werte
zwischen Vertex 6 4512 und dem Mittelwert des Vertex 5 4510 und
des Vertex 7 4514. Fluct ist dann die Summe aus Fluct1,
Fluct2, Fluct3 und Fluct4. Fluct muss über einem bestimmten Schwellenwert
liegen, um die Gegenwart zahlreicher Details im Bild und damit die
Angemessenheit der Belichtung zu bestimmen. Dies ist ein Beispiel zum
Berechnen des Messwerts Fluct. Andere Formeln zum Berechnen von
Fluct können
vorgeschlagen werden, solange der Wert die Welligkeit der Histogrammkurve
angibt.
-
Die
oben stehend angegebene Formel kann wie folgt ausgedrückt werden:
-
Andere
Formeln, die vorgeschlagen werden können, sind z. B.:
-
Abgesehen
von den vier Parametern, Dunkles Detail, Himmelskontrast, Peak-Kontrast
und Fluct, wie oben stehend beschrieben, können auch Merkmale, die aus
den Histogrammen extrahiert wurden, verwendet werden, um die optimale
Belichtung zu bestimmen. Diese Merkmale, wie bei der Ausführungsform
der Merkmaleextraktionseinheit 208 beschrieben, sind der
Himmel-Peak, der Signifi kanz-Peak und der Rechts-Peak. Die Eigenschaften dieser
drei Merkmale werden mit vorbestimmten Schwellenwerten verglichen,
um zu prüfen,
ob das Bild eine optimale Belichtung aufweist.
-
Mit
diesen gegebenen Parameter und Merkmalen kann eine Menge von Kriterien
verwendet werden, um zu bestimmen, ob die Belichtung suboptimal ist.
Diese Kriterien vergleichen die Merkmale und Parameter mit vorbestimmten
Schwellenwerten. Für diese
Schwellenwerte wurde experimentell ermittelt, dass sie die besten
Ergebnisse hinsichtlich der Merkmale und Parameter ergeben. Die
Parameter werden gewöhnlich
in Bruchteilen oder Prozentwerten gemessen, außer dem Wert für Fluct,
der eine Unebenheit im Histogramm misst, und Merkmalen werden verwendet,
um die Parameter zu finden. Wenn Dunkles Detail größer als
die Hälfte
ist, bedeutet dies, dass die dunklen Pixel mehr als die Hälfte des
Bilds einnehmen und das Bilds als zu dunkel erachtet wird und die
Belichtung suboptimal ist. Wenn Himmelskontrast größer als
50% ist, gibt es einen Kontrastmangel zwischen dem dunkelsten Teil
des Himmels und dem gesamten Himmel, was bedeutet, dass Details
des Bilds aufgrund von Überbelichtung
verloren gehen. Ein anderes Zeichen von Überbelichtung ist es, wenn
der Peak-Kontrast mehr als 50% misst.
-
Auf
der anderen Seite kann die Belichtung nahezu optimal sein, wenn
es ein ausgeglichenes Verhältnis
zwischen hellen und dunklen Pixeln gibt. Dies wird erzielt, wenn
der Himmelskontrast bei ungefähr
einem Fünftel
liegt, während
Dunkles Detail bei ungefähhr
einem Drittel liegt. Weiterhin kann die Belichtung optimal sein,
wenn mehrere Details erscheinen, was durch einen hohen Fluct angegeben wird.
Die Gipfel des Signifikanz-Peaks und des Rechts-Peaks liegen auch
in der oberen Hälfte
des Histogramms und Dunkles Detail ist kleiner als ein Fünftel, wenn
die Belichtung nahezu optimal ist.
-
Die
Schwellenwerte für
den Intervallbereichswert für
den Gipfel des Signifikanz-Peaks oder des Rechts-Peaks können zwischen
niedrigeren Intervallbereichswerten und höheren Intervallbereichswerten
in Abhängigkeit
davon variie ren, ob der Test für
ein unterbelichtetes oder ein überbelichtetes
Bild ist. Schwellenwerte für
Dunkles Detail weisen typischerweise Werte kleines als 70% für ein optimal
belichtetes Bild auf, während
der für
Himmelskontrast zwischen 5% und 60% in Abhängigkeit davon variiert, ob
der Test für
eine Unter- oder Überbelichtung
ist und mit welchen anderen Parameter der Himmelskontrast gepaart
wird. Schwellenwerte für
Fluct weisen gewöhnlich
hohe Werte auf, wenn mehrere Details erscheinen und diese Werte über 200
liegen, und Schwellenwerte für
den Peak-Kontrast liegen gewöhnlich
bei ungefähr
50%.
-
46 und 47 zeigen
eine Ausführungsform,
wie die Kriterien verwendet werden können, um zwischen Erhöhen oder
Vermindern der Belichtung zu entscheiden. 46 zeigt
einen Prozess zum Bestimmen, ob die Belichtung zu erhöhen ist. Entscheidungsblock 4602 prüft, um festzustellen,
ob der Intervallbereichswert des Gipfels des Signifikanz-Peaks oder
des Rechts-Peak kleiner als 3 ist. Wenn die Prüfung positiv ist und wenn in
Entscheidungsblock 4604 ermittelt wird, dass Dunkles Detail größer als
55% ist, kann die Belichtung in Block 4610 erhöht werden.
Wenn jedoch die Prüfung
durch Entscheidungsblock 4602 negativ ist und in Entscheidungsblock 4606 ermittelt
wird, dass Dunkles Detail größer als
45% ist, kann die Belichtung auch in Block 4610 erhöht werden.
In Entscheidungsblock 4608 bestimmt der Prozess, ob Dunkles
Detail größer als 35%
ist und der Himmelskontrast kleiner als 5% ist. Wenn der Test positiv
ist, kann die Belichtung ebenfalls erhöht werden, andernfalls wird
die Belichtung nicht erhöht.
-
47 zeigt
einen Prozess zum Bestimmen, ob die Belichtung zu vermindern ist.
In Entscheidungsblock 4702 bestimmt der Prozess, ob der
Himmelskontrast größer als
50% ist, während
Entscheidungsblock 4704 des Prozesses bestimmt, ob der Himmelskontrast
größer als
20% ist und Dunkles Detail kleiner als 35% ist. In Entscheidungsblock 4706 bestimmt
der Prozess, ob Fluct größer als
200 ist. Der Prozess bestimmt in Entscheidungsblock 4708, ob
Dunkles Detail kleiner als 35% ist, und in Entscheidungsblock 4710 wird
bestimmt, ob der Intervallbereichswert des Gipfels des Signifikanz-Peaks oder
des Rechts-Peaks größer als
3 ist und Dunkles Detail kleiner als 20% ist. In Entscheidungsblock 4712 be stimmt
der Prozess, ob der Peak-Kontrast größer als 50% ist und Dunkles
Detail kleiner als 45% ist und entscheidet in Entscheidungsblock 4714 auch,
ob der Himmelskontrast kleiner als 10% ist und der Peak-Kontrast
größer als
50% ist.
-
Wenn
weder Entscheidungsblock 4702 noch 4704 positiv
testen, wird die Belichtung in Block 4716 vermindert. Wenn
andernfalls beide Entscheidungsblöcke 4706 und 4710 positiv
testen oder wenn Entscheidungsblock 4706 negativ testet
wogegen Entscheidungsblock 4708 positiv testet, wird die
Belichtung dann ebenfalls vermindert. Wenn alle oben stehenden Bedingungen
versagen, werden die Ergebnisse aus den Entscheidungsblöcken 4712 und 4714 verwendet.
Wenn einer positiv testet, wird die Belichtung vermindert.
-
Während bestimmte
beispielhafte Ausführungsformen
beschrieben und in den begleitenden Zeichnungen gezeigt wurden,
versteht es sich, dass derartige Ausführungsformen bloß beispielhaft
für die breite
Erfindung sind und diese nicht beschränken und dass diese Erfindung
nicht auf die spezifischen gezeigten und beschriebenen Konstruktionen
und Anordnungen begrenzt ist, da Durchschnittsfachleuten verschiedene
andere Modifikationen einfallen können.
-
ZUSAMMENFASSUNG
-
Eine
Vorrichtung, die ein Bild analysiert. Die Vorrichtung weist eine
Schaltung auf, die ein Bild erhält,
das eine Vielzahl Pixel umfasst. Die Schaltung erzeugt ein Histogramm
des Bilds und analysiert das Histogramm, um eine annehmbare Belichtung
des Bilds zu bestimmen. Das Histogramm kann mehrere Intervallbereiche
versus eine Pixelpopulation aufweisen, die jedem Intervallbereich
zugeordnet ist. Beispielsweise können
die Intervallbereiche einer Lichtintensität zugeordnet sein. Die Bilder
und Histogramme können
Daten aufweisen, die durch eine Bit-Anzahl im geringen Dynamikbereich und/oder eine
Bit-Anzahl im erweiterten Dynamikbereich definiert sind. Bestimmte
Merkmale und Kriterien des Bilds können bestimmt und analysiert
werden, um zu bestimmen, ob das Bild eine annehmbare Belichtung aufweist.
Wenn das Bild nicht akzeptabel ist, kann eine Belichtungseigenschaft
verändert
werden, und der Prozess kann wiederholt werden, bis ein annehmbares
Bild erhalten wird.
