DE10084921B4

DE10084921B4 - Verfahren und Einrichtung zum automatischen Fokussieren in einem Bildaufnahmesystem unter Verwendung symmetrischer FIR-Filter

Info

Publication number: DE10084921B4
Application number: DE10084921T
Authority: DE
Inventors: Yap-Peng Tan; Brent Chandler Thomas; Tinku Tempe Acharya
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1999-08-25
Filing date: 2000-08-11
Publication date: 2008-03-20
Anticipated expiration: 2020-08-12
Also published as: AU6538800A; KR20020033461A; GB0203899D0; US6373481B1; AU771694B2; IL148240A; DE10084921T1; GB2370111B; IL148240A0; KR100449835B1; RU2002107312A; GB2370111A; RU2222113C2; WO2001015434A1; TW490976B; JP2003507769A

Abstract

Verfahren zum Bestimmen einer optimalen Brennweite eines Bildaufnahmesystems, wobei für jedes Bild einer Sequenz von Bildern die Schritte ausgeführt werden:
Auswählen eines interessierenden Bereichs in dem Bild (200);
Auswählen einer interessierenden Farbebene (202);
Filtern (206-210) von Pixelwerten der interessierenden Farbebene innerhalb des interessierenden Bereichs, so daß ein gefiltertes Gebiet erzeugt wird, wobei Kanteninformationen extrahiert werden, wobei die Kanteninformationen für die Bestimmung nützlich sind, ob sich das Bildaufnahmesystem im Fokus befindet;
Bestimmen (212) eines mittleren Absolutwerts des gefilterten Gebiets;
Bestimmen (112; 124), ob der mittlere Absolutwert für das gefilterte Gebiet größer als ein Prozentsatz des größten zuvor berechneten mittleren Absolutwerts eines anderen Bildes ist;
Einstellen (108, 120) einer optimalen Brennweite auf die Brennweite, bei welcher das Bild aufgenommen wurde, sofern (104-JA) der mittlere Absolutwert für das gefilterte Gebiet größer als der größte zuvor berechnete mittlere Absolutwert ist; und
Ausgeben (126) der optimalen Brennweite, wenn...

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Einrichtung zum automatischen Fokussieren in einem Bildaufnahmesystem.
Die Verwendung digitaler Bildaufnahmesysteme, wie beispielsweise digitaler Kameras für Video- und Standbildaufnahmen, wurde bei vielen Anwendungen stark vorherrschend. Die Videoaufnahme kann für solche Anwendungen, wie Videokonferenzen, das Editieren von Video und verteiltes Video-Training, verwendet werden. Standbildaufnahmen mit einer digitalen Kamera können für solche Anwendungen, wie beispielsweise Fotoalben, Foto-Editieren und das Zusammensetzen von Fotos, verwendet werden.
Viele digitale Video- und Standbildaufnahmesysteme verwenden einen Bildsensor, der aus einem Array lichtempfindlicher Elemente aufgebaut ist, die jeweils als "Pixel"-Element bezeichnet werden. Jedes Pixel-Element ist für die Aufnahme eines von drei Farbkanälen verantwortlich: Rot, Grün oder Blau. Insbesondere wird jedes Pixel-Element für einen bestimmten Farbkanal durch die Verwendung eines über dem Pixel-Element angeordneten Farbfilters empfindlich gemacht, so daß die das Pixel-Element erreichende Lichtenergie nur zu der Lichtenergie aus einem bestimmten Spektrum gehört. Jedes Pixel-Element erzeugt ein Signal, das der Menge der Lichtenergie entspricht, welcher es ausgesetzt ist.
Digitale Bildaufnahmesysteme sollen typischerweise unter einer Vielzahl von Bedingungen arbeiten. Zusätzlich wird erwartet, daß Merkmale, wie beispielsweise das Autofokussieren und die Auto-Belichtungseinstellung, integrierte Merkmale sind. Dies sind typischerweise hardware-intensive Prozesse. Im Falle des Autofokussierens ist die Geschwindigkeit und Genauigkeit für die Aufnahme hochqualitativer Bilder wesentlich. So wäre es wünschenswert, effiziente und hardware-freundliche Autofokussierprozesse zu implementieren.
Aus dem US-Patent 5,835,143 ist ein automatisches Fokussier-System bekannt mit einem iterativen Verfahren zur Fokuseinstellung. Um eine die Fokussierung anzeigenden Wert zu gewinnen, wird die Luminanz einer ausgewählten Farbebene zunächst differenziert, um eine Ortsfunktion der Luminanz zu gewinnen. Diese wird dann über die Pixelorte integriert, um den Autofokus-Wert zu gewinnen. Der Autofokus-Wert wird jeweils nach Einstellung einer geänderten Brennweite bestimmt und mit einem zuvor gewonnenen Autofokus-Wert verglichen, wobei die Linsenvorwärtsbewegung fortgesetzt wird, wenn der Autofokus-Wert höher als der vorhergehende ist. Wenn nicht, so wird ein umgekehrter Linsenbewegungsschritt durchgeführt, wobei dieser mit der halben Bewegungsschrittweite ausgeführt wird. Wenn nach dem halben Rückwärtsschritt das Autofokus-Signal wiederum höher als das vorhergehende ist, so bricht die Autofokus-Bestimmung ab. Wenn nicht, so wird ein zweiter halber Rückwärtsschritt vorgenommen.
Aufgabe der Erfindung ist es, ein verbessertes Verfahren und eine verbesserte Einrichtung zum automatischen Fokussieren in einem Bildaufnahmesystem zu schaffen, das weniger empfindlich gegenüber einer Ansammlung lokaler Maxima in der Nähe eines globalen Maximums ist.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. eine Einrichtung zum Bestimmen einer optimalen Brennweite mit den Merkmalen des Anspruchs 7 gelöst. Vorteilhafte und/oder bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
Im folgenden wird die Erfindung anhand einer bevorzugten Ausführungsform näher beschrieben.
1 ist ein Schema, das ein Bild mit einem interessierenden Bereich veranschaulicht.
2 ist ein Ablaufdiagramm, das die Bestimmung eines Fokalwerts (V) auf einem Bild, wie beispielsweise dem Bild in
1, gemäß einem Modus des Betriebs der vorliegenden Erfindung veranschaulicht.
3 enthält die Impuls- und Frequenzantworten (die Antworten sowohl des Betrags als auch der Phase) eines gemäß einem Ausführungsbeispiel der vorliegenden Erfindung konfigurierten Filters.
4 ist ein Ablaufdiagramm, das einen Betriebsmodus eines Autofokussiersystems veranschaulicht, das gemäß der vorliegenden Erfindung ausgebildet ist.
5 enthält die Graphen der Fokalwerte der Bilder aus vier Serien von Bildern, wie sie unter Verwendung des Ablaufdiagramms gemäß 2 bestimmt worden sind.
Die vorliegende Erfindung schafft ein automatisches Fokussierverfahren und -einrichtung, die für digitale Bildaufnahmesysteme, wie beispielsweise digitale Bildverarbeitungs- und Videokameras (die allgemein hier als "Kamera" bezeichnet werden), entwickelt worden sind. Während der Fokussierphase wird eine Sequenz von Bildern bei verschiedenen Brennweiten aufgenommen. Nachdem sie aufgenommen worden sind, wird jedes Bild durch ein symmetrisches Finite-Impuls-Antwort-Filter (FIR-Filter; finite impulse response filter) gefiltert. Ein Fokuswert, welcher den Grad der Kamerascharfeinstellung anzeigt, wird aus dem gefilterten Bild abgeleitet. Ein FIR-Filter wird durch den Algorithmus angenommen, wie er durch eine digitale Signalverarbeitungshardware fester Funktion (FFDSP-Hardware; fixed function digital signal processing hardware) mit geringeren Berechnungskosten und darüber hinaus unter Vermeidung des Fehlerakkumulationsproblems, das normalerweise bei Infinite-Impuls-Antwort(IIR)-Filtern gesehen wird, implementiert werden könnte. Darüber hinaus kann die Verwendung eines symmetrischen Filters die Anzahl der Multiplikationen zum Filtern des Bildes, grob gesagt, um die Hälfte reduzieren im Vergleich zu einem asymmetrischen Filter. Bei einem Ausführungsbeispiel wird diejenige Brennweite, bei welcher das aufgenommene Bild den größten Fokuswert aufweist, als optimale Brennweite für die Szene angesehen und von dem Algorithmus ausgegeben.
Bei einem Ausführungsbeispiel werden ein Prozessor und ein Speicher zum Verarbeiten des Bildes verwendet, um Fokuswerte für die Bestimmung, wann das Bildaufnahmesystem scharf eingestellt ist, zu extrahieren. Wie oben erwähnt, kann der Prozessor ein digitaler Signalprozessor oder eine anwendungsspezifische integrierte Schaltung (ASIC) sein. Der Prozessor kann auch ein Mehrzweckprozessor sein. Der Speicher kann eine beliebige Speichereinrichtung sein, die für einen Zugriff durch den Prozessor geeignet ist.
1 ist eine Darstellung, die ein Bild 100 mit einer Breite X und einer Höhe Y veranschaulicht. Das Bild 100 ist aus einem Satz von Pixeln zusammengesetzt, die jeweils mit einem Farbfilter aus einem Farbfilterarray (CFA) 102 überlagert sind. Bei einem Ausführungsbeispiel ist das CFA 102 in einem Bayer-Muster mit einem sich wiederholenden Rot-(R), Grün-(G), Grün-(G) und Blau-(B) Filtermuster. Zusätzlich enthält 1 außerdem einen interessierenden Bereich 104, welcher eine Größe von N Pixeln mal M Zeilen aufweist.
2 ist ein Ablaufdiagramm, das die Bestimmung eines Fokalwerts (V) aus einem Bild, wie beispielsweise dem Bild 100 gemäß 1, in Übereinstimmung mit einem Betriebsmodus der vorliegenden Erfindung veranschaulicht.
Im Block 200 wird ein interessierender Bereich, wie beispielsweise der interessierende Bereich 104, aus einem Bild, wie beispielsweise dem Bild 100, ausgewählt. Bei einem Ausführungsbeispiel wird nur ein interessierender Bereich aus dem Bild bei der Berechnung des Fokalwerts für das Bild ausgewählt. Bei anderen Ausführungsbeispielen jedoch könnten mehrere interessierende Bereiche ausgewählt werden und mehrere Fokalwerte könnten berechnet werden. Die folgende Beschreibung ist auf das Bestimmen eines Fokalwerts pro Bild gerichtet. Nachdem der interessierende Bereich ausgewählt worden ist, fährt die Operation zum Block 202 fort.
Im Block 202 wird eine interessierende Farbebene aus dem interessierenden Bereich ausgewählt. Bei einem Ausführungs beispiel wird die grüne Farbebene ausgewählt, da das grüne Spektrum besser zum Bestimmen der Luminanz geeignet ist. Bei anderen Ausführungsbeispielen könnte eine andere Farbebene ausgewählt werden bei dem Erfordernis, daß die ausgewählte Farbebene die meisten Luminanzinformationen der Szene enthält. Bei einem Y-CYMG (Cyan, Gelb und Magenta)-Bildaufnahmesystem beispielsweise würde die gelbe Ebene, welche die meisten Luminanzinformationen enthält, als interessierende Farbebene ausgewählt werden. Zusätzlich wird in der folgenden Beschreibung das Pixel am Ort (0,0) des beschnittenen Bildgebiets (beispielsweise der interessierenden Fläche 104) so eingestellt, daß es ein grünes Pixel ist. Insbesondere wird die obere linke Ecke des beschnittenen Bildgebiets so angeordnet, daß das obere linke Pixel ein grünes Pixel ist.
Im Block 204 werden jeweils zwei grüne Pixelspalten in dem beschnittenen Bildgebiet in eine einzige vollständige grüne Pixelspalte verschmolzen, um eine grüne Ebene G' der Größe M×N/2 Pixel zu erzeugen, indem die folgenden zwei Schritte ausgeführt werden: G(i,j) = (G(i,j + 1) für i = 1, 3, 5, ..., M – 1 und j = 0, 2, 4, ..., N – 2; 1.und G'(i,j/2) = G(i,j) für 0 << M und j = 0, 2, 4, ..., N – 2 2.wobei G(i,j) der Wert des grünen Pixels am Ort (i,j) des beschnittenen Bildgebiets ist. Vor dem Verschmelzen sind G(i,j) nur an den Orten (m,n) gut definiert, wobei (m + n)mod 2 = 0, 0 ≤ m < M und 0 ≤ n < N ist. Nach dem Verschmelzen wird das G' auf eine Größe von M mal N/2 Pixeln reduziert. Diese Verschmelzungsoperation wird für das spezielle CFA-Muster (z.B. das Bayer-Muster) bei diesem Bildaufnahmesystem verwendet, kann aber für ein beliebiges CFA-Muster in der erforderlichen Weise modifiziert werden.
Im Block 206 wird die verschmolzene Farbebene G' unter Verwendung eines Tiefpaßfilters gefiltert, um durch Rauschen verursachte Ungenauigkeiten (beispielsweise durch die Verwendung des Bayer-Musters eingeführte Artefaktkanten) zu reduzieren. Bei einem Ausführungsbeispiel wird die grüne Ebene G' dann spaltenweise durch ein 3-Abgriffs-Tiefpaßfilter (3-tap low-pass filter) gefiltert:
wobei A = [a₀a₁a₂] = [0,25 0,5 0,25] ist. Die interpolierte grüne Ebene G_a verbleibt bei derselben Größe von M mal N/2 Pixeln. Nachdem die grüne Ebene G' so modifiziert worden ist, daß sie zu der interpolierten grünen Ebene G_a geworden ist, fährt die Operation beim Block 208 fort.
Im Block 208 unterteilt das System die interpolierte grüne Ebene G_a in drei Untergebiete G₁, G₂ und G₃ von gleicher Größe. Bei einem Ausführungsbeispiel wird die interpolierte grüne Ebene G_a in drei Untergebiete der Größe M×N/6 Pixel unterteilt. Bei anderen Ausführungsbeispielen könnte die interpolierte grüne Ebene G_a in drei Untergebiete der Größe M/3×N/2 Pixel unterteilt werden. Außerdem könnte die interpolierte grüne Ebene G_a in mehrere Gebiete einer beliebigen Größe bei anderen Ausführungsbeispielen unterteilt werden.
Im Block 210 werden die Zeilen jedes Untergebiets G₁, G₂ und G₃ durch ein p-Abgriffs-FIR-Filter (p-tap FIR filter) gefiltert:
wobei h = [h₀, h₁, ..., h_p-1]; k = 1, 2, 3, 0 ≤ i < M; und p – 1 ≤ j < N/6 ist. Das Filter versucht, relevante Kanteninformationen zu extrahieren, die für die Bestimmung nützlich sind, ob die Kamera scharf eingestellt (im Fokus) ist.

Bei einem Ausführungsbeispiel ist das p-Abgriffs-FIR-Filter, das zum Filtern der Untergebiete G₁, G₂ und G₃ der interpolierten grünen Ebene G_a verwendet wird, ein symmetrisches 20-Abgriffs-FIR-Filter. Wie oben angemerkt, wird ein symmetrisches FIR-Filter bei dem Algorithmus verwendet, da es bei der gegenwärtig vorhandenen Hardware mit geringeren Berechnungskosten implementiert werden kann und die Anzahl der zum Filtern des Bildes erforderlichen Multiplikationen grob gesagt um die Hälfte im Vergleich zu einem nicht symmetrischen FIR-Filter reduziert werden kann. Zusätzlich leidet das FIR-Filter, wie oben angemerkt wurde, nicht an Fehlerakkumulationsproblemen, die normalerweise bei IIR-Filtern angetroffen werden. Tabelle 1 enthält einen möglichen Satz von Filterkoeffizienten des FIR-Filters, das zum Erzeugen gewünschter Ergebnisse verwendet werden könnte

h_n	Wert
h₀ = h₁₉	0.0006
h₁ = h₁₈	–0.0041
h₂ = h₁₇	0.0000
h₃ = h₁₆	0.0292
h₄ = h₁₅	–0.0350
H₅ = h₁₄	–0.0578
H₆ = h₁₃	0.1361
H₇ = h₁₂	0.000
H₈ = h₁₁	–0.2109
H₉ = h₁₀	0.1418

Tabelle 1: Die Koeffizienten des symmetrischen FIR-Filters.

3 zeigt die Impuls- und Frequenzantworten (sowohl die Betrags- als auch Phasenantworten) des entworfenen Filters. Das Filter hat eine Betrags- oder Amplitudenantwort, die ähnlich einem Bandpaßfilter ist. Nachdem jedes Untergebiet gefiltert worden ist, fährt die Operation beim Block 212 fort.
Im Block 212 wird ein mittlerer Absolutwert A _k für jedes gefilterte Untergebiet G_k berechnet:
wobei M mal (N/6 – p + 1) die Gesamtzahl der Pixel ist, deren Werte in Übereinstimmung mit Block 210 berechnet werden können.
Im Block 214 wird der Fokuswert des aktuellen Bildes r, der als V(r) bezeichnet wird, bestimmt durch:
wobei ein Bild, das schärfer ist (mehr im Fokus), einen höheren Fokalwert aufweist.
4 ist ein Ablaufdiagramm, das einen Betriebsmodus eines Autofokussiersystems, das gemäß der vorliegenden Erfindung ausgebildet ist, veranschaulicht. Bei einem Ausführungsbeispiel werden der Anordnung eine Reihe von Bildern präsentiert, die bei verschiedenen Brennweiten aufgenommen worden sind. Bei einem anderen Ausführungsbeispiel lokalisiert die Anordnung eine Brennweite, bei welcher das Bild fokussiert wäre, bevor eine vollständige Serie von Bildern bei verschiedenen Brennweiten aufgenommen wird. Bei dem letztgenannten Ausführungsbeispiel werden die von dieser Anordnung zu verarbeitenden Bilder aufgenommen, während die Anordnung nach dem fokussierten (scharfen) Bild sucht. Im allgemeinen führt die Anordnung eine schnelle Suche durch, um eine Brennweite aufzufinden, die ein relativ scharfes Bild erzeugt (z.B., indem die Fokalwerte überprüft werden, um den höchsten zur Verfügung stehenden Fokalwert aufzufinden) und schießt über diese Brennweite soweit hinaus, daß der Fokalwert um einen bestimmten Prozentsatz geringer ist als der vorhergehende Fokalwert. Dann führt dieses Schema eine detaillierte Suche aus, um eine Brennweite zu bestimmen, die ein schärferes Bild erzeugt. Diese Anordnung arbeitet unter der Annahme, daß der berechnete Fokuswert eine eingipflige Funktion der Brennweite ist, was bei den meisten angetroffenen Szenen der Fall ist.
Im Block 102 wird das System initialisiert, um die folgenden Variablen zu setzen: Umax = 0 f = fmax fopt = fmax wobei f eine Brennweite ist; V(f) der Fokalwert ist, der für ein bei f aufgenommenes Bild berechnet wird; V_max der größte gefundene Fokalwert ist; f_max und f_min die längste bzw. die kürzeste Brennweite sind, zu denen das Bildaufnahmesystem in der Lage ist; und f_opt die optimale Brennweite ist, die von dieser Anordnung lokalisiert worden ist. Nachdem das System initialisiert worden ist, beginnt die Grobsuche im Block 104.
Im Block 104 wird ein Fokalwert V(f) für ein bei der Brennweite f aufgenommenes Bild bestimmt. V(f) wird gemäß der Beschreibung der 2 bestimmt. Wenn, wie oben angemerkt wurde, der Anordnung keine Serie aufgenommener Bilder präsentiert wird, dann nimmt das System das Bild unmittelbar während des Blocks 104 auf, bevor der Fokalwert bestimmt wird. Nachdem der Fokalwert im Block 104 berechnet worden ist, wird er im Block 106 mit dem maximalen Fokalwert, der gefunden wurde, verglichen. Wenn der Fokalwert größer als der größte zuvor berechnete Fokalwert ist (V(f) > V_max), fährt die Operation beim Block 108 fort. Anderenfalls wird die Operation mit dem Block 110 fortgesetzt.
Im Block 108 wird der maximale gefundene Fokalwert auf den aktuellen Fokalwert gesetzt (V_max = V(f)). Zusätzlich wird die optimale Brennweite auf die aktuelle Brennweite gesetzt (f_opt = f). Dann wird im Block 110 die Brennweite um den Grobbrennweitensuchschritt abgesenkt (f = f – f_S1). Der Grobbrennweitensuchschritt hat eine Schrittweite zum Ändern der Brennweite während des Suchens der groben Brennweite. Bei einem Ausführungsbeispiel wird der Grobbrennweitensuchschritt f_S1 gefunden durch: fS1 = (fmax – fmin) × SFN1/SN1 wobei SN1 und SFN1 die Gesamtanzahl der Bildbewertungen steuern. SFN1 hängt von der aktuellen Fokussierzahl-Einstellung sowie von der aktuellen Brennweite f ab. SFN1 könnte tabelliert oder mit einfachen Gleichungen auf der Grundlage vorhergehender Experimente formuliert werden. SN1 ist eine Zahl, die die Anzahl der Suchen innerhalb der Grobsuche steuert. Im allgemeinen kann dann, wenn die Blende des Bildaufnahmesystems klein ist, die Schrittweite größer sein, da das Bildaufnahmesystem über einen größeren Bereich der Brennweiten scharf eingestellt ist. Umgekehrt sollte dann, wenn die Blende des Bildaufnahmesystems groß ist, die Schrittweite kleiner sein, da das Bildaufnahmesystem über einen schmaleren Bereich der Brennweiten scharf eingestellt ist.
Im Block 112 wird bestimmt, ob die Brennweite größer als oder gleich der minimalen Brennweite des Bildaufnahmesystems ist (f ≥ f_min). Zusätzlich wird bestimmt, ob der Fokalwert größer als ein bestimmter Prozentsatz (z.B. 80 %) des maximal gefundenen Fokalwerts ist (V(f) > 0,8 V_max). Bei einem Ausführungsbeispiel verwendet dieses Schema einen vorgegebenen Prozentsatz, um zu bewerten, ob der Algorithmus den optimalen Fokalwert passiert hat und das System nunmehr Bilder bewertet, die sich zunehmend außerhalb des Fokus befinden (z.B. der Fokalwert kleiner und kleiner wird). Bei anderen Ausführungsbeispielen könnte der Prozentsatz auf der Grundlage der aktuellen Brennweite oder anderer Parameter variabel sein. Wenn die Brennweite größer als die oder gleich der minimalen Brennweite des Bildaufnahmesystems ist (f ≥ f_min) und der Fokalwert größer als 80 % des maximalen gefundenen Fokalwertes ist (V(f) > 0,8 V_max), so kehrt die Operation zum Block 104 zurück, wo ein weiteres Bild bewertet wird. Anderenfalls fährt die Operation mit dem Block 114 fort.
Im Block 114 wurde festgestellt, daß die Brennweite, die ein fokussiertes Bild aufweist, im Bereich zwischen der maximalen Brennweite, die von dem Bildaufnahmesystem unter stützt wird, f_max, und der aktuellen Brennweite f enthalten ist. Insbesondere weil die Grobsuche ausgehend von der maximalen Brennweite begann und die Fokalwerte der bei absinkenden Brennweiten aufgenommenen Bilder überprüfte, bis eine voreingestellte Bedingung erfüllt war, ist es logisch, daß die interessierende Brennweite in diesem Bereich enthalten ist. Da jedoch die aktuelle Brennweite mit dem Grobbrennweitensuchschritt im Block 110 subtrahiert wird und eine der Bedingungen, die ein Ende der Grobsuche bewirken würde, darin besteht, daß die aktuelle Brennweite nicht größer oder gleich f_min ist, besteht die Möglichkeit, daß die aktuelle Brennweite ein Wert ist, der kleiner als f_min ist, was kein gültiger Wert ist. Somit wird im Block 114 die aktuelle Brennweite auf das Maximum zwischen entweder der minimalen Brennweite des Bildaufnahmesystems oder aktuellen Brennweite gesetzt (f = max (f_min, f)).
Im Block 116 wird ein Fokalwert V(f) für ein bei der Brennweite f aufgenommenes Bild bestimmt. V(f) wird gemäß der Beschreibung der 2 bestimmt. Nachdem der Fokalwert im Block 116 berechnet ist, wird er im Block 116 mit dem maximalen gefundenen Fokalwert verglichen. Wenn der Fokalwert größer als der größte zuvor berechnete Fokalwert ist (V(f) > V_max), fährt die Operation zum Block 120 fort. Anderenfalls wird die Operation mit Block 122 fortgesetzt.
Im Block 120 wird der maximale gefundene Fokalwert auf den aktuellen Fokalwert eingestellt (V_max = V(f)). Zusätzlich wird die optimale Brennweite auf die aktuelle Brennweite gesetzt (f_opt = f). Dann wird im Block 122 die Brennweite um den Feinbrennweitensuchschritt erhöht (f = f + f_S2). Der Feinbrennweitensuchschritt stellt eine Schrittweite zum Ändern der Brennweite während des Suchens nach der genauen Brennweite dar. Bei einem Ausführungsbeispiel wird der Brennweitensuchschritt f_S2 gefunden durch: fS2 = (fmax – fmin) × SFN2/SN2 wobei SN2 und SFN2 die Gesamtanzahl der Bildbewertungen steuern. SFN2 hängt von der aktuellen Fokussierzahleinstellung sowie der aktuellen Brennweite f ab. SFN2 kann tabelliert oder mit einfachen Gleichungen auf der Grundlage früherer Experimente formuliert werden. SN2 ist die Zahl, die die Anzahl der Suchen innerhalb der Feinsuche steuert. Bei einem Ausführungsbeispiel wird die Schrittweite f_S2 viel kleiner eingestellt als die Schrittweite f_S1, um eine höhere Feinabstimmfähigkeit zu erhalten. Im allgemeinen kann dann, wenn die Blende des Bildaufnahmesystems gering ist, die Schrittweite größer sein, da sich das Bildaufnahmesystem über einem größeren Bereich von Brennweiten in Scharfeinstellung befindet. Umgekehrt sollte dann, wenn die Blende des Bildaufnahmesystems groß ist, die Schrittweite geringer sein, da das Bildaufnahmesystem sich über einen schmaleren Bereich der Brennweiten in Scharfeinstellung befindet.
Im Block 124 wird bestimmt, ob die Brennweite geringer als oder gleich der maximalen Brennweite des Bildaufnahmesystems ist (f ≤ f_max). Zusätzlich wird bestimmt, ob der Fokalwert größer als ein bestimmter Prozentsatz (z.B. 80 %) des maximalen gefundenen Fokalwerts ist (V(f) > 0,8 V_max). Bei einem Ausführungsbeispiel verwendet die Anordnung einen vorgegebenen Prozentsatz, um zu bestimmen, ob der Algorithmus den optimalen Fokalwert passiert hat und das System nunmehr Bilder bewertet, die sich zunehmend außerhalb der Scharfeinstellung befinden (z.B. der Fokalwert immer kleiner wird). Bei anderen Ausführungsbeispielen könnte der Prozentsatz auf der Grundlage der aktuellen Brennweite oder anderer Parameter variabel sein. Wenn die Brennweite kleiner als oder gleich der maximalen Brennweite des Bildaufnahmesystems ist (f ≤ f_max) und der Fokalwert größer als 80 % des maximalen gefundenen Fokalwerts ist (V(f) > 0,8 V_max), kehrt die Operation zum Block 116 zurück, wo ein weiteres Bild bewertet wird. Anderenfalls wird die Operation mit dem Block 126 fortgesetzt.
Im Block 126 wird die optimale Brennweite f_opt ausgegeben, und die Operation endet für die Reihe von Bildern (oder in dem Fall, bei dem das System bedarfsabhängig Bilder zur Bewertung des Fokalwerts aufnimmt, endet die Operation, bis eine neue Brennweite benötigt wird).
5 veranschaulicht die Fokuswerte für Bilder von vier Sequenzen (normiert durch den maximalen Fokuswert innerhalb jeder Testsequenz). Die mit den Kreisen (o) markierten Bilder sind als gut fokussierte Bilder angezeigt. In 5 kann man sehen, daß die berechneten Fokuswerte verwendet werden können, um gut fokussierte Bilder für die vier Sequenzen zu identifizieren.
In der vorstehenden Beschreibung wurde die Erfindung unter Bezugnahme auf ihre speziellen Ausführungsbeispiele beschrieben. Es ist jedoch klar, daß verschiedene Modifikationen und Änderungen daran vorgenommen werden können, ohne von dem breiteren Geist und Umfang der Erfindung abzuweichen, wie er in den beigefügten Ansprüchen angegeben ist. Die Beschreibung und die Zeichnungen sind demzufolge in einem veranschaulichenden und keinem einschränkenden Sinne zu verstehen.

Claims

Verfahren zum Bestimmen einer optimalen Brennweite eines Bildaufnahmesystems, wobei für jedes Bild einer Sequenz von Bildern die Schritte ausgeführt werden: Auswählen eines interessierenden Bereichs in dem Bild (200); Auswählen einer interessierenden Farbebene (202); Filtern (206-210) von Pixelwerten der interessierenden Farbebene innerhalb des interessierenden Bereichs, so daß ein gefiltertes Gebiet erzeugt wird, wobei Kanteninformationen extrahiert werden, wobei die Kanteninformationen für die Bestimmung nützlich sind, ob sich das Bildaufnahmesystem im Fokus befindet; Bestimmen (212) eines mittleren Absolutwerts des gefilterten Gebiets; Bestimmen (112; 124), ob der mittlere Absolutwert für das gefilterte Gebiet größer als ein Prozentsatz des größten zuvor berechneten mittleren Absolutwerts eines anderen Bildes ist; Einstellen (108, 120) einer optimalen Brennweite auf die Brennweite, bei welcher das Bild aufgenommen wurde, sofern (104-JA) der mittlere Absolutwert für das gefilterte Gebiet größer als der größte zuvor berechnete mittlere Absolutwert ist; und Ausgeben (126) der optimalen Brennweite, wenn (112, 124-NEIN) der mittlere Absolutwert für das gefilterte Gebiet nicht größer als der Prozentsatz des größten zuvor berechneten mittleren Absolutwerts ist.
Verfahren nach Anspruch 1, wobei das Filtern der interessierenden Farbebene umfaßt: Unterteilen (208) der interessierenden Farbebene in eine Menge von Untergebieten; und Filtern (210) jedes Untergebiets.
Verfahren nach Anspruch 1, wobei das Filtern der interessierenden Farbebene umfaßt: Filtern (210) der interessierenden Farbebene unter Verwendung eines Finite-Impuls-Antwort-Filters.
Verfahren nach Anspruch 3, wobei das Finite-Impuls-Antwort-Filter ein 20-Abgriffs-Finite-Impuls-Antwort-Filter ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Brennweite nach dem Schritt des Einstellens (108, 120) um eine Schrittweite (f_S1, f_S2) geändert wird;
Verfahren nach Anspruch 5, wobei die Schrittweite durch die folgende Formel bestimmt wird: fS = (fmax – fmin) × SFN/SNwobei f_S die Schrittweite ist; f_max die größte Brennweite eines Bildaufnahmesystems zum Aufnehmen des Bildes ist; f_min die kleinste Brennweite des Bildaufnahmesystems ist; SN eine Gesamtzahl der Bildbewertungen steuert; und SFN1 sich auf eine Fokussierzahleinstellung sowie die Brennweite bezieht.
Einrichtung zum Bestimmen einer optimalen Brennweite in einem Bildaufnahmesystem mit einem Prozessor und einem Speicher, wobei der Prozessor so konfiguriert ist, dass er für jedes Bild einer Sequenz von Bildern: einen interessieren Bereich in dem Bild auswählt; eine interessierende Farbebene auswählt; Pixelwerte der interessierenden Farbebenen innerhalb des interessierenden Bereichs filtert, so dass ein gefiltertes Gebiet erzeugt wird, wobei Kanteninformationen extrahiert werden, wobei die Kanteninformationen für die Bestimmung nützlich sind, ob sich das Bildaufnahmesystem im Fokus befindet; ein mittlerer Absolutwert des gefilterten Gebiets bestimmt; bestimmt, ob der mittlere Absolutwert für das gefilterte Gebiet größer als ein Prozentsatz des größten zuvor berechneten mittleren Absolutwerts eines anderen Bildes ist; eine optimale Brennweite auf die Brennweite setzt, bei der das Bild aufgenommen wurde, sofern der mittlere Absolutwert für das gefilterte Gebiet größer als der größte zuvor berechnete mittlere Absolutwert ist; und die optimale Brennweite ausgibt, wenn der mittlere Absolutwert für das gefilterte Gebiet nicht größer als der Prozentsatz des größten zuvor berechneten mittleren Absolutwertes ist.
Einrichtung nach Anspruch 7, wobei das Filtern der interessierenden Farbebene umfaßt: Unterteilen der interessierenden Farbebene in eine Menge von Untergebieten; und Filtern jedes Untergebiets.
Einrichtung nach Anspruch 7, wobei das Filtern der interessierenden Farbebene umfaßt: Filtern der interessierenden Farbebene unter Verwendung eines Finite-Impuls-Antwort-Filters.
Einrichtung nach Anspruch 9, wobei das Finite-Impuls-Antwort-Filter ein 20-Abgriffs-Finite-Impuls-Antwort-Filter ist.
Einrichtung nach Anspruch 7, dadurch gekennzeichnet, dass der Prozessor die Brennweite nach dem Setzen der optimalen Brennweite auf die Brennweite um eine Schrittweite ändert.
Einrichtung nach Anspruch 11, wobei die Schrittweite durch die folgende Formel bestimmt wird: fS = (fmax – fmin) × SFN/SNwobei f_S die Schrittweite ist; f_max die größte Brennweite eines Bildaufnahmesystems zum Aufnehmen des Bildes ist; f_min die kleinste Brennweite des Bildaufnahmesystems ist; SN eine Gesamtzahl von Bildbewertungen steuert; und SFN1 sich auf eine Fokussierzahleinstellung sowie die Brennweite bezieht.