DE112012003106B4

DE112012003106B4 - Bildaufnahmevorrichtung und Steuerungsverfahren für diese

Info

Publication number: DE112012003106B4
Application number: DE112012003106.7T
Authority: DE
Inventors: Masafumi Kimura; Koichi Fukuda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-07-25
Filing date: 2012-07-24
Publication date: 2019-07-18
Anticipated expiration: 2032-07-25
Also published as: RU2014106856A; JP2013025243A; US20140192220A1; GB201400661D0; GB2506324A; CN103733106B; RU2593689C2; WO2013015436A1; DE112012003106T5; CN103733106A; GB2506324B; JP6021306B2; US10009533B2

Abstract

Bildaufnahmevorrichtung, mit:einem Sensor zum fotoelektrischen Umwandeln eines optischen Bildes eines Objekts, das durch eine fotografische Linse eintritt, und Ausgeben eines Bildsignals, wobei der Sensor dazu angepasst ist, Bilder auszugeben, die bei unterschiedlichen Einfallswinkeln basierend auf unterschiedlichen Pupillenbereichen aufgenommen werden;einer Bilderzeugungseinheit, die dazu angepasst ist, eine Vielzahl von Bildern zu erzeugen, deren Abbildungspositionen untereinander durch Verschieben der Bilder, die von dem Sensor ausgegeben werden, relativ zueinander in jedem einer Vielzahl von Schritten, verschieden sind, und die für jedes der verschobenen Bilder in jedem der Vielzahl von Schritten kombiniert werden;einer Kontrastevaluierungseinheit, die dazu angepasst, eine Vielzahl von Kontrastevaluierungswerten der Bilder, die durch die Bilderzeugungseinheit erzeugt werden, zu berechnen, von denen Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, undeiner Bestimmungseinheit, die dazu konfiguriert ist, einen besten Kontrastevaluierungswert unter der Vielzahl von Kontrastevaluierungswerten entsprechend den Bildern, deren Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, zu bestimmen.

Description

Technisches Gebiet
Die Erfindung betrifft eine Bildaufnahmevorrichtung mit einem Bildaufnahmeelement zum fotoelektrischen Umwandeln eines Objektbildes und ein Steuerungsverfahren von solch einer Vorrichtung und, insbesondere, eine Steuerungsvorrichtung und ein Verfahren eines Autofokus (nachstehend als AF bezeichnet) basierend auf einem fotoelektrisch umgewandelten Signal, das von dem Bildaufnahmeelement ausgegeben wird.
Stand der Technik
Im Stand der Technik gibt es zum Beispiel als eine Autofokussteuerung für eine Fokusanpassung bei einer Digitalkamera oder Ähnlichem hauptsächlich eine Phasendifferenz-AF-Steuerung, die in einer digitalen Spiegelreflexkamera verwendet wird, und eine Kontrast-AF-Steuerung, die in einer Kompaktkamera oder Ähnlichem verwendet wird. Es ist ein Merkmal dieser AF-Steuerung, dass zum Beispiel bei dem Phasendifferenz-AF eine Hochgeschwindigkeitsfokusanpassung erreicht werden kann und bei dem Kontrast-AF eine exakte Fokusanpassung erreicht werden kann.
Die Patentliteratur 1 offenbart zum Beispiel ein Verfahren des Durchführens einer Kontrastevaluierung basierend auf einem Signal eines Phasendifferenz-AF-Sensors. Die Patentliteratur 2 offenbart ein Verfahren, bei dem ein Bildaufnahmeelement, das Licht, das verschiedene Pupillenbereiche durchläuft, individuell empfangen kann, verwendet wird, und ein Bild, das der Fokusanpassung unterzogen wird, unter Verwendung eines Bildaufnahmesignals, das von dem Bildaufnahmeelement ausgegeben wird (das heißt nach der Bildaufnahmeverarbeitung), erzeugt wird.
Liste der zitierten Dokumente
Patentliteratur

PTL1: Japanische Patentanmeldungsoffenlegungsschrift Nr. H07-199052
PTL2: Japanische Patentanmeldungsoffenlegungsschrift Nr. 2007-4471

Weitere Beispiele von Bildaufnahmeeinrichtungen sind in den Druckschriften US 2008 / 0 259 202 A1 , DE 699 29 405 T2 , US 2007 / 0 206 940 A1 , US 2011 / 0 091 192 A1 und JP 2009-258 610 A beschrieben.
Kurzfassung der Erfindung
Technisches Problem
Gemäß dem zugehörigen Stand der Technik, der in den vorstehenden Patentliteraturen offenbart wird, gibt es jedoch einen Fall, in dem eine genügende Fokuspräzision nicht erhalten wird, und nur ein Bild erhalten wird, in dem ein beabsichtigtes Objekt nicht fokussiert ist. Das heißt, gemäß Patentliteratur 1, gibt es einen Fall, in dem die Fokuspräzision nicht immer verbessert werden kann, da ein Sensor zum Durchführen einer Kontrastberechnung und ein Sensor zum Durchführen einer Bildaufnahme verschieden sind. Gemäß Patentliteratur 2, obwohl ein Bild, in dem ein Fokuspunkt geändert ist, nach der Bildaufnahme erhalten werden kann, gibt es eine Beschränkung bezüglich eines Bereichs, in dem ein Fokus genau geändert werden kann, und wenn solch ein Bereich die Beschränkung übersteigt, ist es schwierig, das Bild normal zu erhalten.
Lösung des Problems
Die vorliegende Erfindung wurde unter Berücksichtigung der vorstehenden Situation vorgenommen, um gleichzeitig einen Phasendifferenz-AF und einen Kontrast-AF basierend auf Informationen von Licht, das in ein Bildaufnahmeelement eingedrungen ist und verschiedene Pupillenbereiche durchlaufen hat, zu erreichen. Gemäß einem Aspekt der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung gemäß Patentanspruch 1 bereitgestellt. Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung gemäß Patentanspruch 8 bereitgestellt. Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Steuerungsverfahren gemäß Patentanspruch 10 bereitgestellt. Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Steuerungsverfahren gemäß Patentanspruch 11 bereitgestellt. Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein computerlesbares Speichermedium gemäß Patentanspruch 12 bereitgestellt. Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein computerlesbares Speichermedium gemäß Patentanspruch 13 bereitgestellt. Weitere Merkmale der vorliegenden Erfindung sind in den abhängigen Patentansprüchen dargelegt.
Vorteilhafte Effekte der Erfindung
Gemäß der Erfindung kann die Bildaufnahmevorrichtung bereitgestellt werden, die die AF-Steuerung einer hohen Geschwindigkeit und eine hohe In-FokusPräzision erreichen kann.
Figurenliste

1 ist ein Blockdiagramm, das eine Systemkonstruktion einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der Erfindung darstellt.
2A, 2B und 2C sind konzeptionelle Diagramme eines optischen Systems der Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel der Erfindung.
3A, 3B und 3C sind Diagramme, die Ablaufdiagramme für eine AF-Steuerung gemäß dem ersten Ausführungsbeispiel der Erfindung darstellen.
4A, 4B und 4C sind Diagramme, die Ablaufdiagramme für eine AF-Steuerung gemäß dem ersten Ausführungsbeispiel der Erfindung darstellen.
5 ist ein konzeptionelles Diagramm eines optischen Systems zum Beschreiben der Operation des Kontrast-AF.
6A, 6B, 6C und 6D sind konzeptionelle Diagramme zum Beschreiben der Neuformierungsoperation eines Bildes.
7A, 7B und 7C sind konzeptionelle Diagramme eines optischen Systems, das auf die Erfindung angewendet werden kann.

Beschreibung der Ausführungsbeispiele
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nun detailliert entsprechend den anhängigen Zeichnungen beschrieben.
Beispiel 1
Eine Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel der Erfindung wird nachstehend mit Bezug auf 1 bis 7C beschrieben.
1 ist ein Blockdiagramm, das eine Systemkonstruktion einer Digitalkamera darstellt, die als eine Bildaufnahmevorrichtung gemäß der Erfindung dient. Ein System 100 ist durch eine Kamera 101 und eine Linse 102 aufgebaut und besitzt ein Bildaufnahmesystem, ein Bildverarbeitungssystem, ein Aufzeichnungs- und Reproduktionssystem und ein Steuerungssystem. Das Bildaufnahmesystem umfasst ein fotografisches optisches System 103 und ein Bildaufnahmeelement 106. Das Bildverarbeitungssystem umfasst eine Bildverarbeitungseinheit 107. Das Aufzeichnungs- und Reproduktionssystem umfasst eine Speichereinheit 108 und eine Anzeigeeinheit 109. Das Steuerungssystem umfasst eine Kamerasystemsteuerungseinheit 105, eine Operationserfassungseinheit 110, eine Linsensystemsteuerungseinheit 112 und eine Linsenantriebseinheit 113. Die Linsenantriebseinheit 113 kann eine Fokuslinse, eine Unschärfekorrekturlinse, eine Blende und Ähnliches antreiben.
Das Bildaufnahmesystem ist ein optisches Verarbeitungssystem zum Fokussieren von Licht (optisches Bild) von dem Objekt auf einer Bildaufnahmeebene des Bildaufnahmeelements 106 durch das fotografische optische System 103 mit einer fotografischen Linse. Mikrolinsen sind in einer Matrixform auf der Oberfläche (fotoempfindliche Oberfläche) des Bildaufnahmeelements 106 angeordnet und bilden ein sogenanntes Mikrolinsenfeld (nachstehend als MLA bezeichnet). In dem vorliegenden Ausführungsbeispiel bildet das MLA eine Pupillenaufteilungseinrichtung. Obwohl Details einer Funktion und eines Layouts des MLA nachstehend unter Verwendung von 2A bis 2C beschrieben werden, kann aufgrund der Pupillenaufteilungseinrichtung ein Fokusevaluierungsbetrag / ein geeigneter Belichtungsbetrag von einem Ausgabesignal des Bildaufnahmeelements 106 erhalten werden. Deshalb wird das fotografische optische System 103 basierend auf solch erhaltenen Informationen angemessen angepasst. Somit kann ein Objektlicht mit einem angemessenen Lichtbetrag dem Bildaufnahmeelement 106 ausgesetzt werden und das Objekt kann in der Nähe des Bildaufnahmeelements 106 fokussiert werden.
Die Bildverarbeitungseinheit 107 umfasst einen A/D-Wandler, eine Weißabgleichschaltung, eine Gammakorrekturschaltung, eine Interpolationsoperationsschaltung und Ähnliches und kann ein Bild zum Aufzeichnen durch eine Bildverarbeitung erzeugen. Ebenso können eine Bildverschiebeeinrichtung, eine Bilderzeugungseinrichtung, eine Kontrastevaluierungseinrichtung, eine Korrelationsberechnungseinrichtung und Ähnliches, die als Merkmale der Erfindung dienen, umfasst sein. (In dem vorliegenden Ausführungsbeispiel sind diese Elemente als ein Steuerungsprogramm in der Kamerasystemsteuerung konstruiert.)
Die Speichereinheit 108 besitzt nicht nur eine Speichereinheit zum tatsächlichen Speichern von Daten, sondern ebenso eine zum Aufzeichnen notwendige Verarbeitungseinheit. Die Speichereinheit 108 gibt Daten an eine Aufzeichnungseinheit aus und erzeugt und speichert ein Bild, das an die Anzeigeeinheit 109 ausgegeben wird. Die Speichereinheit 108 führt ebenso eine Komprimierungsverarbeitung des Bildes, eines Bewegtbildes, einer Tondatei oder Ähnlichem unter Verwendung eines vorbestimmten Verfahren aus.
Die Kamerasystemsteuerungseinheit 105 erzeugt ein Zeitsignal und Ähnliches zur Zeit der Bildaufnahme und gibt dieses aus und steuert das Bildaufnahmesystem, das Bildverarbeitungssystem und das Aufzeichnungs- und Reproduktionssystem als Reaktion auf die externe Operation. Zum Beispiel erfasst die Operationserfassungseinheit 110 ein Niederdrücken einer (nicht gezeigten) Verschlussfreigabetaste und steuert das Ansteuern (fotoelektrisches Wandeln) des Bildaufnahmeelements 106, die Operation der Bildverarbeitungseinheit 107, eine Komprimierungsverarbeitung der Speichereinheit 108 und Ähnliches. Weiterhin wird ebenso ein Zustand von jedem Segment einer Informationsanzeigevorrichtung zum Anzeigen von Informationen auf einem Flüssigkristallmonitor oder Ähnlichem durch die Kamerasystemsteuerungseinheit 105 und die Anzeigeeinheit 109 gesteuert.
Die Anpassungsoperation des optischen Systems durch das Steuerungssystem wird beschrieben. Die Bildverarbeitungseinheit 107 ist mit der Kamerasystemsteuerungseinheit 105 verbunden und eine Fokusposition und eine Blendenposition, die für eine Fotografiebedingung geeignet sind, werden basierend auf dem Bildsignal von dem Bildaufnahmeelement 106 erhalten. Die Kamerasystemsteuerungseinheit 105 überträgt eine Anweisung an die Linsensystemsteuerungseinheit 112 durch eine elektrische Verbindung 111. Die Linsensystemsteuerungseinheit 112 steuert die Linsenantriebseinheit 113 gemäß der Anweisung. Weiterhin ist ein (nicht gezeigter) Vibrationserfassungssensor mit der Linsensystemsteuerungseinheit 112 verbunden. In einer Betriebsart zum Vornehmen einer Vibrationskorrektur wird eine Vibrationskorrekturlinse durch die Linsenantriebseinheit 113 basierend auf einem Signal des Vibrationserfassungssensors gesteuert.
2A bis 2C sind Diagramme zum Beschreiben von Merkmalen des fotografischen optischen Systems in dem vorliegenden Ausführungsbeispiel. Um die Erfindung anzuwenden, ist es notwendig, Informationen eines Winkels und einer Position von Strahlen zu erfassen, wobei diese Informationen Lichtfeldinformationen oder Ähnliches genannt werden. In dem vorliegenden Ausführungsbeispiel ist das MLA in der Nähe der Bildaufnahmeebene des fotografischen optischen Systems 103 angeordnet und eine Vielzahl von Pixeln wird dazu gebracht, einer der Mikrolinsen, die das MLA bilden, zu entsprechen, um die Winkelinformationen zu erhalten.
2A ist ein Diagramm, das konzeptionell eine Korrespondenzbeziehung zwischen dem Bildaufnahmeelement 106 und einem MLA 220 darstellt. 2B ist ein konzeptionelles Diagramm, das eine Korrespondenz zwischen den Pixeln des Bildaufnahmeelements 106 und dem MLA 220 darstellt. 2C ist ein Diagramm, das darstellt, dass die Pixel, die unter dem MLA angeordnet sind, durch das MLA dazu gebracht werden, den spezifischen Pupillenbereichen zu entsprechen.
Wie in 2A dargestellt ist, ist das MLA 220 auf dem Bildaufnahmeelement 106 derart angeordnet, dass ein vorderer Hauptpunkt des MLA 220 in der Nähe der Fokusebene des fotografischen optischen Systems 103 liegt. 2A stellt eine Seitenansicht des Bildaufnahmeelements 106 und eine Frontansicht des MLA 220 dar. Die Linsen des MLA 220 sind derart angeordnet, dass sie die Pixel auf dem Bildaufnahmeelement 106 abdecken. Obwohl jede der Mikrolinsen, die das MLA 220 bilden, in 2A vergrößert dargestellt ist, um einfach gesehen zu werden, weist tatsächlich jede Mikrolinse eine Größe auf, die mehrmals so groß ist wie das Pixel (die tatsächliche Größe wird unter Verwendung von 2B beschrieben).
2B ist ein teilweise vergrößertes Diagramm der Frontansicht des MLA 220 in 2A. Ein Rahmen, der in einer Matrixform angeordnet ist, die in 2B dargestellt ist, gibt jedes Pixel des Bildaufnahmeelements 106 an. Die Mikrolinsen, die das MLA 220 bilden, sind entsprechend durch dicke Kreise 220a, 220b, 220c und 220d gezeigt. Wie aus 2B ersichtlich ist, ist eine Vielzahl von Pixel einer Mikrolinse zugeordnet. In dem Beispiel von 2B bilden 25 (= 5 Reihen × 5 Spalten) Pixel eine Gruppe entsprechend einer Mikrolinse. Das heißt, die Größe von jeder Mikrolinse ist gleich einer Größe von (5 × 5) -Mal der Pixelgröße.
2C ist ein Diagramm, das einen Querschnitt hinsichtlich einer Mikrolinse in einem Fall darstellt, in dem das MLA derart aufgeschnitten ist, dass der Querschnitt eine optische Achse der Mikrolinse enthält und die Längsrichtung (X-Richtung) des Bildaufnahmeelements parallel zu der seitlichen Richtung des Diagramms ist. Bezugszeichen 221, 222, 223, 224 und 225 in 2C bezeichnen Pixel (eine fotoelektrische Umwandlungseinheit) des Bildaufnahmeelements 106. Ein Diagramm, das an einer oberen Position von 2C dargestellt ist, zeigt eine Ausgangs- bzw. Austrittspupillenebene des fotografischen optischen Systems 103. Obwohl die Ausgangspupillenebene (X-Y-Ebene) parallel zu der vertikalen Richtung (y-Richtung) der Papieroberfläche von 2C gemäß einer Korrespondenz der Richtungen zwischen der Ausgangspupillenebene und dem Sensor, der in einer unteren Position von 2C dargestellt ist, ist, ist die Projektionsrichtung der Ausgangspupillenebene zur Beschreibung geändert. Um die Beschreibung von 2C zu vereinfachen, wird nun eine eindimensionale Projektion/Signalverarbeitung beschrieben. Das heißt, es wird angenommen, dass die Pupillenaufteilung von einer Dimension von nur 231 bis 235 ist und eine entsprechende Pixelanordnung wird ebenso auf eine Dimension eingestellt, zum Beispiel nur 221a bis 225a in 4B. Die Annahme wird ebenso auf eine Beschreibung von 6A bis 6D angewendet. Eine Erweiterung auf eine zweidimensionale Projektion/Signalverarbeitung in der tatsächlichen Vorrichtung kann einfach durchgeführt werden.
Es gibt positionelle Korrespondenzbeziehungen zwischen den Pixeln 221, 222, 223, 224 und 225 in 2C und 221a, 222a, 223a, 224a und 225a in 2B. Wie in 2C dargestellt ist, ist jedes Pixel derart gestaltet, dass es durch das MLA 220 einem spezifischen Ausgangspupillenbereich auf der Ausgangspupillenebene des fotografischen optischen Systems 103 zugeordnet ist. In dem Beispiel von 2C entsprechen das Pixel 221 und ein Bereich 231 einander, entsprechen das Pixel 222 und ein Bereich 232 einander, entsprechen das Pixel 223 und ein Bereich 233 einander, entsprechen das Pixel 224 und ein Bereich 234 einander, und entsprechen das Pixel 225 und ein Bereich 235 einander. Das heißt, nur das Licht, das den Bereich 231 auf der Ausgangspupillenebene des fotografischen optischen Systems 103 durchdringt, dringt in das Pixel 221 ein. Dasselbe gilt für die anderen Pixel. Als ein Ergebnis können Informationen eines Einfallswinkels des Lichts aus den positionellen Beziehungen zwischen dem durchlaufenen Bereich auf der Pupillenebene und den Pixeln auf dem Bildaufnahmeelement 106 erhalten werden.
Eine Verarbeitung zum Erhalten eines Fokusevaluierungswerts aus dem Ausgabesignal des Bildaufnahmeelements 106 unter Verwendung des fotografischen optischen Systems, das in dem Ausführungsbeispiel gezeigt ist, wird unter Verwendung von 3A bis 3C, 4A bis 4C, 5, und 6A bis 6D beschrieben.
3A bis 3C und 4A bis 4C sind Ablaufdiagramme zum Erhalten des Fokusevaluierungswerts der Erfindung. 3A zeigt das Ablaufdiagramm für die Gesamtoperation zum Erhalten des Fokusevaluierungswerts, 3B zeigt das Ablaufdiagramm für die Operation der Bildverschiebeeinrichtung, und 3C zeigt das Ablaufdiagramm für die Operation der Bilderzeugungseinrichtung. Diese Verarbeitungen werden durch ein Verfahren erreicht, bei dem die Kamerasystemsteuerungseinheit 105 jedes Steuerungsprogramm von einer (nicht gezeigten) Speichereinrichtung lädt und dieses ausführt. Eine Beschreibung wird nachstehend in der Reihenfolge von Schritten, beginnend bei 3A, vorgenommen.
Schritt S301 gibt den Start der Ermittlungsoperation des Fokusevaluierungswerts an. Zum Beispiel entspricht dies einem Fall, in dem die Fotografieroperation gestartet wird, wenn die Operationserfassungseinheit 110 der Bildaufnahmevorrichtung von 1 die spezifische Operation von dem Fotograf (zum Beispiel ein Niederdrücken einer Auslösetaste) erfasst.
Schritt S302 entspricht einem Fall, in dem, unter der Steuerung der Kamerasystemsteuerungseinheit 105, das Bildaufnahmeelement 106 gemäß der Fotografierbedingung belichtet wird, ein Lesen (A/D-Wandlung) ausgeführt wird, und Daten (Bildaufnahmesignal des Objekts) erhalten werden. Obwohl eine Belichtungsmenge zur Zeit des Fotografierens ebenso aus einer Belichtungszeit und einer Belichtungsmenge in diesem Fall berechnet werden kann, wird eine Beschreibung davon weggelassen, da dies nicht Merkmale der Erfindung sind.
Schritte S303 bis S308 sind eine Schleifenverarbeitung. In Schritt S303, während eine Fokusevaluierungsposition (entsprechend einer Neuformierungsposition bzw. Reformationsposition eines Bildes, was nachstehend unter Verwendung von 6A bis 6D beschrieben wird) um eine vorbestimmte Position (Schritt) von einem Initialwert, der im Voraus vorgegeben ist, verschoben wird, wird eine Berechnung bis zu einem vorbestimmten Endwert ausgeführt. Der Fokusevaluierungswert wird von dem besten Wert unter den Evaluierungswerten, die während der Schleife erhalten werden, bestimmt, und die entsprechende Evaluierungsposition wird als ein Fokuspunkt erhalten.
In Schritt S304 setzt die Kamerasystemsteuerungseinheit 105 die Bildverschiebeeinrichtung in Betrieb, wodurch ein Bildverschiebebetrag erhalten wird. Details der Operation der Bildverschiebeeinrichtung werden nachstehend unter Verwendung des Ablaufdiagramms von 3B beschrieben.
In Schritt S305 setzt die Kamerasystemsteuerungseinheit 105 die Bilderzeugungseinrichtung in Betrieb, wodurch eine Bilderzeugung durchgeführt wird. Details der Operation der Bilderzeugungseinrichtung werden nachstehend unter Verwendung des Ablaufdiagramms von 3C beschrieben.
In Schritt S306 setzt die Kamerasystemssteuerungseinheit 105 die Kontrastevaluierungseinrichtung in Betrieb, wodurch ein Kontrastevaluierungswert erhalten wird. Details der Operation der Kontrastevaluierungseinrichtung werden nachstehend unter Verwendung des Ablaufdiagramms von 4A beschrieben.
In Schritt S307 setzt die Kamerasystemsteuerungseinheit 105 die Korrelationsberechnungseinrichtung in Betrieb, wodurch ein Korrelationswert erhalten wird. Details der Operation der Korrelationsberechnungseinrichtung werden nachstehend unter Verwendung des Ablaufdiagramms von 4B beschrieben.
In Schritt S309 setzt die Kamerasystemsteuerungseinheit 105 die Fokusevaluierungseinrichtung in Betrieb, wodurch ein Fokusevaluierungswert erhalten wird. Details der Operation der Fokusevaluierungseinrichtung werden nachstehend unter Verwendung des Ablaufdiagramms von 4C beschrieben.
Als ein Ergebnis kann der Fokusevaluierungswert inklusive des Kontrastevaluierungswerts durch einmaliges Ausführen des Lesens des Bildaufnahmeelements 106 in Schritt S302 erhalten werden und die hohe Verarbeitungsgeschwindigkeit kann erreicht werden.
Nachfolgend wird die Operation der Bildverschiebeeinrichtung detailliert unter Verwendung des Ablaufdiagramms von 3B beschrieben.
Schritt S321 gibt den Start der Ermittlungsoperation der Bildverschiebeeinrichtung an.
Schritte S322 bis S326 sind eine Schleifenverarbeitung. In Schritt S322 wird eine Schleifenberechnung entsprechend der Anzahl von Malen entsprechend der Anzahl einer Pupillenaufteilung (der Anzahl von Malen entsprechend der Anzahl von Pixeln des Bildaufnahmeelements entsprechend einer Mikrolinse) ausgeführt. Da die Mikrolinse in dem in 2A bis 2C dargestellten Beispiel zum Beispiel in 25 Bereiche (zwei Dimensionen) aufgeteilt ist, wird ein Bildverschiebebetrag entsprechend einer Pupillenposition von jedem der 25 Bereiche berechnet. Wie nachstehend unter Verwendung von 6A bis 6D beschrieben wird, weicht sogar auf der gleichen Neuformierungsebene bei der Neuformierung des Bildes (dies ist synonym damit, dass ein durchlaufener Pupillenbereich verschieden ist, in einem Fall, in dem eine ausreichende Entfernung zu der Ausgangspupille vorhanden ist) ein Verschiebebetrag des Bildes ab, wenn der Einfallswinkel verschieden ist. Diese Schleifenverarbeitung wird durchgeführt, um solch eine Tatsache in der Bilderzeugung widerzuspiegeln.
In Schritt S323 wird ein Verschiebebetrag in jedem Pupillenbereich entsprechend der Evaluierungsposition basierend auf den Daten von Schritt S324 berechnet. In Schritt S324 wird die Korrespondenzbeziehung zwischen jedem Pixel und dem MLA gespeichert und Informationen, von denen erkannt werden kann, von welchem Pupillenbereich jedes Pixel das Licht empfängt, werden gespeichert.
In Schritt S325 werden die Pixel, die Strahlen des gleichen Einfallswinkels empfangen (die Strahlen von dem gleichen Pupillenbereich empfangen) basierend auf den Informationen in Schritt S323 verschoben. Zum Beispiel entsprechen 225a und 225b in 2A bis 2C den Pixeln, die das Licht des gleichen Einfallswinkels empfangen. Solche Pixel gibt es genauso oft wie die Anzahl von Mikrolinsen, die das MLA bilden.
In Schritt S327 kehrt die Verarbeitungsroutine zurück zu Schritt S304, in dem diese Routine aufgerufen wird.
Die Bildverschiebeeinrichtung wird nachstehend unter Verwendung von 6A bis 6D genauer beschrieben.
Details der Operation der Bilderzeugungseinrichtung werden unter Verwendung des Ablaufdiagramms von 3C beschrieben. Schritt S331 gibt den Start der Operation der Bilderzeugungseinrichtung an.
In Schritt S332 werden Daten in einem Bereich zur Addition in Schritt S335 initialisiert (mit 0 aufgefüllt). Es ist ausreichend, dass die Größe des Datenbereichs in diesem Moment gleich der Größe entsprechend der Anzahl der Mikrolinsen ist, und es ist zweckmäßig, wenn eine Abstufung der Daten nur eine solche ist, die das Produkt einer Abstufung der Originaldaten und der Anzahl einer Pupillenaufteilung speichern kann. Angenommen zum Beispiel, dass die Originaldaten 8-Bit-Daten sind und die Anzahl einer Pupillenaufteilung gleich 25 ist, ist es nicht notwendig, einen Überlauf der Daten in einer arithmetischen Operationsverarbeitung in dem Fall von 13 Bits (> 8 Bits + log₂25) zu berücksichtigen.
Schritte S333 bis S337 sind eine Schleifenverarbeitung. In Schritt S333 wird eine Schleifenberechnung entsprechend der Anzahl von Mikrolinsen, die das MLA bilden, ausgeführt (das heißt mit Bezug auf jede Mikrolinse). In dem in 2A bis 2C dargstellten Beispiel ist ein Wert von [(die Anzahl von Pixel des Originalbildaufnahmeelements) ÷ 25 (die Anzahl einer Pupillenaufteilung)] gleich der Anzahl von Mikrolinsen.
Schritte S334 bis S336 sind eine Schleifenverarbeitung. In Schritt S334 wird eine Schleifenverarbeitung gemäß der Anzahl einer Pupillenaufteilung durchgeführt. Zum Beispiel wird in dem in 2A bis 2C dargestellten Beispiel, da die Mikrolinse in 25 Bereiche aufgeteilt ist, Licht von der Pupillenposition von jedem der 25 Bereiche in Schritt S335 addiert. Wenn der Verschiebebetrag nicht um ein ganzzahliges Vielfaches länger ist als das Pixel, wird das Licht in dem Additionsschritt S335 angemessen aufgeteilt, um addiert zu werden. (Zum Beispiel wird das Licht gemäß einem Überlappungsbereich angemessen addiert.) Somit wird ein Bild, das an jeder Evaluierungsposition fokussiert ist, erneut gebildet bzw. reformiert. Bilddaten des erzeugten Bildes werden in der Speichereinheit 108 oder einer anderen (nicht gezeigten) Speichereinrichtung durch Steuerung der Kamerasystemsteuerungseinheit 105 gespeichert. Deshalb kann das erzeugte Bild reformiert und angezeigt werden.
In Schritt S338 kehrt die Verarbeitungsroutine zurück zu Schritt S305, in dem diese Routine aufgerufen wird.
Die Bilderzeugungseinrichtung wird nachstehend unter Verwendung von 6A bis 6D genauer beschrieben.
Details der Operation der Kontrastevaluierungseinrichtung werden nachstehend unter Verwendung des Ablaufdiagramms von 4A beschrieben. Schritt S441 gibt den Start der Operation der Kontrastevaluierungseinrichtung an.
In Schritt S442 werden die Anzahl von Evaluierungspunkten, die der Kontrastevaluierung zu unterziehen sind, und eine Größe des Evaluierungsrahmens (zum Beispiel ein Rahmen unter Verwendung des Evaluierungspunkts als ein Mittelpunkt) eingestellt. Wenn die Anzahl von Evaluierungspunkten größer eingestellt wird, kann dadurch der gesamte Anzeigebildschirm abgedeckt werden. Es gibt jedoch ein Problem, dass die Evaluierung eine gewisse Zeit in Anspruch nimmt. Die Anzahl von Evaluierungspunkten wird durch eine Einstellung des Benutzers oder Ähnliches angemessen eingestellt. Andererseits, wenn der Evaluierungsrahmen groß eingestellt wird, auch in dem Fall einer Textur, in der nicht viele Muster lokal vorhanden sind, kann das Bild fokussiert werden. Wenn der Evaluierungsrahmen jedoch zu groß ist, tritt ein sogenannter perspektivischer Konflikt auf, in dem Objektbilder, die sich an unterschiedlichen Entfernungen befinden, gleichzeitig evaluiert werden. Somit wird die Größe des Evaluierungsrahmens angemessen eingestellt, so dass diese Probleme gelöst werden können.
Schritte S443 bis S451 sind eine Schleifenverarbeitung. In Schritt S443 wird eine arithmetische Operation wiederholt ausgeführt, um den Evaluierungswert entsprechend des in Schritt S442 bestimmten Evaluierungspunkts zu erhalten.
Schritt S444 bis S446 sind eine Schleifenverarbeitung. In Schritt S444 wird eine Primärkontrastarithmetikoperation mit Bezug auf die Pixel in jedem Evaluierungsrahmen, der in Schritt S442 bestimmt wird, ausgeführt. Wie in Schritt S445 gezeigt ist, wird Σ|S_i - S_i-1| als eine Primärkontrastarithmetikoperation berechnet. S_i bezeichnet eine Luminanz, welche von der i-ten Bilderzeugungsvorrichtung ausgegeben wird. Durch eine Berechnung, wie vorstehend erwähnt, kann eine Luminanzdifferenz zwischen benachbarten Pixel integriert werden. In der Beschreibung von diesem Schritt wird jedoch ein Ausdruck entsprechend dem Fall, in dem die Bilder eindimensional angeordnet sind, gezeigt, um die Beschreibung klarzustellen. In den zweidimensionalen Bildern können Luminanzdifferenzen in sowohl die vertikale als auch die laterale Richtung integriert werden, oder nur die Luminanzdifferenz in eine Richtung könnte angemessen integriert werden.
Schritte S447 bis S449 sind eine Schleifenverarbeitung. In Schritt S447 wird eine Sekundärkontrastarithmetikoperation mit Bezug auf das Pixel in jedem Evaluierungsrahmen, der in Schritt S442 bestimmt wird, ausgeführt. Wie in Schritt S448 gezeigt ist, wird Σ(S_i - S_i-1)² als eine Sekundärkontrastarithmetikoperation berechnet. Ebenso wird in der Beschreibung von diesem Schritt ein Ausdruck entsprechend dem Fall, in dem die Bilder eindimensional angeordnet sind, gezeigt, um die Beschreibung klarzustellen.
5 stellt ein konzeptionelles Diagramm einer Änderung von S_i zu der Zeit dar, wenn der Fokuspunkt geändert wird. Das mittlere Diagramm von 5 zeigt den besten Fokuszustand und das obere und untere Diagramm von 5 zeigen eine Fokusunschärfezustand. Wenn der Fokuspunkt geändert wird, wie durch einen Pfeil in 5 gezeigt ist, erscheint ein Bereich mit einer großen Änderung einer Luminanz (= Abschnitt des hohen Kontrastes, 5(b)) und der Kontrast wird um diesen Bereich niedrig. Auch wenn der Kontrast jedoch abnimmt, ändert sich die Integration der Luminanzdifferenz zwischen benachbarten Pixeln (= Primärkontrast) nicht stark. In 5 wird die Integration des Primärkontrastes von S_i-3 bis S_i+3 fast eine Differenz zwischen S_i-3 und S_i+3 und ändert sich nicht stark für den Fokuspunkt. Andererseits ändert sich der Sekundärkontrast entsprechend dem Fokuspunkt stark.
In Schritt S450 wird deshalb ein Wert, der durch Teilen des Sekundärkontrastes durch das Quadrat des Primärkontrastes erhalten wird, als ein Kontrastevaluierungswert eingestellt. Durch eine Verarbeitung, wie vorstehend erwähnt, wird der Kontrastevaluierungswert bezüglich der Luminanz normiert und der Kontrastevaluierungswert des Objekts gemäß dem Fokuspunkt kann erhalten werden.
Obwohl der Kontrastevaluierungswert in dem vorliegenden Ausführungsbeispiel durch das vorstehend erwähnte Verfahren erhalten wird, kann ein anderes Berechnungsverfahren verwendet werden, solange ein Kontrastevaluierungswert, der mit einer Fokusschwankung einhergeht, erhalten wird.
In Schritt S452 kehrt die Verarbeitungsroutine zurück zu Schritt S306, in dem diese Routine aufgerufen wird.
Details der Korrelationsberechnungseinrichtung werden unter Verwendung des Ablaufdiagramms von 4B beschrieben.
Schritt S461 gibt den Start der Operation der Korrelationsberechnungseinrichtung an.
In Schritt S462 werden die Anzahl von Evaluierungspunkten, an denen die Evaluierung durchgeführt wird, und die Größe des Evaluierungsrahmens eingestellt, auf ähnliche Weise wie in Schritt S442.
Schritte S463 bis S468 sind eine Schleifenverarbeitung. In Schritt S463 wird eine arithmetische Operation wiederholt ausgeführt, um den Evaluierungswert entsprechend jedem der in Schritt S462 bestimmten Evaluierungspunkte zu erhalten.
Schritte S464 bis S466 sind eine Schleifenverarbeitung. In Schritt S464 wird eine Korrelationsberechnung mit Bezug auf die Pixel in dem in Schritt S462 bestimmten Evaluierungsrahmen ausgeführt. Wie in Schritt S465 gezeigt ist, wird Z|A_i - Bi| als eine Korrelationsberechnung berechnet. A_i bezeichnet eine Luminanz eines i-ten Pixels entsprechend einem spezifizierten durchlaufenen Pupillenbereich. B_i bezeichnet eine Luminanz eines i-ten Pixels entsprechend einem durchlaufenen Pupillenbereich, der von dem von A_i verschieden ist. Zum Beispiel ist es in 2A bis 2C ausreichend, dass die Luminanz entsprechend einem Feld von nur den Pixeln entsprechend dem Pixel 222 als A_i eingestellt wird und die Luminanz entsprechend einem Feld von nur den Pixeln entsprechend dem Pixel 224 als B_i eingestellt wird. Bezüglich der Auswahl des Pixels in welchem Pupillenbereich ist es ausreichend, dies basierend auf einer Länge einer Referenzlänge, einer Vignettierungssituation der Pupillenebene und Ähnlichem zu entscheiden.
Durch die vorstehend erwähnten Einstellungen kann die Korrelation zwischen den Bildern entsprechend den unterschiedlich durchlaufenen Pupillenbereichen berechnet werden und der Evaluierungswert basierend auf einem sogenannten Phasendifferenz-AF kann erhalten werden. In Schritt S467 wird der erhaltene Korrelationswert als ein Evaluierungswert gespeichert.
In dem Evaluierungsausdruck von Σ|A_i - B_i|, wie vorstehend erwähnt, entspricht der Abschnitt des kleinen Korrelationswerts dem Abschnitt des besten Fokuszustands. Obwohl die Korrelationsberechnung durch das Verfahren des Addierens der Absolutwerte der Differenzen ausgeführt wird, kann die Korrelationsberechnung durch ein anderes Berechnungsverfahren durchgeführt werden, wie etwa ein Verfahren des Addierens von Maximalwerten, ein Verfahren des Addierens von Minimalwerten, ein Verfahren des Addierens von differentiellen quadratischen Werten, usw.
In Schritt S469 kehrt die Verarbeitungsroutine zurück zu Schritt S307, in dem diese Routine aufgerufen wird.
Details der Fokusevaluierungseinrichtung werden unter Verwendung des Ablaufdiagramms von 4C beschrieben. Schritt S471 gibt den Start der Operation der Fokusevaluierungseinrichtung an.
In Schritt S472 wird die beste Position der Korrelationsberechnung, die durch die Schleife von Schritten S303 bis S308 in 3A erhalten werden, erhalten und die beste Fokusposition durch die Korrelationsberechnungseinrichtung wird erhalten. In dem Korrelationswert, der in Schritt S465 in 4B gezeigt ist, wird die Position des Minimalwerts als eine beste Fokusposition erhalten.
In Schritt S474 wird entschieden, ob die beste Korrelationsfokusposition einen Grenzwert der Kontrastevaluierung, die in Schritt S473 hergeleitet wird, übersteigt oder nicht. Dies liegt daran, dass es in der Neuformierung des Bildes, was unter Verwendung von 6A bis 6D beschrieben wird, notwendig ist zu unterscheiden, ob die beste Korrelationsfokusposition solch einen Wert übersteigt oder nicht, da ein reformierbarer Bereich, der aus einem optischen Entwurf entschieden wird, zum Erhalten von Winkelinformationen vorbestimmt ist.
Wenn sie den Wert übersteigt, setzt sich die Verarbeitungsroutine bei Schritt S475 fort und die Position, an der die beste Korrelation erhalten wird, wird als ein Fokusevaluierungswert verwendet.
Wenn sie den Wert nicht übersteigt, folgt Schritt S476, die beste Kontrastposition wird erhalten, und die beste Fokusposition wird durch die Kontrastevaluierungseinrichtung erhalten. Gemäß dem in Schritt S450 in 4A gezeigten Ausdruck wird die Position des größten Werts als eine beste Fokusposition erhalten. Schritt S477 folgt und die Position, die von dem besten Kontrast erhalten wird, wird als ein Fokusevaluierungswert verwendet. Die Kamerasystemsteuerungseinheit 105 erzeugt eine Linsenantriebsanweisung von dem erhaltenen Fokusevaluierungswert und überträgt diesen an eine Linsensystemsteuerungseinheit 112 durch eine elektrische Verbindung 111. Die Linsensystemsteuerungseinheit 112 steuert die Linsenantriebseinheit 113 basierend auf der empfangenen Linsenantriebsanweisung und treibt das fotografische optische System 103 an.
In Schritt S478 kehrt die Verarbeitungsroutine zurück zu Schritt S309, in dem diese Routine aufgerufen wird.
Nachfolgend werden die Bildverschiebung und die Bilderzeugung in 6A bis 6D konzeptionell gezeigt und eine Gültigkeit der Kontrastberechnung durch die Bildneuformierung wird beschrieben.
In 6A bis 6D stellt 6B eine Ebene dar, in der das Bildaufnahmeelement 106 tatsächlich vorhanden ist und das Bild erhalten wird. 6A stellt eine Neuformierungsebene (Neuformierungsebene 1) auf der Objektseite von 6B dar. 6C stellt eine Neuformierungsebene (Neuformierungsebene 2) auf der entfernten Seite von der Objektseite von 6B dar. Wie vorstehend beschrieben sind in den Diagrammen, um die Beschreibung klarzustellen, die Pupillenaufteilungsrichtung und die Pixelanordnung entsprechend auf eine Dimension eingestellt.
In 6B bezeichnen X_1,i , X_2,i , X_3,i , X_4,i und X_5,i Daten (Bilddaten), die erhalten wurden, nachdem das Licht die Pupillenbereiche 1, 2, 3, 4 und 5 durchlaufen hat und entsprechend in eine Mikrolinse X_i eingedrungen ist. Das heißt, die vordere Hälfte eines Index gibt den durchlaufenen Pupillenbereich an und die hintere Hälfte gibt die Nummer der Mikrolinse an. In Beziehung mit einer physikalischen Position gibt X_1,i die Daten an, die von dem Bereich 221 in 4C erhalten werden, und gibt X_2.i die Daten an, die von dem Bereich 222 in 4C erhalten werden. Zahlen 3, 4 und 5 der Indizes geben an, dass die Daten den Bereichen 223, 224 und 225 entsprechen.
Um das Bild auf der Erhaltungsebene zu erzeugen, ist es ausreichend, die Daten (Luminanz), die erhalten werden, nachdem das Licht in die Mikrolinse X_i eindringt, zu addieren. Genauer gesagt kann ein Integrationswert in der Winkelrichtung des Lichts, das in die Mikrolinse X_i eindringt, durch S_i = X_1,i + X_2,i + X_3,i + X_4,i + X_5,i erhalten werden. Durch Ausführen der vorstehenden Verarbeitung mit Bezug auf alle Mikrolinsen wird ein Bild erzeugt, das ähnlich dem einer normalen Kamera ist.
Nachfolgend wird ein Erzeugungsverfahren des Bildes auf der Neuformierungsebene 1 betrachtet. Wie in 2A bis 2C beschrieben ist, ist in dem fotografischen optischen System in dem vorliegenden Ausführungsbeispiel, da das Licht, das in jedes Pixel eindringt, auf einen spezifischen Pupillenbereich begrenzt ist, der Einfallswinkel bereits bekannt. Die Position von jedem Pixel auf der Neuformierungsebene wird entlang solch einem Winkel erneut gebildet bzw. neuformiert. Genauer gesagt, in dem Fall der Daten, wie etwa X_1,i , in dem der Index des Pupillenbereichs gleich 1 ist, wird angenommen, dass das Licht bei einem Winkel eintritt, der in 6D bei 641 gezeigt ist. Die Zahlen 2, 3, 4 und 5 der Indizes der Pupillenbereiche geben an, dass die Daten jeweils den Winkeln 642, 643, 644 und 645 entsprechen. In diesem Fall tritt das Licht, das in die Mikrolinse X_i auf der Neuformierungsebene 1 eintritt, verstreut bei X_i-2 bis X_i+2 (eine Dimension) an der Erhaltungsebene ein. Genauer gesagt wird das Licht zu X_1,i-2 , X_2,i-1 , X_3,i , X_4,i+1 , X_5,i+2 gestreut. Um das Bild auf der Neuformierungsebene 1 ohne Beschränkung auf X_i zu rekonstruieren, kann ebenso verstanden werden, dass es erforderlich ist, um ein Bild in der Neuformierungsebene 1 zu reformieren, das Bild gemäß dem Einfallswinkel nur zu verschieben und zu addieren. Um ein Bild auf der Neuformierungsebene 1 zu erzeugen, werden die Daten, in denen der Index des Pupillenbereichs gleich 1 ist, um zwei Pixel nach rechts verschoben, die Daten, in denen der Index des Pupillenbereichs gleich 2 ist, werden um ein Pixel nach rechts verschoben, und die Daten, in denen der Index des Pupillenbereichs gleich 3 ist, werden nicht verschoben. Die Daten, in denen der Index des Pupillenbereichs gleich 4 ist, werden um ein Pixel nach links verschoben, und die Daten, in denen der Index des Pupillenbereichs gleich 5 ist, werden um zwei Pixel nach links verschoben. Somit kann die Verschiebung entsprechend dem Einfallswinkel angewendet werden. Danach können die Daten in der Neuformierungsebene 1 durch die Addition in die vertikale Richtung, die in 6A dargestellt ist, erhalten werden. Genauer gesagt kann ein Integrationswert in der Winkelrichtung des Lichts, das in die Mikrolinse X_i in der Neuformierungsebene 1 eindringt, durch S_i = X_1,i-2 + X_2,i-1 + X_3,i + X_4,i+1 + X_5,i+2 erhalten werden. Somit kann ein Bild in der Neuformierungsebene erhalten werden.
Angenommen, dass es einen hellen Punkt in X_i in der Neuformierungsebene 1 gibt, wird das Licht nun zu X_1,i-2 , X_2,i-1 , X_3,i , X_4,i+1 und X_5,i+2 verstreut und befindet sich in einem sogenannten Unschärfezustand auf der Erhaltungsebene. Jedoch wird durch Erzeugen eines Bildes in der Neuformierungsebene 1, wie vorstehend beschrieben, wieder ein heller Punkt in X_i erzeugt und ein Bild eines hohen Kontrastes wird erhalten. Das heißt, durch Reformieren des Bildes und Berechnen des Kontrasts kann ein sogenanntes Kontrast-AF durchgeführt werden.
Wie aus 6C ersichtlich ist, kann auch in einer Neuformierungsebene 2 ein Bild durch ein Verfahren, das im Wesentlichen ähnlich zu dem in der Neuformierungsebene ist, erzeugt werden. Wenn eine Anordnungsrichtung der Neuformierungsebene verschieden ist (das heißt, dass die Richtung auf der Seite entgegengesetzt zu dem Objekt liegt), ist es ausreichend, die Verschieberichtung lediglich umzukehren.
Nachfolgend wird ein Beispiel eines weiteren optischen Systems, das auf das Ausführungsbeispiel angewendet werden kann, unter Verwendung von 7A bis 7C beschrieben. 7A bis 7C sind Diagramme, die konzeptionell einen Zustand darstellen, in dem das Licht von dem Objekt (zu fotografierendes Objekt) auf dem Bildaufnahmeelement 106 fokussiert wird. 7A entspricht dem in 2A bis 2C beschriebenen optischen System und ist ein Beispiel, in dem das MLA 220 in der Umgebung der Bildaufnahmeebene des fotografischen optischen Systems 103 angeordnet ist. 7B ist ein Beispiel, in dem das MLA 220 in der Nähe zu dem Objekt angeordnet ist, als die Bildaufnahmeebene des fotografischen optischen Systems 103. 7C ist ein Beispiel, in dem das MLA 220 von dem Objekt entfernt angeordnet ist, als die Bildaufnahmeebene des fotografischen optischen Systems 103.
In 7A bis 7C bezeichnet Bezugszeichen 106 das Bildaufnahmeelement; 220 das MLA, 231 bis 235 die Pupillenbereiche, die in 2A bis 2C verwendet werden, 751 eine Objektebene; 751a und 751b geeignete Punkte auf dem Objekt; und 752 eine Pupillenebene des fotografischen optischen Systems. Bezugszeichen 761, 762, 771, 772, 773, 781, 782, 783 und 784 bezeichnen entsprechend spezifische Mikrolinsen auf dem MLA. In 7B und 7C bezeichnet Bezugszeichen 106a ein virtuelles Bildaufnahmeelement und 220a gibt ein virtuelles MLA an. Diese sind als Referenzen dargestellt, um die Entsprechungsbeziehung mit 7A klarzustellen. Das Licht, das von dem Punkt 751a auf dem Objekt austritt und die Bereiche 231 und 233 auf der Pupillenebene durchläuft, ist durch feste Linien gezeigt, und das Licht, das aus dem Punkt 751b auf dem Objekt austritt und die Bereiche 231 und 233 auf der Pupillenebene durchläuft, ist durch gestrichelte Linien dargestellt.
In dem Beispiel von 7A, wie ebenso in 2A bis 2C beschrieben ist, besitzen das Bildaufnahmeelement 106 und die Pupillenebene 752 des fotografischen optischen Systems eine gepaarte bzw. verknüpfte Beziehung, durch Anordnen des MLA 220 in der Umgebung der Bildaufnahmeebene des fotografischen optischen Systems 103. Weiterhin weisen die Objektebene 751 und das MLA 220 eine gepaarte Beziehung auf. Deshalb erreicht das Licht, das aus dem Punkt 751a auf dem Objekt austritt, die Mikrolinse 761, erreicht das Licht, das aus dem Punkt 751b austritt, die Mikrolinse 762 und erreicht das Licht, das die Bereiche 231 bis 235 durchläuft, die entsprechenden Pixel, die unter den Mikrolinsen entsprechend bereitgestellt sind.
In dem Beispiel von 7B wird das Licht von dem fotografischen optischen System 103 durch das MLA 220 fokussiert und das Bildaufnahmeelement 106 ist auf der Bildaufnahmeebene angeordnet. Durch Anordnen der Mikrolinsen, wie vorstehend erwähnt, weisen die Objektebene 751 und das Bildaufnahmeelement 106 eine gepaarte Beziehung auf. Das Licht, das aus dem Punkt 751a auf dem Objekt austritt und den Bereich 231 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 771. Das Licht, das aus dem Punkt 751a auf dem Objekt austritt und den Bereich 233 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 772. Das Licht, das aus dem Punkt 751b auf dem Objekt austritt und den Bereich 231 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 772, das Licht, das von dem Punkt 751b auf dem Objekt austritt und den Bereich 233 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 773. Das Licht, das jede Mikrolinse durchläuft, erreicht die entsprechenden Pixel, die unter den Mikrolinsen entsprechend bereitgestellt sind. Wie vorstehend erwähnt, werden die Punkte auf dem Objekt entsprechend auf unterschiedliche Positionen des Bildaufnahmeelements fokussiert, durch die durchlaufenen Bereiche auf der Pupillenebene. Durch erneutes Anordnen dieser Punkte auf den Positionen auf dem virtuellen Bildaufnahmeelement 106a können Informationen erhalten werden, die ähnlich denen in 7A sind. Das heißt, Informationen der durchlaufenen Pupillenbereiche (Einfallswinkel) und die Positionen auf dem Bildaufnahmeelement können erhalten werden und die Funktion als Pupillenaufteilungseinrichtung wird erreicht.
In dem Beispiel von 7C wird das Licht von dem fotografischen optischen System 103 durch das MLA 220 reformiert (da das Licht in einem Zustand fokussiert wird, in dem das Licht, das fokussiert wird, verstreut wird, wird die Verarbeitung „Neuformierung“ genannt) und das Bildaufnahmeelement 106 ist auf der Bildaufnahmeebene angeordnet. Durch Anordnen der Mikrolinsen, wie vorstehend erwähnt, weisen die Objektebene 751 und das Bildaufnahmeelement 106 die gepaarte Beziehung auf. Das Licht, das aus dem Punkt 751a auf dem Objekt austritt und den Bereich 231 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 782. Das Licht, das aus dem Punkt 751a auf dem Objekt austritt und den Bereich 233 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 781. Das Licht, das aus dem Punkt 751b auf dem Objekt austritt und den Bereich 231 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 784. Das Licht, das von dem Punkt 751b auf dem Objekt austritt und den Bereich 233 auf der Pupillenebene durchläuft, erreicht die Mikrolinse 783. Das Licht, das jede Mikrolinse durchlaufen wird, erreicht die entsprechenden Pixel, die unter den Mikrolinsen entsprechend bereitgestellt sind. Auf eine Weise, die ähnlich zu der von 7B ist, können durch erneutes Anordnen dieser Punkte auf den Positionen auf dem virtuellen Bildaufnahmeelement 106a ähnliche Informationen wie die in 7A erhalten werden. Das heißt, die Informationen der durchlaufenen Pupillenbereiche (Einfallswinkel) und die Positionen auf dem Bildaufnahmeelement können erhalten werden und die Funktion als Pupillenaufteilungseinrichtung wird erreicht.
In 7A bis 7C ist das Beispiel gezeigt, in dem das MLA (Phasenmodulationselement) als Pupillenaufteilungseinrichtung verwendet wird und die Positionsinformationen und die Winkelinformationen erhalten werden können. Es kann jedoch ein anderer optischer Aufbau verwendet werden, solang dieser die Positionsinformationen und die Winkelinformationen (welche dazu äquivalent sind, dass die durchlaufenen Pupillenbereiche beschränkt sind) erhalten kann. Zum Beispiel kann ebenso ein Verfahren verwendet werden, bei dem eine Maske (Verstärkungsmodulationselement), zu dem ein geeignetes Muster gebildet ist, in einen optischen Pfad des fotografischen optischen Systems eingesetzt ist.
Weitere Beispiele
Aspekte der vorliegenden Erfindung können ebenso durch einen Computer eines Systems oder einer Vorrichtung (oder Einrichtungen, wie etwa eine CPU oder MPU) realisiert werden, der ein Programm ausliest und ausführt, das auf einer Speichereinrichtung aufgezeichnet ist, um die Funktionen der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und durch ein Verfahren, dessen Schritte durch einen Computer oder ein System oder eine Vorrichtung ausgeführt werden, zum Beispiel durch Auslesen und Ausführen eines Programms, das auf einer Speichereinrichtung aufgezeichnet ist, um die Funktionen der vorstehend beschriebenen Ausführungsbeispiele durchzuführen. Zu diesem Zweck wird das Programm dem Computer zum Beispiel über ein Netzwerk oder von einem Aufzeichnungsmedium verschiedener Arten, die als eine Speichereinrichtung dienen (zum Beispiel computerlesbares Medium), bereitgestellt.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Ansprüche ist die breiteste Interpretation zuzugestehen, so dass alle Modifikationen und äquivalenten Strukturen und Funktionen umfasst sind.
Diese Anmeldung beansprucht den Vorteil der japanischen Patentanmeldung Nr. 2011-162090 , eingereicht am 25. Juli 2011.

Claims

Bildaufnahmevorrichtung, mit: einem Sensor zum fotoelektrischen Umwandeln eines optischen Bildes eines Objekts, das durch eine fotografische Linse eintritt, und Ausgeben eines Bildsignals, wobei der Sensor dazu angepasst ist, Bilder auszugeben, die bei unterschiedlichen Einfallswinkeln basierend auf unterschiedlichen Pupillenbereichen aufgenommen werden; einer Bilderzeugungseinheit, die dazu angepasst ist, eine Vielzahl von Bildern zu erzeugen, deren Abbildungspositionen untereinander durch Verschieben der Bilder, die von dem Sensor ausgegeben werden, relativ zueinander in jedem einer Vielzahl von Schritten, verschieden sind, und die für jedes der verschobenen Bilder in jedem der Vielzahl von Schritten kombiniert werden; einer Kontrastevaluierungseinheit, die dazu angepasst, eine Vielzahl von Kontrastevaluierungswerten der Bilder, die durch die Bilderzeugungseinheit erzeugt werden, zu berechnen, von denen Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, und einer Bestimmungseinheit, die dazu konfiguriert ist, einen besten Kontrastevaluierungswert unter der Vielzahl von Kontrastevaluierungswerten entsprechend den Bildern, deren Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, zu bestimmen.
Bildaufnahmevorrichtung gemäß Anspruch 1, weiterhin mit einer Vielzahl von Mikrolinsen, die jeweils einem Entsprechenden der Vielzahl von fotoelektrischen Umwandlungsbereichen des Sensors entsprechen.
Bildaufnahmevorrichtung gemäß Anspruch 1, weiterhin mit einer Korrelationsberechnungseinheit, die dazu angepasst ist, einen Korrelationsevaluierungswert zwischen den Bildern, die von dem Sensor ausgegeben werden, zu berechnen.
Bildaufnahmevorrichtung gemäß Anspruch 3, wobei die Korrelationsberechnungseinheit eine Differenz zwischen Bilddaten entsprechend ausgewählten unterschiedlichen Austrittspupillenbereichen unter den Bilddaten der erzeugten Bilder berechnet, wodurch eine Phasendifferenz zwischen den Bildern, die die unterschiedlichen Austrittspupillenbereiche durchlaufen, berechnet wird.
Bildaufnahmevorrichtung gemäß Anspruch 1, weiterhin mit einer In-Fokus-Positionsbestimmungseinheit, die dazu angepasst ist, eine In-FokusPosition einer fotografischen Linse von dem Kontrastevaluierungswert, der durch die Kontrastevaluierungseinheit berechnet wird, zu bestimmen.
Bildaufnahmevorrichtung gemäß Anspruch 4, weiterhin mit einer In-Fokus-Positionsbestimmungseinheit, die dazu angepasst ist, eine In-FokusPosition einer fotografischen Linse von dem Kontrastevaluierungswert, der durch die Kontrastevaluierungseinheit berechnet wird, und der Phasendifferenz zu bestimmen.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 4, weiterhin mit einer Speichereinheit, die dazu angepasst ist, die Bilder, die durch die Bilderzeugungseinheit erzeugt werden, zu speichern und einer Anzeigeeinheit zum Anzeigen der Bilder, die in der Speichereinheit gespeichert werden.
Bildaufnahmevorrichtung, mit: einem Sensor zum fotoelektrischen Umwandeln eines optischen Bildes eines Objekts, das durch eine fotografische Linse eintritt, und Ausgeben eines Bildsignals, wobei der Sensor dazu angepasst ist, Bilder auszugeben, die bei unterschiedlichen Einfallswinkeln basierend auf unterschiedlichen Pupillenbereichen aufgenommen werden; einer Erfassungseinheit, die dazu angepasst ist, eine Phasendifferenz zwischen Bildern von einer Korrelation zwischen den Bildern von dem Sensor zu erfassen; einer Bilderzeugungseinheit, die dazu angepasst ist, eine Vielzahl von Bildern zu erzeugen, deren Abbildungspositionen untereinander durch Verschieben der Bilder, die von dem Sensor ausgegeben werden, relativ zueinander in jedem einer Vielzahl von Schritten, verschieden sind, und die für jedes der verschobenen Bilder in jedem der Vielzahl von Schritten kombiniert werden, wobei die Vielzahl von Bildern durch Ändern eines Bildes erzeugt wird, das einer Synthetisierung zu unterziehen ist, unter Bildern, die basierend auf den Bildern hergeleitet sind; einer Kontrastevaluierungseinheit, die dazu angepasst ist, Kontrastevaluierungswerte der Bilder, die durch die Bilderzeugungseinheit erzeugt werden, basierend auf einem Erfassungsergebnis der Phasendifferenz zu berechnen, deren Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, und einer Bestimmungseinheit, die dazu konfiguriert ist, einen besten Kontrastevaluierungswert unter der Vielzahl von Kontrastevaluierungswerten entsprechend den Bildern, deren Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, zu bestimmen.
Bildaufnahmevorrichtung gemäß Anspruch 8, weiterhin mit einer Vielzahl von Mikrolinsen, die jeweils einem Entsprechenden der Vielzahl von fotoelektrischen Umwandlungsbereichen des Sensors entsprechen, wobei die Vielzahl von Mikrolinsen auf einer fotoempfindlichen Oberfläche des Sensors angeordnet ist und konfiguriert ist, so dass eine Vielzahl von Pixel, die auf der fotoempfindlichen Oberfläche des Sensors geformt ist, in eine Vielzahl von Pixelgruppen entsprechend jeder Mikrolinse aufgeteilt wird, und jede Mikrolinse konfiguriert ist, so dass jedes Pixel der entsprechenden Pixelgruppe einem Licht von einem unterschiedlichen Austrittspupillenbereich der fotografischen Linse entspricht.
Steuerungsverfahren einer Bildaufnahmevorrichtung mit einem Sensor zum fotoelektrischen Wandeln eines optischen Bildes eines Objekts, das durch eine fotografische Linse eintritt, und Ausgeben eines Bildsignals, mit: einem Ausgabeschritt des Erhaltens, von dem Sensor, und Ausgebens von Bildern, die bei unterschiedlichen Einfallswinkeln basierend auf unterschiedlichen Pupillenbereichen aufgenommen werden; einem Bilderzeugungsschritt des Erzeugens einer Vielzahl von Bildern, deren Abbildungspositionen untereinander durch Verschieben der Bilder, die von dem Sensor ausgegeben werden, relativ zueinander in jedem einer Vielzahl von Schritten, verschieden sind, und die für jedes der verschobenen Bilder in jedem der Vielzahl von Schritten kombiniert werden; einem Kontrastevaluierungsschritt des Berechnens einer Vielzahl von Kontrastevaluierungswerten der Bilder, die durch den Bilderzeugungsschritt erzeugt werden, bei denen Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, und einem Bestimmungsschritt des Bestimmens eines besten Kontrastevaluierungswerts unter der Vielzahl von Kontrastevaluierungswerten entsprechend den Bildern, deren Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind.
Steuerungsverfahren einer Bildaufnahmevorrichtung mit einem Sensor zum fotoelektrischen Umwandeln eines optischen Bildes eines Objekts, das durch eine fotografische Linse eintritt, und Ausgeben eines Bildsignals, mit: einem Ausgabeschritt des Erhaltens, von dem Sensor, und Ausgebens von Bildern, die bei unterschiedlichen Einfallswinkeln basierend auf unterschiedlichen Pupillenbereichen aufgenommen werden; einem Erfassungsschritt des Erfassens einer Phasendifferenz zwischen den Bildern von einer Korrelation zwischen den Bildern, die von dem Sensor erhalten werden; einem Bilderzeugungsschritt des Erzeugens einer Vielzahl von Bildern, deren Abbildungspositionen untereinander durch Verschieben der Bilder, die von dem Sensor ausgegeben werden, relativ zueinander in jedem einer Vielzahl von Schritten, verschieden sind, und die für jedes der verschobenen Bilder in jedem der Vielzahl von Schritten kombiniert werden, wobei die Vielzahl von Bildern durch Ändern des Bildes, das einer Synthetisierung zu unterziehen ist, unter Bildern, die basierend auf Signalen von dem Sensor hergeleitet werden und unterschiedlichen Pupillenbereichen entsprechen, erzeugt werden; einem Kontrastevaluierungsschritt des Berechnens einer Vielzahl von Kontrastevaluierungswerten der Bilder, die durch den Bilderzeugungsschritt erzeugt werden, basierend auf einem Erfassungsergebnis der Phasendifferenz, bei denen Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind, und einem Bestimmungsschritt des Bestimmens eines besten Kontrastevaluierungswerts unter der Vielzahl von Kontrastevaluierungswerten entsprechend den Bildern, deren Abbildungspositionen in einer Fokusanpassungsrichtung voneinander verschieden sind.
Computerlesbares Speichermedium, das ein Programm speichert, das einen Programmcode umfasst, zum Veranlassen eines Computers, ein Steuerungsverfahren der Bildaufnahmevorrichtung gemäß Anspruch 10 auszuführen.
Computerlesbares Speichermedium, das ein Programm speichert, das einen Programmcode umfasst, zum Veranlassen eines Computers, ein Steuerungsverfahren der Bildaufnahmevorrichtung gemäß Anspruch 11 auszuführen.