DE112019003836T5

DE112019003836T5 - Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und bildaufnahmevorrichtung

Info

Publication number: DE112019003836T5
Application number: DE112019003836.2T
Authority: DE
Inventors: Osamu Izuta; Takeshi Nishida
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-08-01
Filing date: 2019-05-16
Publication date: 2021-04-22
Also published as: US11490060B2; CN112514376B; WO2020026561A1; JPWO2020026561A1; CN112514376A; US20210168345A1

Abstract

Nach dieser Erfindung erzeugt eine Bildaufnahmeeinheit 23 ein Bildsignal eines aufgenommenen Bilds. Eine optische Sensoreinheit 25 weist einen Sichtwinkel auf, der gleich oder breiter als der der Bilderfassungseinheit 23 ist, und erzeugt ein Sensorsignal entsprechend den spektralen Eigenschaften zum Zeitpunkt der Erfassung des aufgenommenen Bilds. Ein Steuergerät 50 stellt unter Verwendung eines Ergebnisses zur Schätzung der optischen Quelle, das auf dem von der optischen Sensoreinheit 25 erzeugten Sensorsignal basiert, die Zuverlässigkeit eines Ergebnisses zur Schätzung der optischen Quelle fest, das auf dem von der Bilderfassungseinheit 23 erzeugten Bildsignal basiert. Das Steuergerät 50 klassifiziert beispielsweise das Ergebnis der Schätzung der optischen Quelle auf Grundlage des Bildsignals in die Kategorie einer optischen Quelle, die auf Grundlage des Sensorsignals geschätzt werden kann, und vergleicht die Nachklassifizierungskategorie mit der auf Grundlage des Sensorsignals geschätzten optischen Quelle. Wenn die Nachklassifizierungskategorie geändert wird, aber die auf Grundlage des Sensorsignals geschätzte optische Quelle nicht geändert wird, wird festgestellt, dass das Ergebnis der Schätzung der optischen Quelle auf Grundlage des Bildsignals nicht zuverlässig ist, und eine Änderung des Anpassungswerts für die Weißabgleichsanpassung wird nicht vorgenommen. Dementsprechend kann die Weißabgleichsanpassung genau und stabil ausgeführt werden.

Description

[Technisches Gebiet]
Diese Technik bezieht sich auf eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Programm und eine Bildgebungsvorrichtung und ermöglicht eine stabile Ausführung einer genaueren Weißabgleichsanpassung.
[Technischer Hintergrund]
Konventionell wird in einer Bildgebungsvorrichtung die Weißabgleichsanpassung unter Verwendung eines Steuerwerts einer Lichtquelle bei der Bildgebung, wie z. B. der Sonne oder einer Leuchtstofflampe, entsprechend ausgeführt. Beispielsweise wird in PTL 1 ein aufgenommenes Bild in mehrere Blockbereichen unterteilt, um die Weißabgleichsanpassung nach einer Farbtemperatur auszuführen, die auf Grundlage einer in jedem Blockbereich erfassten Infrarotmenge geschätzt wird. Ferner wird in PTL 2 ein optischer Sensor verwendet, dessen Bildgebungsbereich gleich einem Bildgebungsbereich eines Bildgebungselements ist, und unter Verwendung eines Steuerwerts für die Farbkorrektur, der auf Grundlage eines ersten fotoelektrischen Umwandlungssignals, das durch fotoelektrische Umwandlung von Gegenstandslicht durch das Bildgebungselement mit einer ersten spektralen Empfindlichkeitscharakteristik erhalten wird, und eines zweiten fotoelektrischen Umwandlungssignals, das durch fotoelektrische Umwandlung des Gegenstandslichts durch den optischen Sensor mit einer zweiten spektralen Empfindlichkeitscharakteristik erhalten wird, berechnet wird, wird eine Weißabgleichsanpassung des ersten fotoelektrischen Umwandlungssignals ausgeführt.
[Zitatliste]
[Patentliteratur]

[PTL 1] Japanische offengelegte Patentpublikation Nr. 2015-228546
[PTL 2] Japanische offengelegte Patentpublikation Nr. 2017-123502

[Kurzdarstellung]
[Technische Probleme]
Zufällig wird in einem Fall, in dem die Weißabgleichsanpassung auf Grundlage des Motivlichts des aufgenommenen Bilds oder des Bildgebungsbereichs ausgeführt wird, ein Bereich eines im aufgenommenen Bild erfassten Hintergrunds abhängig von einem Unterschied im Sichtwinkel weitgehend verändert. In einem Fall, in dem ein sich bewegendes Objekt mit einem engen Sichtwinkel abgebildet wird, wird der im aufgenommenen Bild erfasste Hintergrund weitgehend verändert. Daher besteht die Gefahr, dass die Weißabgleichsanpassung aufgrund der Änderung des aufgenommenen Hintergrunds variiert.
Daher ist es ein Ziel dieser Technik, eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Programm und eine Bildgebungsvorrichtung bereitzustellen, die in der Lage sind, eine genauere Weißabgleichsanpassung stabil auszuführen.
[Lösung von Problemen]
Ein erster Aspekt dieser Technik ist eine Bildverarbeitungsvorrichtung, die eine Weißabgleichseinstelleinheit, die einen Weißabgleichsanpassungswert eines Bildsignals eines aufgenommenen Bilds einstellt, das durch fotoelektrische Umwandlung von Licht von einem Objekt durch ein Bildgebungselement unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals erzeugt wird, und ein Lichtquellen-Schätzergebnis auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, umfasst, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds aufweist und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet.
Bei dieser Technik klassifiziert die Weißabgleichseinstelleinheit das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals, das durch die fotoelektrische Umwandlung des Lichts vom Objekt durch das Bildgebungselement erzeugt wird, in Kategorien von Lichtquellen, die auf Grundlage des Sensorsignals geschätzt werden können, das von der optischen Sensoreinheit erzeugt wird, die eine spektrale Charakteristik einer Bildgebungsumgebung erfasst. Die optische Sensoreinheit weist einen breiteren Sichtwinkel als den des aufgenommenen Bilds und eine spektrale Empfindlichkeit in einer anderen Region als das Bildgebungselement auf. Die optische Sensoreinheit weist z. B. einen Sichtwinkel auf, der den Sichtwinkel des aufgenommenen Bilds umfasst, weist einen breiteren Sichtwinkel als den des aufgenommenen Bilds auf und weist eine Empfindlichkeit mindestens in einem Infrarotbereich auf. Die Weißabgleichseinstelleinheit stellt die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals aus einem Vergleichsergebnis zwischen der klassifizierten Kategorie und der auf Grundlage des Sensorsignals geschätzten Lichtquelle fest. In einem Fall, in dem das Bildgebungselement sukzessive mehrere Bildsignale jedes Bilds erzeugt, wird die Feststellung der Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals in Bezug auf ein Lichtquellen-Schätzergebnis auf Grundlage des zweiten Bildsignals oder folgender Bildsignale aus den mehreren Bildsignalen ausgeführt. Ferner kann die Feststellung der Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals in einem Fall ausgeführt werden, in dem eine Differenz zwischen einem Sichtwinkel eines optischen Bildgebungssystems und dem Sichtwinkel der optischen Sensoreinheit gleich oder breiter als ein vorbestimmter Wert ist. Bei der Feststellung der Zuverlässigkeit des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses aktualisiert die Weißabgleichseinstelleinheit den Weißabgleichsanpassungswert nicht, wobei sie feststellt, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis in einem Fall nicht zuverlässig ist, in dem, wenn beispielsweise die Kategorie nach der Klassifizierung geändert wird, die auf Grundlage des Sensorsignals geschätzte Lichtquelle nicht so geändert wird, dass sie eine Lichtquelle ist, die der geänderten Kategorie entspricht. Ferner stellt die Weißabgleichseinstelleinheit den Anpassungswert der Weißabgleichsanpassung nach dem Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals ein, wobei festgestellt wird, dass das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals in einem Fall zuverlässig ist, in dem die Kategorie nach der Klassifizierung gleich der Lichtquelle ist, die auf Grundlage des Sensorsignals geschätzt wurde. Ferner stellt die Weißabgleichseinstelleinheit in einem Fall, in dem die Zuverlässigkeit des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses nicht festgestellt ist, den Anpassungswert der Weißabgleichsanpassung nach dem auf dem Bildsignal basierenden Lichtquellen-Schätzergebnis ein. Eine Weißabgleichsanpassungseinheit, die die Weißabgleichsanpassung des Bildsignals auf Grundlage des Weißabgleichsanpassungswerts ausführt, kann ferner vorgesehen sein. In einem Fall, in dem der Sichtwinkel des aufgenommenen Bilds aufgrund des optischen Zooms um einen vorbestimmten Wert oder mehr breiter ist als der Sichtwinkel des Sensorsignals, kann die Weißabgleichseinstelleinheit den Weißabgleichsanpassungswert unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals und des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals einstellen.
Ein zweiter Aspekt dieser Technik ist ein Bildverarbeitungsverfahren, das eine Einstellung eines Weißabgleichsanpassungswerts eines Bildsignals eines aufgenommenen Bilds durch eine Weißabgleichseinstelleinheit, das durch fotoelektrische Umwandlung von Licht von einem Objekt durch ein Bildgebungselement unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals erzeugt wird, und ein Lichtquellen-Schätzergebnis auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, umfasst, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds aufweist und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet.
Ein dritter Aspekt dieser Technik ist ein Programm, das einen Computer veranlasst, eine Weißabgleichsanpassung auszuführen, wobei das Programm den Computer veranlasst, ein Verfahren des Erhaltens eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals eines aufgenommenen Bilds, das durch fotoelektrische Umwandlung von Licht von einem Subjekt durch ein Bildgebungselement erzeugt wird, ein Verfahren des Erhaltens eines Lichtquellen-Schätzergebnisses auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds hat und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet, und ein Verfahren zum Einstellen eines Weißabgleichsanpassungswerts des Bildsignals unter Verwendung des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses und des auf dem Sensorsignal basierenden Lichtquellen-Schätzergebnisses auszuführen.
Es ist zu beachten, dass das Programm nach dieser Technik ein Programm ist, das beispielsweise einem Allzweckcomputer, der in der Lage ist, verschiedene Programmcodes auszuführen, durch ein Aufnahmemedium, das in einem computerlesbaren Format vorliegt, wie beispielsweise eine optische Platte, eine Magnetplatte oder ein Halbleiterspeicher, oder ein Kommunikationsmedium, wie beispielsweise ein Netzwerk, bereitgestellt werden kann. Ein solches Programm wird in einem computerlesbaren Format bereitgestellt, wodurch ein Prozess nach dem Programm auf dem Computer umgesetzt wird.
Ein vierter Aspekt dieser Technik ist eine Bildgebungsvorrichtung mit einer Bildgebungseinheit, die ein Bildsignal eines aufgenommenen Bilds durch fotoelektrische Umwandlung von Licht von einem Subjekt erzeugt, einer optischen Sensoreinheit, die einen breiteren Sichtwinkel als den des aufgenommenen Bilds hat und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet, eine Weißabgleichsanpassungseinheit, die eine Weißabgleichsanpassung des von der Bildgebungseinheit erzeugten Bildsignals ausführt, und eine Weißabgleichseinstelleinheit, die einen Weißabgleichsanpassungswert des Bildsignals unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals des aufgenommenen Bilds und eines Lichtquellen-Schätzergebnisses auf Grundlage eines von der optischen Sensoreinheit erzeugten Sensorsignals bei Erhalt des aufgenommenen Bilds einstellt.
[Vorteilhafte Wirkung der Erfindung]
Nach dieser Technik wird der Weißabgleichsanpassungswert des Bildsignals unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals des aufgenommenen Bilds, das durch fotoelektrische Umwandlung des Lichts von dem Objekt durch das Bildgebungselement erzeugt wird, und des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals, das durch die optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, eingestellt, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet. Dementsprechend kann die Weißabgleichsanpassung genauer und stabiler ausgeführt werden als in einem Fall, in dem der Weißabgleichsanpassungswert nur auf der Basis des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals eingestellt wird. Es ist zu beachten, dass die in dieser Vorgabe beschriebenen Effekte lediglich illustrativ und nicht beschränkt sind. Weitere Effekte können bereitgestellt werden.
Figurenliste

[1] 1 ist ein Diagramm, das die Konfiguration einer Bildgebungsvorrichtung illustriert.
[2] 2 zeigt Kurven, die eine spektrale Kennlinie und die spektrale Empfindlichkeit illustrieren.
[3] 3 ist ein Ablaufdiagramm zur Illustration einer Weißabgleichssteuerungsoperation.
[4] 4 ist ein Diagramm zur Illustration von Lichtquellen, die erkennbar sind.
[5] 5 ist ein Diagramm zur Illustration eines Kategorisierungsprozesses.
[6] 6 ist ein Diagramm zur Illustration eines spezifischen Beispiels für einen Steuerungsoperation der Weißabgleichsanpassung.
[7] 7 ist ein Diagramm zur Illustration der Lichtquellen-Schätzergebnisse für das spezifische Beispiel.
[8] 8 ist ein Diagramm zur Illustration eines weiteren spezifischen Beispiels.
[9] 9 ist ein Diagramm zur Illustration noch eines weiteren spezifischen Beispiels der Steuerungsoperation der Weißabgleichsanpassung.
[10] 10 ist ein Diagramm zur Illustration der Lichtquellen-Schätzergebnisse für das noch weitere spezifische Beispiel.

[Beschreibung der Ausführungsform]
Nachfolgend wird eine Ausführungsform nach dieser Technik beschrieben. Es ist zu beachten, dass die Beschreibung in der folgenden Reihenfolge vorgenommen wird.

1. Konfiguration der Bildgebungsvorrichtung
2. Betrieb der Bildgebungsvorrichtung
3. Modifikationen

<1. Konfiguration der Bildgebungsvorrichtung>
1 illustriert eine Konfiguration einer Bildgebungsvorrichtung nach dieser Technik. Eine Bildgebungsvorrichtung 10 weist ein optisches Bildgebungssystem 21, einen Treiber für das optische Bildgebungssystem 22, eine Bildgebungseinheit 23, eine lichtemittierende Einheit 24, eine optische Sensoreinheit 25, einen Bildprozessor 30, eine Aufnahmeeinheit 41, eine Kommunikationseinheit 42, einen Sucher (VF) 43, eine Anzeige 44, eine Benutzeroberfläche 45 und ein Steuergerät 50 auf.
Das optische Bildgebungssystem 21 ist beispielsweise mit einem Fokusobjektiv und einem Zoomobjektiv aufgebaut. Das optische Bildgebungssystem 21 treibt beispielsweise das Fokusobjektiv und das Zoomobjektiv auf Grundlage eines Treibersignals vom Treiber für das optische Bildgebungssystem 22 an, um ein optisches Bild eines Objekts auf einer Bildgebungsfläche der Bildgebungseinheit 23 zu erzeugen. Alternativ kann das optische Bildgebungssystem 21 beispielsweise mit einem Iris- (Blenden-) Mechanismus und einem Verschlussmechanismus ausgestattet sein, um die jeweiligen Mechanismen auf Grundlage des Ansteuersignals vom Treiber 22 des optischen Bildgebungssystems anzusteuern. Alternativ kann das optische Bildgebungssystem 21 Einstellinformationen ausgeben, die eine Objektivposition und eine Blendenposition an den Treiber des optischen Bildgebungssystems 22 oder das Steuergerät 50 anzeigen. Alternativ kann das optische Bildgebungssystem 21 abnehmbar sein, um die Verwendung des optischen Bildgebungssystems 21 mit anderen optischen Eigenschaften zu ermöglichen.
Die Bildgebungseinheit 23 ist mit einem Bildgebungselement wie einem CMOS (komplementärem Metalloxidhalbleiter) oder einer CCD (ladungsgekoppelten Vorrichtung) aufgebaut. Die Bildgebungseinheit 23 führt eine fotoelektrische Umwandlung mit einem Bildgebungselement durch, das eine spektrale Charakteristik nach einem Bereich des sichtbaren Lichts aufweist, d. h. eine spektrale Empfindlichkeit in dem Bereich des sichtbaren Lichts im Licht des Objekts, um ein Bildsignal des aufgenommenen Bilds zu erzeugen, das RAW-Daten sind. Die Bildgebungseinheit 23 gibt das erzeugte Bildsignal an den Bildprozessor 30 aus. Ferner gibt die lichtemittierende Einheit 24 Beleuchtungslicht auf Grundlage eines Steuersignals von dem Steuergerät 50 ab.
Die optische Sensoreinheit 25 erzeugt ein Sensorsignal unter Verwendung eines Sensors mit einer spektralen Charakteristik entsprechend einer Bildgebungsumgebung, die einen nicht sichtbaren Lichtbereich umfasst, d. h. mit einer spektralen Empfindlichkeit im nicht sichtbaren Lichtbereich im Licht des Objekts, wobei der Sensor eine andere spektrale Empfindlichkeit als das Bildgebungselement in der Bildgebungseinheit 23 aufweist. Die optische Sensoreinheit 25 weist einen Sichtwinkel auf, der als ein Erfassungsbereich dient, der den Sichtwinkel des von der Bildgebungseinheit 23 aufgenommenen Bilds umfasst und ein breiterer Sichtwinkel als der des aufgenommenen Bilds ist. Die optische Sensoreinheit 25 gibt das entsprechend der spektralen Charakteristik im Sichtwinkel bei der Bildgebung erzeugte Sensorsignal an das Steuergerät 50 aus.
2 illustriert die spektrale Kennlinie und die spektrale Empfindlichkeit. Es ist zu beachten, dass Abschnitt (a) aus 2 die spektralen Eigenschaften von Lichtquellen illustriert, Abschnitt (b) aus 2 die spektrale Empfindlichkeit des in der Bildgebungseinheit 23 verwendeten Bildgebungselements illustriert und Abschnitt (c) aus 2 die spektrale Empfindlichkeit des in der optischen Sensoreinheit 25 verwendeten Sensors illustriert.
Wie in Abschnitt (a) aus 2 illustriert, sind beispielsweise natürliches Licht (Sonnenlicht) und nicht-natürliches Licht (z. B. eine weiße Lichtquelle oder eine Glühlampenfarblichtquelle) in einem Infrarotbereich unterschiedlich stark. Die Bildgebungseinheit 23 weist beispielsweise eine Empfindlichkeit in einer roten, einer blauen und einer grünen Region auf und erzeugt ein Bildsignal mit den drei Grundfarben Rot, Grün und Blau. Wie in Abschnitt (c) aus 2 illustriert, weist die optische Sensoreinheit 25 eine Empfindlichkeit zumindest im Infrarotbereich, um eine Unterscheidung zwischen dem natürlichen Licht und dem nicht natürlichen Licht zu ermöglichen auf, das in Teil (a) aus 2 auf Grundlage des Sensorsignals illustriert ist. Wenn die optische Sensoreinheit 25 zusätzlich zum Infrarotbereich auch im sichtbaren Bereich empfindlich ist, kann auch eine Unterscheidung zwischen der weißen Lichtquelle und der beispielsweise elektrischen Glühlampenfarblichtquelle vorgenommen werden.
Die Bildgebungseinheit 23 weist eine Empfindlichkeit beispielsweise in der roten, blauen und grünen Region auf und kann daher die Lichtquelle auf Grundlage des Bildsignals fein klassifizieren. Wenn der Sichtwinkel jedoch eng ist und beispielsweise der im aufgenommenen Bild erfasste Hintergrund weitgehend verändert wird, ändert sich in einigen Fällen das Lichtquellen-Schätzergebnis auch dann, wenn die Lichtquelle, wie später beschrieben, nicht verändert wird. Da die optische Sensoreinheit 25 einen breiteren Sichtwinkel als die Bildgebungseinheit 23 aufweist, kann die optische Sensoreinheit 25 das Lichtquellen-Schätzergebnis, das der Lichtquelle entspricht, im Vergleich zu dem Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals leichter erhalten. Die Schätzung der Lichtquelle auf Grundlage des von der optischen Sensoreinheit 25 erzeugten Sensorsignals kann die Lichtquelle jedoch im Vergleich mit der Lichtquellenschätzung auf Grundlage des Bildsignals nicht fein klassifizieren. Dann führt der Bildprozessor 30 stabil eine genauere Weißabgleichsanpassung aus, indem er das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals und das Lichtquellen-Schätzergebnis auf Grundlage des Sensorsignals verwendet.
Der Bildprozessor 30 weist einen Vorprozessor 31, einen Demosaikprozessor 32, einen linearen Matrixwandler 33, eine Weißabgleichsanpassungseinheit (WB-Anpassungseinheit) 34, eine Blendenkorrektureinheit 35, einen Signaladdierer 36, eine γ-Korrektureinheit 37 und einen Signalwandler 38 auf.
Der Vorprozessor 31 führt beispielsweise einen Rauschunterdrückungsprozess, einen Verstärkungsanpassungsprozess, einen Analog-Digital-Wandlungsprozess und eine Korrektur defekter Pixel an dem von der Bildgebungseinheit 23 erzeugten Bildsignal durch. Der Vorprozessor 31 gibt das verarbeitete Bildsignal an den Demosaikprozessor 32 aus.
Der Demosaikprozessor 32 führt einen Demosaikprozess unter Verwendung des Bildsignals durch, das die RAW-Daten sind, wobei das Bildsignal durch den Vorprozessor 31 verarbeitet wird, um ein Bildsignal zu erzeugen, dessen ein Pixel Farbkomponenten repräsentiert, beispielsweise ein Bildsignal mit drei Primärfarben. Der Demosaikprozessor 32 gibt das erzeugte Bildsignal an den linearen Matrixwandler 33 und die Blendenkorrektureinheit 35 aus. Es ist zu beachten, dass der Demosaikprozess ein Beispiel für einen Farbseparationsprozess ist. In einem Fall, in dem ein Bildgebungselement verwendet wird, das beispielsweise einen Streifenfarbfilter umfasst, der kein Mosaikfarbfilter ist, wird ein Farbseparationsprozess eines anderen Systems ausgeführt.
Der lineare Matrixwandler 33 führt eine Matrixoperation des vom Demosaikprozessor 32 ausgegebenen Bildsignals durch, erzeugt ein Bildsignal mit einem Zielfarbton und gibt das Bildsignal an die Weißabgleichsanpassungseinheit 34 aus.
Die Weißabgleichsanpassungseinheit 34 korrigiert ein Ungleichgewicht zwischen den Farben, das beispielsweise durch einen Unterschied der Lichtquelle verursacht wird. Die Weißabgleichsanpassungseinheit 34 führt eine Verstärkungsanpassung, auf Grundlage eines von dem Steuergerät 50 gelieferten Anpassungswerts, für das Bildsignal der drei Primärfarben, umfassend beispielsweise Rot, Grün und Blau, durch, das von dem linearen Matrixwandler 33 ausgegeben wird, wodurch der Farbabgleich eines neutralen Farbanteils des Motivs als neutrale Farbe reproduziert werden kann. Die Weißabgleichsanpassungseinheit 34 gibt das verarbeitete Bildsignal an den Signaladdierer 36 aus.
Die Blendenkorrektureinheit 35 führt beispielsweise eine Extraktion von Hochfrequenzanteilen aus dem vom Demosaikprozessor 32 gelieferten Bildsignal und eine Pegelanpassung des extrahierten Signals durch, erzeugt ein Konturenkorrektursignal und gibt das erzeugte Signal an den Signaladdierer 36 aus.
Der Signaladdierer 36 addiert das von der Blendenkorrektureinheit 35 gelieferte Konturenkorrektursignal zu dem von der Weißabgleichsanpassungseinheit 34 gelieferten Bildsignal, erzeugt ein Bildsignal, an dem ein Konturenkorrekturprozess ausgeführt wurde, und gibt das Bildsignal an die γ-Korrektureinheit 37 aus.
Die γ-Korrektureinheit 37 führt eine γ-Korrektur des vom Signaladdierer 36 gelieferten Bildsignals durch und gibt das korrigierte Bildsignal an den Signalwandler 38 aus.
Der Signalwandler 38 wandelt das γ-korrigierte Bildsignal in ein Signal entsprechend der Bildaufnahme um. Der Signalwandler 38 wandelt z. B. das γ-korrigierte Bildsignal der drei Primärfarben in ein Leuchtdichtesignal und ein Farbdifferenzsignal um und führt dann einen Kodierungsprozess durch, um die resultierenden Daten an die Aufnahmeeinheit 41 auszugeben. Ferner führt der Signalwandler 38 einen Dekodiervorgang an einem von der Aufnahmeeinheit 41 gelieferten Signal durch und wandelt ein Leuchtdichtesignal und ein so erhaltenes Farbdifferenzsignal in ein Bildsignal mit drei Grundfarben um. Außerdem wandelt der Signalwandler 38 in einem Fall, in dem das Bildsignal an eine externe Vorrichtung ausgegeben wird, das γ-korrigierte Bildsignal der drei Primärfarben in ein für die Kommunikation geeignetes Signal um. Der Signalwandler 38 wandelt z. B. das γ-korrigierte Bildsignal der drei Primärfarben in das Leuchtdichtesignal und das Farbdifferenzsignal um, kodiert die umgewandelten Signale und gibt die kodierten Daten an die Kommunikationseinheit 42 aus. Ferner wandelt der Signalwandler 38 das γ-korrigierte Bildsignal oder das Bildsignal, das beispielsweise durch Dekodierung des von der Aufnahmeeinheit 41 gelieferten Signals erhalten wurde, in ein Bildsignal entsprechend der Anzeigeauflösung des Suchers 43 oder der Anzeige 44 um. Der Signalwandler 38 gibt das auflösungskonvertierte Bildsignal an den Sucher 43 oder die Anzeige 44 aus.
Ein Aufnahmemedium 410 ist fest oder abnehmbar an der Aufnahmeeinheit 41 angebracht. Die Aufnahmeeinheit 41 speichert das vom Signalwandler 38 gelieferte kodierte Signal auf dem Aufnahmemedium 410. Ferner liest die Aufnahmeeinheit 41 das auf dem Aufnahmemedium 410 aufgenommene Signal und gibt das Signal an den Signalwandler 38 aus.
Die Kommunikationseinheit 42 kommuniziert mit der externen Vorrichtung und gibt beispielsweise das vom Signalwandler 38 gelieferte Signal an die externe Vorrichtung aus. Ferner gibt die Kommunikationseinheit 42 ein von der externen Vorrichtung geliefertes Kommunikationssignal an das Steuergerät 50 aus.
Der Sucher 43 und die Anzeige 44 werden beispielsweise mit einem Flüssigkristall-Anzeigeelement oder einem organischen EL-Anzeigeelement aufgebaut. Der Sucher 43 und die Anzeige 44 zeigen das von der Bildgebungseinheit 23 erhaltene Bild oder das auf dem Aufnahmemedium 410 aufgenommene Bild an, auf Grundlage des vom Signalwandler 38 gelieferten Bildsignals. Ferner zeigen der Sucher 43 und die Anzeige 44 beispielsweise verschiedene Einstellungsbildschirme und verschiedene Informationen wie Funktionen und Vorgänge der Bildgebungsvorrichtung 10 auf Grundlage eines vom Steuergerät 50 gelieferten Anzeigesignals an.
Die Benutzeroberfläche 45 weist beispielsweise einen Betriebsschalter, eine Betriebstaste, ein Betriebsrad und einen Fernbedienungssignalempfänger auf, erzeugt ein Betriebssignal entsprechend einer Benutzerbedienung und gibt das Betriebssignal an das Steuergerät 50 aus.
Das Steuergerät 50 weist beispielsweise eine CPU (zentrale Prozessoreinheit), einen ROM (Festwertspeicher) und einen RAM (Direktzugriffspeicher) auf. Im ROM (Festwertspeicher) sind verschiedene Programme gespeichert, die von der CPU (zentrale Prozessoreinheit) ausgeführt werden. Im RAM (Direktzugriffspeicher) werden Informationen wie z. B. verschiedene Parameter gespeichert. Die CPU führt die verschiedenen im ROM gespeicherten Programme aus und steuert jede Einheit so, dass die Bildgebungsvorrichtung 10 Operationen entsprechend der Benutzerbedienung oder einer Anforderung von der externen Vorrichtung ausführt, beispielsweise. auf Grundlage des Betriebssignals von der Benutzeroberfläche 45 oder des Kommunikationssignals von der externen Vorrichtung, das von der Kommunikationseinheit 42 empfangen wird.
Ferner führt das Steuergerät 50 vor dem Weißabgleichsprozess eine Lichtquellenschätzung auf Grundlage des Bildsignals durch. Für die Lichtquellenschätzung auf Grundlage des Bildsignals können verschiedene bestehende Techniken verwendet werden. Wie beispielsweise im japanischen offengelegten Patent Nr. 2004-165932 beschrieben, führt das Steuergerät 50 eine Operation an Sensoransprechwerten durch, die eine kolorimetrische Annäherung aus einer bekannten spektralen Empfindlichkeitscharakteristik einer Bildgebungseinheit und einer angenommenen spektralen Charakteristik einer Testlichtquelle ermöglicht, projiziert die Sensoransprechwerte in einen von einer Lichtquelle unabhängigen Auswertungsraum bei der Bildgebung und bewertet die Korrektheit mehrerer Testlichtquellen auf Grundlage eines verteilten Zustands von Abtastwerten der projizierten Szene, wodurch die Lichtquelle geschätzt wird. Alternativ dazu kann das Steuergerät 50 Signalkomponenten erkennen, um die Lichtquelle auf Grundlage des Erkennungsergebnisses zu schätzen, oder er kann die Lichtquelle aus einer Verteilung von Farbsignalen schätzen.
Ferner führt das Steuergerät 50 eine Lichtquellenschätzung auf Grundlage des von der optischen Sensoreinheit 25 gelieferten Sensorsignals durch. Wie zum Beispiel aus den spektralen Eigenschaften der in 2 illustrierten Lichtquellen offensichtlich ist, unterscheiden sich das natürliche Licht (Sonnenlicht) und das nicht-natürliche Licht (z. B. die weiße Lichtquelle oder die elektrische Glühlampenfarblichtquelle) voneinander in ihrer Leistung im Infrarotbereich. Dementsprechend kann bei Verwendung einer optischen Sensoreinheit mit einer Empfindlichkeit im Infrarotbereich auf Grundlage des Signalpegels des Sensorsignals unterschieden werden, ob es sich bei der Lichtquelle um natürliches Licht oder nicht-natürliches Licht handelt. Ferner kann die optische Sensoreinheit, wenn mehrere Empfindlichkeitsbereiche im sichtbaren Bereich vorhanden sind, auf Grundlage von beispielsweise einem Leistungsunterschied zwischen den jeweiligen Empfindlichkeitsbereichen im Sensorsignal der optischen Sensoreinheit, beispielsweise einem Unterschied zwischen einem Verhältnis einer Blaukomponente zu einer Grünkomponente und einem Verhältnis einer Rotkomponente zu der Grünkomponente, auch die weiße Lichtquelle und die elektrische Glühlampenfarblichtquelle unterscheiden.
Ferner führt das Steuergerät 50 die Steuerung der Weißabgleichsanpassung des Bildsignals unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals des aufgenommenen Bilds und eines Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals bei Erhalt des aufgenommenen Bilds durch, um eine genaue Weißabgleichsanpassung auszuführen. Beispielsweise in einem Fall, in dem die Bildgebungseinheit 23 nacheinander mehrere Bildsignale jedes Bilds erzeugt, verwendet das Steuergerät 50 das Lichtquellen-Schätzergebnis auf Grundlage des Sensorsignals, um festzustellen, ob das Lichtquellen-Schätzergebnis auf Grundlage von einem zweiten Bildsignal oder folgenden Bildsignalen aus den mehreren Bildsignalen ein zuverlässiges Lichtquellen-Schätzergebnis ist. Ferner stellt das Steuergerät 50 einen Anpassungswert der Weißabgleichsanpassung auf Grundlage des zuverlässigen Lichtquellenschätzungsergebnisses fest und gibt den festgestellten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus, wodurch eine stabile Ausführung der genauen Weißabgleichsanpassung ermöglicht wird. Alternativ dazu kann das Steuergerät 50 in einem Fall, in dem eine Differenz zwischen dem Sichtwinkel des aufgenommenen Bilds und dem Sichtwinkel der optischen Sensoreinheit 25 gleich oder breiter als ein vorbestimmter Wert ist, d. h. der Sichtwinkel der optischen Sensoreinheit 25 ist um den vorbestimmten Wert oder mehr breiter als der Sichtwinkel des aufgenommenen Bilds, feststellen, ob das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis zuverlässig ist. Dabei kann der vorgegebene Wert berücksichtigt werden, dass der Sichtwinkel der optischen Sensoreinheit 25 mindestens breiter ist als der Sichtwinkel des aufgenommenen Bilds, oder dass der Sichtwinkel der optischen Sensoreinheit 25 um ein vorgegebenes Verhältnis oder mehr breiter ist als der Sichtwinkel des aufgenommenen Bilds. Es ist zu beachten, dass die Einstellung des Anpassungswerts der Weißabgleichsanpassung auf Grundlage des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses, des auf dem Sensorsignal basierenden Lichtquellen-Schätzergebnisses und eines Verwendungsfeststellungsergebnisses des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses von der Weißabgleichsanpassungseinheit 34 anstelle das Steuergeräts 50 ausgeführt werden kann.
Die Bildgebungsvorrichtung 10 ist nicht auf die in 1 illustrierte Konfiguration beschränkt, kann eine in 1 nicht illustrierte Konfiguration aufweisen oder kann eine Konfiguration sein, bei der ein Abschnitt der in 1 illustrierten Konfiguration ausgeschlossen ist. Die Bildgebungseinheit 23 kann z. B. mit einem Bildelement für jede Farbkomponente der drei Grundfarben ausgestattet sein. In diesem Fall muss der Demosaikprozessor 32 nicht vorhanden sein. Ferner kann die Bildgebungsvorrichtung 10 eine Funktion zum Aufzeichnen beispielsweise der RAW-Daten oder des Lichtquellenerkennungsergebnisses auf das Aufnahmemedium 410 und eine Funktion zum Übertragen der RAW-Daten oder des Lichtquellenerkennungsergebnisses an die externe Vorrichtung haben.
<2. Bedienung der Bildgebungsvorrichtung>
3 ist ein Ablaufdiagramm zur Illustration einer Weißabgleichssteuerungsoperation der Bildgebungsvorrichtung. In Schritt ST1 stellt das das Steuergerät fest, ob ein automatischer Weißabgleich (AWB) eingestellt ist. In einem Fall, in dem die Betriebseinstellung der Bildgebungsvorrichtung 10 auf den automatischen Weißabgleichsmodus eingestellt ist, fährt das Steuergerät 50 mit Schritt ST2 fort, und in einem Fall, in dem die Betriebseinstellung der Bildgebungsvorrichtung 10 nicht auf den automatischen Weißabgleichsmodus eingestellt ist, führt das Steuergerät 50 den Weißabgleichssteuerungsvorgang nicht aus und endet. Es ist zu beachten, dass eine Prozessschleife von Schritt ST1 bis Schritt ST10 für jede Aktualisierungsperiodeneinheit der Weißabgleichsanpassung ausgeführt wird, beispielsweise pro Bild oder für mehrere Bilder.
In Schritt ST2 führt das Steuergerät die Lichtquellenschätzung auf Grundlage des Bildsignals durch. Das Steuergerät 50 schätzt die Lichtquelle auf Grundlage des Bildsignals vor dem Weißabgleichsprozess und fährt mit Schritt ST3 fort.
In Schritt ST3 führt das Steuergerät die Lichtquellenschätzung auf Grundlage des Sensorsignals aus. Das Steuergerät 50 schätzt die Lichtquelle auf Grundlage des von der optischen Sensoreinheit 25 gelieferten Sensorsignals und fährt mit Schritt ST4 fort. Es ist zu beachten, dass die auf Grundlage des Sensorsignals geschätzte Lichtquelle auch als sensorgeschätzte Lichtquelle bezeichnet wird.
In Schritt ST4 stellt das das Steuergerät fest, ob ein Stabilisierungsvorgang ausgeführt werden soll. In einem Fall, in dem ein Betriebsmodus zur Gewinnung mehrerer Bildaufnahmen, beispielsweise ein Bewegtbildmodus oder ein aufeinanderfolgender Bildaufnahmemodus, eingestellt ist und eine zweite Bildaufnahme oder eine nachfolgende Bildaufnahme ab Beginn der Aufnahme ausgeführt werden soll, stellt das Steuergerät 50 fest, dass der Stabilisierungsprozess ausgeführt werden soll. Anders ausgedrückt, der Stabilisierungsprozess wird an einem aufgenommenen Bild (Rahmen) ausgeführt, das nach einem ersten aufgenommenen Bild (Rahmen) aufgenommen werden soll. Der Stabilisierungsvorgang kann immer, muss aber nicht immer ausgeführt werden. Beispielsweise kann in einem Fall, in dem das Bild nicht aufgenommen wird, der Stabilisierungsprozess ausgelassen werden. Es ist wünschenswert, den Stabilisierungsprozess in einem Fall auszuführen, in dem mindestens eines aus der Bildgebungsvorrichtung selbst oder der externen Vorrichtung, die verkabelt oder drahtlos mit der Bildgebungsvorrichtung verbunden ist und das Bild von der Bildgebungsvorrichtung selbst empfängt, um das Bild aufzunehmen, das Bild aufnimmt. Dementsprechend kann in einem Fall, in dem nur ein Durchgangsbild angezeigt wird und das aufgenommene Bild nicht aufgenommen wird, der Stabilisierungsprozess entfallen. Wenn der Stabilisierungsprozess in einem Fall ausgeführt wird, in dem die Differenz zwischen dem Sichtwinkel des aufgenommenen Bilds und dem Sichtwinkel der optischen Sensoreinheit 25 gleich oder breiter als der vorbestimmte Wert ist, kann das Steuergerät 50 den Stabilisierungsprozess in einem Fall nicht ausführen, in dem der Sichtwinkel des aufgenommenen Bilds durch optisches Zoomen verbreitert wird, und eine Variation der Weißabgleichsanpassung in Abhängigkeit von einer Änderung des zu erfassenden Hintergrunds kann nicht auftreten. In einem Fall, in dem festgestellt wird, den Stabilisierungsprozess auszuführen, fährt das Steuergerät 50 mit Schritt ST5 fort, und in einem Fall, in dem festgestellt wird, den Stabilisierungsprozess nicht auszuführen, beispielsweise in einem Fall, in dem die erste Bildgebung im Bewegtbildmodus oder im aufeinanderfolgenden Bildgebungsmodus oder in einem einzelnen Bildgebungsmodus eingestellt ist, fährt das Steuergerät 50 mit Schritt ST10 fort.
Im Schritt ST5 führt das Steuergerät eine Kategorisierung aus. Das Steuergerät 50 klassifiziert die auf Grundlage des Bildsignals in Schritt ST2 geschätzte Lichtquelle in eine der Kategorien von Lichtquellen, die durch die Lichtquellenschätzung in Schritt ST3 geschätzt werden können, und fährt mit Schritt ST6 fort.
In Schritt ST6 stellt das Steuergerät fest, ob eine Änderung der Kategorie eingetreten ist. In einem Fall, in dem die in Schritt ST5 klassifizierte Kategorie gleich einer zuvor in dem später beschriebenen Schritt ST9 gespeicherten Kategorie ist, stellt das Steuergerät 50 fest, dass die Änderung der Kategorie nicht eingetreten ist, und fährt mit Schritt ST7 fort. In einem Fall, in dem sich die in Schritt ST5 klassifizierte Kategorie von der zuvor in dem später beschriebenen Schritt ST9 gespeicherten Kategorie unterscheidet, stellt das Steuergerät 50 fest, dass eine Änderung der Kategorie eingetreten ist, und fährt mit Schritt ST8 fort.
In Schritt ST7 stellt das Steuergerät fest, ob eine Änderung der sensorgeschätzten Lichtquelle eingetreten ist. In einem Fall, in dem die sensorgeschätzte Lichtquelle, die auf Grundlage des Sensorsignals in Schritt ST3 geschätzt wurde, sich von einer sensorgeschätzten Lichtquelle, die zuvor in Schritt ST9, der später beschrieben wird, gespeichert wurde, geändert hat, fährt das Steuergerät 50 mit Schritt ST8 fort. In einem Fall, in dem sich die sensorgeschätzte Lichtquelle, die auf Grundlage des Sensorsignals in Schritt ST3 geschätzt wurde, nicht von der sensorgeschätzten Lichtquelle, die zuvor in dem später beschriebenen Schritt ST9 gespeichert wurde, geändert hat, fährt das Steuergerät 50 mit Schritt ST9 fort.
In Schritt ST8 stellt das Steuergerät fest, ob die sensorgeschätzte Lichtquelle und die Kategorie übereinstimmen. Das Steuergerät 50 stellt fest, ob die sensorgeschätzt Lichtquelle im Schritt ST7 der aktuellen Prozessschleife mit der Kategorie der Lichtquelle auf Grundlage des Bildsignals übereinstimmt, die durch den Kategorisierungsprozess im Schritt ST5 der aktuellen Prozessschleife klassifiziert wird. In einem Fall, in dem festgestellt wird, dass die sensorgeschätzte Lichtquelle gleich der Kategorie ist, stellt das Steuergerät 50 fest, dass das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals zuverlässig ist, und fährt mit Schritt ST9 fort. In einem Fall, in dem festgestellt wird, dass die sensorgeschätzte Lichtquelle nicht der Kategorie entspricht, stellt das Steuergerät 50 fest, dass das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals nicht zuverlässig ist, und kehrt zu Schritt ST1 zurück. Dabei wird durch die Rückkehr von Schritt ST8 zu Schritt ST1 der Prozess in Schritt ST10 nicht in der aktuellen Prozessschleife ausgeführt. Dadurch werden die Weißabgleichsschätzung und die Einstellung der Weißabgleichsanpassung stabilisiert.
In Schritt ST9 speichert das Steuergerät die sensorgeschätzte Lichtquelle und die Kategorie. Das Steuergerät 50 speichert (überschreibt) Informationen, die die sensorgeschätzte Lichtquelle und die Kategorie angeben, so dass die Änderung der Kategorie in Schritt ST6 und die Änderung der sensorgeschätzten Lichtquelle in Schritt ST7 unter Verwendung von Informationen festgestellt werden können, die die sensorgeschätzte Lichtquelle und die Kategorie angeben, wenn der Anpassungswert der Weißabgleichsanpassung das letzte Mal in der Vergangenheit eingestellt wurde, wenn die Prozesse in den Schritten ST6 und ST7 danach wiederholt werden, und fährt mit Schritt ST10 fort.
In Schritt ST10 aktualisiert das Steuergerät den Anpassungswert der Weißabgleichsanpassung, indem es den Anpassungswert der Weißabgleichsanpassung einstellt. Beispielsweise in einem Fall, in dem der Stabilisierungsprozess nicht aufgrund einer Anweisung eines Benutzers ausgeführt wird, in einem Fall, in dem der Stabilisierungsprozess nicht ausgeführt wird, weil der Einzelbildmodus, d. h. ein Standbildfotografiemodus, der nur ein Standbild fotografiert, eingestellt ist, oder in einem Fall, in dem die Kategorie des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses nicht geändert wird, stellt das Steuergerät 50 den Anpassungswert der Weißabgleichsanpassung nach dem auf dem Bildsignal basierenden Lichtquellen-Schätzergebnis in der aktuellen Prozessschleife ein, d. h. in dem unmittelbar zuvor ausgeführten Prozess in ST2. Ferner stellt das Steuergerät 50 in einem Fall, in dem die Kategorie des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses geändert wird und festgestellt wird, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis zuverlässig ist, d. h. in einem Fall, in dem die Kategorie des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses gleich dem auf dem Sensorsignal basierenden Lichtquellen-Schätzergebnis ist, den Anpassungswert der Weißabgleichsanpassung entsprechend dem auf dem Bildsignal basierenden Lichtquellen-Schätzergebnis in dem unmittelbar zuvor ausgeführten Prozess in ST2 ein. Es ist zu beachten, dass in einem Fall, in dem nach der Ausführung des Stabilisierungsprozesses die Kategorie des auf dem Bildsignal basierenden Lichtquellen-Schätzergebnisses geändert wird, aber festgestellt wird, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis nicht zuverlässig ist, das Steuergerät 50 von dem oben beschriebenen Prozess in Schritt ST8 zu dem Prozess in Schritt ST1 übergeht und den Prozess in Schritt ST9 nicht ausführt, wodurch ein Wert vor der Änderung der Kategorie als der Anpassungswert der Weißabgleichsanpassung gehalten wird. Mit dieser Konfiguration kann eine Stabilisierung der Weißabgleichsschätzung und der Weißabgleichsanpassung erreicht werden. Das Steuergerät 50 gibt den erzeugten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus und kehrt zu Schritt ST1 zurück. Bei dieser Konfiguration führt die Weißabgleichsanpassungseinheit 34 die Weißabgleichsanpassung des Bildsignals auf Grundlage des vom Steuergerät 50 ausgegebenen Anpassungswerts durch.
Kurz gesagt, in einem Fall, in dem der Stabilisierungsprozess ausgeführt wird, stellt das Steuergerät 50 den Anpassungswert der Weißabgleichsanpassung auf Grundlage des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals in Schritt ST2 in der aktuellen Prozessschleife neu ein, nur in einem Fall, in dem sowohl die sensorgeschätzte Lichtquelle als auch die Kategorie geändert werden und die geänderten Ergebnisse miteinander übereinstimmen. In anderen Fällen verwendet das Steuergerät 50 den zuvor eingestellten Anpassungswert für die Weißabgleichsanpassung. Dadurch werden die Weißabgleichsschätzung und der Anpassungswert der Weißabgleichsanpassung stabilisiert.
Ferner ist die Weißabgleichssteuerungsoperation der Bildgebungsvorrichtung nicht auf die in 3 illustrierte Prozessreihenfolge beschränkt. Beispielsweise können in einem Fall, in dem die in Schritt ST2 oder Schritt ST3 geschätzte Lichtquelle geändert wird, die Prozesse von Schritt ST5 bis Schritt ST9 ausgeführt werden. Anders ausgedrückt, kann der Vorgang in Schritt ST4 entfallen.
Als nächstes wird ein spezifisches Beispiel für die Steuerungsoperation der Weißabgleichsanpassung beschrieben. 4 illustriert erkennbare Lichtquellen. Abschnitt (a) aus 4 illustriert Lichtquellen, die auf Grundlage des Bildsignals erkennbar sind, und Abschnitt (b) aus 4 illustriert Lichtquellen, die auf Grundlage des Sensorsignals erkennbar sind. Das Steuergerät 50 kann beispielsweise Sonnenschein, Schatten und Bewölkung bei Sonnenlicht sowie eine Glühlampenfarblichtquelle, eine Weißlichtquelle, eine Neutralweißlichtquelle, eine Tageslichtfarblichtquelle und eine Quecksilberlampe auf Grundlage des Bildsignals unterscheiden. Ferner kann das Steuergerät 50 auf Grundlage des Sensorsignals zwischen natürlichem und nicht-natürlichem Licht unterscheiden. Es ist zu beachten, dass, wie in Abschnitt (a) aus 4 und Abschnitt (b) aus 4 illustriert ist, die Arten von Lichtquellen, die auf Grundlage des Bildsignals erkennbar sind, allgemein zahlenmäßig breiter als die Arten von Lichtquellen, die auf Grundlage des Sensorsignals erkennbar sind.
5 illustriert den vom Steuergerät 50 ausgeführten Kategorisierungsprozess, und die in Abschnitt (a) aus 4 illustrierten Lichtquellen sind in die in Abschnitt (b) von 4 illustrierten Lichtquellen kategorisiert. Beispielsweise werden „Sonnenschein, Schatten und Bewölkung unter Sonnenlicht“, die Lichtquellen sind, die auf dem Bildsignal basierend erkannt werden können, in eine Kategorie des natürlichen Lichts kategorisiert, und die „Glühlampenfarblichtquelle, weiße Lichtquelle, neutralweiße Lichtquelle, tageslichtfarbige Lichtquelle und Quecksilberlampe“ werden in eine Kategorie des nicht-natürlichen Lichts kategorisiert. Dieser Kategorisierungsprozess erfolgt, um einen Unterschied zwischen der Lichtquelle, die auf Grundlage des Bildsignals geschätzt werden kann, und der Lichtquelle, die auf Grundlage des Sensorsignals geschätzt werden kann, aufzunehmen.
6 illustriert ein spezifisches Beispiel für die Steueroperation der Weißabgleichsanpassung und stellt einen Fall dar, in dem z. B. ein Motorrad auf einer Rennstrecke abgebildet wird. Ein Motorrad OB fährt auf einer Strecke, und eine Bildgebungsrichtung der Bildgebungsvorrichtung 10 wird der Bewegung des Motorrads OB entsprechend bewegt, wodurch mehrere Bilder erfasst werden, indem jede Region, die beispielsweise durch eine gestrichelte Linie an den Positionen PS1 bis PS6 angezeigt wird, abgebildet wird. Ferner ist der Sichtwinkel der optischen Sensoreinheit 25 beispielsweise ein Bereich PR1, der durch eine Linie mit abwechselnden langen und kurzen Strichen an der Position PS1 angezeigt wird, und ein Bereich PR4, der durch eine Linie mit abwechselnden langen und kurzen Strichen an der Position PS4 angezeigt wird. Der Sichtwinkel der optischen Sensoreinheit 25 ist ein Sichtwinkel, der den Sichtwinkel des von der Bildgebungseinheit 23 aufgenommenen Bilds aufweist und breiter ist als der des aufgenommenen Bilds. Wie in Abschnitt (c) aus 2 illustriert, weist die optische Sensoreinheit 25 eine Empfindlichkeit mindestens in dem Infrarotbereich auf. Der Sichtwinkel der optischen Sensoreinheit 25 weist den Sichtwinkel des von der Bildgebungseinheit 23 aufgenommenen Bilds auf und ist breiter als der des aufgenommenen Bilds. Auch wenn der Sichtwinkel der optischen Sensoreinheit 25 beispielsweise zwischen dem Bereich PR1 und dem Bereich PR4 liegt, wird eine auf Grundlage des Sensorsignals erkannte Lichtquelle L2 als „natürliches Licht“ erkannt
7 illustriert die Lichtquellen-Schätzergebnisse des spezifischen Beispiels in 6. Es ist zu beachten, dass in 7 definiert ist, dass die Lichtquelle, die auf Grundlage des Bildsignals erkannt wird, eine Lichtquelle L1 ist, die Lichtquelle, die auf Grundlage des Sensorsignals erkannt wird, die Lichtquelle L2 ist, und die Kategorie der Lichtquelle L1, die durch Ausführung des Kategorisierungsprozesses der Lichtquelle L1 erkannt wird, eine Kategorie LC1 ist. Ferner wird angenommen, dass das Wetter gut ist, die Strecke beispielsweise asphaltiert ist, und ein Abschnitt, der die Strecke ausschließt, grasbewachsen ist. Wenn außerdem die Wiese grün ist und größtenteils in den Bildgebungsbereich fällt, kann es vorkommen, dass bei der Lichtquellenschätzung auch der Sonnenschein unter Sonnenlicht fälschlicherweise als weiße Lichtquelle eingeschätzt wird.
An den Positionen PS1 bis PS3 fallen das Motorrad-OB, die Strecke und die Wiese in den durch die gestrichelte Linie angedeuteten Bildgebungsbereich, und das Verhältnis der Strecke ist hoch. In diesem Fall wird unterschieden, dass die auf Grundlage des Bildsignals erkannte Lichtquelle L1 der „Sonnenschein“ ist und die auf Grundlage des Sensorsignals erkannte Lichtquelle L2 das „natürliche Licht“ ist. Ferner wird die Kategorie LC1 als „natürliches Licht“ festgelegt, da die Lichtquelle L1 der „Sonnenschein“ ist. An den Positionen PS1 bis PS3 stimmen die Lichtquelle L2 und die Kategorie LC1 überein. Dementsprechend stellt das Steuergerät 50 fest, dass das Schätzergebnis der Lichtquelle L1 zuverlässig ist, stellt den Anpassungswert der Weißabgleichsanpassung ein, während er das Schätzergebnis der Lichtquelle L1, d. h. die Lichtquelle als „Sonnenschein“ definiert, und gibt den eingestellten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus, um die Weißabgleichsanpassung auszuführen.
Danach wird angenommen, dass an der Position PS4 ein Verhältnis der Wiese im Bildgebungsbereich zunimmt, und die Lichtquelle L1, die auf Grundlage des Bildsignals erkannt wird, wird z. B. von „Sonnenschein“ auf „weiße Beleuchtung“ geändert. Da die Lichtquelle L1 die „weiße Beleuchtung“ ist, wird die Kategorie LC1 als „nicht-natürliches Licht“ festgelegt. In einem Fall, in dem die Kategorie LC1 der Lichtquelle L1 auf diese Weise geändert wird, und in einem Fall, in dem die Lichtquelle L2 nicht auch auf die gleiche Lichtquelle wie die Kategorie LC1 geändert wird, wird festgestellt, dass das Lichtquellen-Schätzergebnis der Lichtquelle L1 nicht zuverlässig ist, und der Anpassungswert der Weißabgleichsanpassung wird nicht geändert. Auch an den Positionen PS5 und PS6, ähnlich wie an der Position PS4, wenn die Lichtquelle L1 als „weiße Lichtquelle“ eingeschätzt wird, sind die Kategorie LC1 der Lichtquelle L1 und der Lichtquelle L2 immer noch voneinander verschieden. Daher wird festgestellt, dass das Schätzergebnis der Lichtquelle L1 nicht zuverlässig ist, und der Anpassungswert der Weißabgleichsanpassung wird nicht geändert. Dementsprechend wird nach dieser Technik, selbst wenn die an den Positionen PS4 bis PS6 geschätzte Lichtquelle L1 von der an den Positionen PS1 bis PS3 geschätzten Lichtquelle L1 geändert wird, die Weißabgleichsanpassung unter Verwendung des Anpassungswerts vor der Änderung der Kategorie unabhängig vom Schätzergebnis der Lichtquelle L1 ausgeführt. Daher kann die Bildgebungsvorrichtung 10 die Weißabgleichsanpassung stabil ausführen. Ferner wird in einem Fall, in dem festgestellt wird, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis zuverlässig ist, die Weißabgleichsanpassung nach dem auf dem Bildsignal basierenden Lichtquellen-Schätzergebnis ausgeführt, wodurch die Weißabgleichsanpassung ausgeführt werden kann, die genauer ist als der Fall, in dem das Lichtquellen-Schätzergebnis auf Grundlage des Sensorsignals verwendet wird.
8 illustriert ein weiteres spezifisches Beispiel. Wenn beispielsweise eine Richtung der Bildgebungsvorrichtung 10 entsprechend der Bewegung eines weißen Vogels BR bewegt wird und mehrere Bilder nacheinander durch Bildgebung innerhalb der durch gestrichelte Linien gekennzeichneten Regionen erhalten werden, ist der Hintergrund zwischen den Positionen PS11 bis PS13 unterschiedlich. Beispielsweise ist der Hintergrund an der Position PS11 „Meer“, der Hintergrund an der Position PS12 ist ein „Berg“ und der Hintergrund an der Position PS13 ist „Himmel“. Wenn in einem solchen Fall der Anpassungswert auf Grundlage des Bildsignals eingestellt wird, kann eine Farbe des Vogels BR fälschlicherweise geändert werden, so dass sie beispielsweise rötlich-weiß oder bläulich-weiß ist, je nach dem Unterschied im Hintergrund. Nach dieser Technik kann jedoch in einem Fall, in dem festgestellt wird, dass das auf dem Bildsignal basierende Lichtquellenschätzungsergebnis nicht zuverlässig ist, der Anpassungswert in einem Zustand vor einer Änderung des Lichtquellenschätzungsergebnisses gehalten werden, wodurch verhindert werden kann, dass die Farbe des Vogels BR aufgrund des Unterschieds im Hintergrund geändert wird.
9 illustriert noch ein weiteres spezifisches Beispiel für die Steueroperation der Weißabgleichsanpassung und stellt einen Fall dar, in dem ein Fahrzeug MO in einem Tunnel beispielsweise die Vorderseite abbildet. Das Fahrzeug MO, an dem die Bildgebungsvorrichtung 10 angebracht ist, dessen Sichtwinkel in Bezug auf das Fahrzeug MO feststeht, fährt vom Inneren des Tunnels, wo die elektrische Glühlampenfarbbeleuchtung erfolgt, in Richtung des Äußeren des Tunnels, wo das Wetter schön ist. Der Bewegung des Fahrzeugs MO entsprechend wird ein Sichtwinkelbereich, der durch eine Linie mit abwechselnden langen und kurzen Strichen der optischen Sensoreinheit 25 angezeigt wird, bewegt, und mehrere Bilder werden z. B. durch Aufnahmen an den Positionen PS21 bis PS26 erhalten. Es ist zu beachten, dass zwar der Sichtwinkel der Bildgebungseinheit 23 in 9 nicht illustriert ist, der Sichtwinkel der Bildgebungseinheit 23 jedoch als ein Bereich eingestellt ist, der enger als der Sichtwinkel der optischen Sensoreinheit 25 ist.
10 illustriert die Lichtquellen-Schätzergebnisse des noch weiteren spezifischen Beispiels in 9. Es ist zu beachten, dass in 10 definiert ist, dass die Lichtquelle, die auf Grundlage des Bildsignals erkannt wird, die Lichtquelle L1 ist, die Lichtquelle, die auf Grundlage des Sensorsignals erkannt wird, die Lichtquelle L2 ist, und die Kategorie der Lichtquelle L1, die durch Ausführung des Kategorisierungsprozesses der Lichtquelle L1 erkannt wird, die Kategorie LC1 ist.
An den Positionen PS21 und PS22 fällt eine Region innerhalb des Tunnels größtenteils in den Sichtwinkelbereich der optischen Sensoreinheit 25, der durch eine Linie mit abwechselnden langen und kurzen Strichen angezeigt wird, und die aufgrund des Sensorsignals erkannte Lichtquelle L2 wird als „nicht-natürliches Licht“ unterschieden. Ferner fällt die Region innerhalb des Tunnels größtenteils in den Sichtwinkel der Bildgebungseinheit 23, und die auf Grundlage des Bildsignals erkannte Lichtquelle L1 wird als „elektrische Glühlampenfarbbeleuchtung“ unterschieden. Da die Lichtquelle L1 die „elektrische Glühlampenfarbbeleuchtung“ ist, wird die Kategorie LC1 als „nicht-natürliches Licht“ festgelegt. Wie oben beschrieben, wird an den Positionen PS21 und PS22, da die Lichtquelle L2 und die Kategorie LC1 miteinander übereinstimmen, festgestellt, dass das Lichtquellen-Schätzergebnis der Lichtquelle L1 zuverlässig ist, und das Steuergerät 50 stellt den Anpassungswert der Weißabgleichsanpassung ein, während sie als Lichtquelle die „elektrische Glühlampenfarbbeleuchtung“ definiert, die das Schätzergebnis der Lichtquelle L1 ist, und gibt den eingestellten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus, um die Weißabgleichsanpassung auszuführen.
An der Position PS23 fällt eine Region innerhalb des Tunnels weitgehend in den Sichtwinkelbereich der optischen Sensoreinheit 25, der durch eine Linie mit abwechselnden langen und kurzen Strichen angezeigt wird, und die aufgrund des Sensorsignals erkannte Lichtquelle L2 wird als „nicht-natürliches Licht“ unterschieden. Ferner fällt die Region außerhalb des Tunnels größtenteils in den Sichtwinkel der Bildgebungseinheit 23 Sonnenlicht, und die auf Grundlage des Bildsignals erkannte Lichtquelle L1 wird von „elektrische Glühlampenfarbbeleuchtung“ auf „Sonnenschein“ geändert. Da die Lichtquelle L1 „Sonnenschein“ ist, wird die Kategorie LC1 als „natürliches Licht“ festgelegt. Wie oben beschrieben, wird an der Position PS23, da die Lichtquelle L2 und die Kategorie LC1 unterschiedlich voneinander sind, festgestellt, dass das Lichtquellen-Schätzergebnis der Lichtquelle L1 nicht zuverlässig ist, und das Steuergerät 50 stellt den Anpassungswert der Weißabgleichsanpassung ein, während sie als Lichtquelle die „elektrische Glühlampenfarbbeleuchtung“ definiert, bevor die Kategorieänderung des Schätzergebnisses der Lichtquelle L1 erfolgt, und gibt den eingestellten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus, um die Weißabgleichsanpassung auszuführen.
An der Position PS24 fällt eine Region außerhalb des Tunnels weitgehend in den Sichtwinkelbereich der optischen Sensoreinheit 25, der durch eine Linie mit abwechselnden langen und kurzen Strichen angezeigt wird, und die aufgrund des Sensorsignals erkannte Lichtquelle L2 auf „natürliches Licht“ geändert. Da die Region außerhalb des Tunnels größtenteils in dem Sichtwinkel der Bildgebungseinheit 23 enthalten ist, wird ferner bestimmt, dass die basierend auf dem Bildsignal erfasste Lichtquelle L1 der „Sonnenschein“ ist. Da die Lichtquelle L1 „Sonnenschein“ ist, wird die Kategorie LC1 als „natürliches Licht“ festgelegt. Wie oben beschrieben, wird an der Position PS24, da die Lichtquelle L2 und die Kategorie LC1 miteinander übereinstimmen, festgestellt, dass das Ergebnis der Schätzung der Lichtquelle L1 zuverlässig ist, und das Steuergerät 50 stellt den Anpassungswert der Weißabgleichsanpassung ein, während sie als Lichtquelle die „Sonnenschein“ definiert, die das Schätzergebnis der Lichtquelle L1 ist, und gibt den eingestellten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus, um die Weißabgleichsanpassung auszuführen.
An den Positionen PS25 und PS26 fällt die Region außerhalb innerhalb des Tunnels weitgehend in den Sichtwinkelbereich der optischen Sensoreinheit 25, der durch eine abwechselnd lange und kurze gestrichelte Linie angezeigt wird, und die aufgrund des Sensorsignals erkannte Lichtquelle L2 wird als „natürliches Licht“ unterschieden. Ferner fällt die Region außerhalb des Tunnels größtenteils im Sichtwinkel der Bildgebungseinheit 23, und die auf Grundlage des Bildsignals erkannte Lichtquelle L1 wird als „Sonnenschein“ unterschieden. Da die Lichtquelle L1 „Sonnenschein“ ist, wird die Kategorie LC1 als „natürliches Licht“ festgelegt. Wie oben beschrieben, wird an den Positionen PS25 und PS26, da die Lichtquelle L2 und die Kategorie LC1 miteinander übereinstimmen, festgestellt, dass das Ergebnis der Schätzung der Lichtquelle L1 zuverlässig ist, und das Steuergerät 50 stellt den Anpassungswert der Weißabgleichsanpassung ein, während sie als Lichtquelle die „Sonnenschein“ definiert, die das Schätzergebnis der Lichtquelle L1 ist, und gibt den eingestellten Anpassungswert an die Weißabgleichsanpassungseinheit 34 aus, um die Weißabgleichsanpassung auszuführen. Dementsprechend wird nach dieser Technik auch dann, wenn nur die Lichtquelle L1 an der Position PS23 geändert wird, die Weißabgleichsanpassung unter Verwendung des Anpassungswerts ausgeführt, bevor die Änderung der Kategorie erfolgt, unabhängig vom Schätzergebnis der Lichtquelle L1. Ferner wird, wenn die Lichtquelle L2 an der Position PS24 geändert wird und die Lichtquelle L2 und die Kategorie LC1 miteinander übereinstimmen, festgestellt, dass das Schätzergebnis der Lichtquelle L1 zuverlässig ist, und die Abgleichseinstellung des Bildsignals wird nach dem Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals ausgeführt. Daher kann die Bildgebungsvorrichtung 10 stabil eine genauere Weißabgleichsanpassung ausführen und dabei auch das Umschalten der verwendeten Lichtquelle bei der Bildgebung berücksichtigen.
<3. Modifikationen>
Die Technik nach dieser Offenbarung kann in verschiedenen Bereichen angewendet werden. Beispielsweise kann die Technik nach dieser Offenbarung als eine Vorrichtung erreicht werden, die an einem beliebigen mobilen Körper wie einem Automobil, einem Elektrofahrzeug, einem Hybridelektrofahrzeug, einem Motorrad, einem Fahrrad, einer persönlichen Mobilität, einem Flugzeug, einer Drohne, einem Schiff oder einem Roboter angebracht ist. Ferner kann die Technik nach dieser Offenlegung als eine Vorrichtung erreicht werden, die auf einer tragbaren elektronischen Vorrichtung wie einem Smartphone montiert ist, oder sie kann beispielsweise auf eine Überwachungskamera angewendet werden. Wie oben beschrieben, kann, wenn die Technik nach dieser Offenbarung auf eine Vorrichtung mit einer Bildgebungsfunktion angewendet wird, die in einer Umgebung mit veränderter Lichtquelle verwendet werden kann, da die Weißabgleichsanpassung stabil ausgeführt wird, verhindert werden, dass die Farbe eines Objekts, das sich in der Nähe eines beweglichen Körpers befindet, eines zu fotografierenden Objekts oder eines zu überwachenden Objekts aufgrund eines Einflusses, beispielsweise eines Hintergrunds, unbeständig verändert wird.
Wenn rohe Daten oder ein Bildsignal vor der Weißabgleichsanpassung und ein Sensorsignal miteinander verbunden sind, d. h. auf demselben Aufnahmemedium aufgenommen sind, oder beide über eine auszugebende Kommunikationseinheit miteinander verbunden sind, kann die oben beschriebene Weißabgleichssteuerung auf Grundlage von Lichtquellenschätzungsergebnissen auf Grundlage eines Bildsignals und eines Sensorsignals in einem Offline-Prozess ausgeführt werden, d. h. in der Bildgebungsvorrichtung nach der Bildgebung, einer anderen Bildgebungsvorrichtung und einer Bildverarbeitungsvorrichtung ohne Bildgebungsfunktion.
Wenn die rohen Daten oder das Bildsignal vor dem Weißabgleich, das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis und das auf dem Sensorsignal basierende Lichtquellen-Schätzergebnis miteinander verbunden sind, kann die Weißabgleichsanpassung außerdem im Offline-Prozess ausgeführt werden.
Ferner wird angenommen, dass die optische Sensoreinheit 25 den Sichtwinkel aufweist, der als der Erfassungsbereich dient, der den Sichtwinkel des von der Bildgebungseinheit 23 aufgenommenen Bilds aufweist und breiter ist als der des aufgenommenen Bilds. Diese Offenbarung ist jedoch nicht darauf beschränkt und kann auch auf einen Fall angewendet werden, in dem der Sichtwinkel der optischen Sensoreinheit 25 nicht immer breiter ist als der Sichtwinkel des Bildgebungselements. In diesem Fall kann in einem Fall, in dem der Sichtwinkel des aufgenommenen Bilds enger wird als der Sichtwinkel, der als Erfassungsbereich des optischen Sensors dient (um einen vorbestimmten Wert oder mehr), durch optisches Heranzoomen während des Ansteuerns eines Zoomobjektivs, der Vorgang des Einstellens des Anpassungswerts der Weißabgleichsanpassung nach dieser Technik ausgeführt werden.
Eine Reihe von Prozessen, die in der Vorgabe beschrieben sind, können durch Hardware, Software oder eine kombinierte Konfiguration von beiden ausgeführt werden. In einem Fall, in dem die Prozesse durch Software ausgeführt werden, wird ein Programm, das eine Prozesssequenz aufnimmt, in einem Speicher in einem Computer installiert, der in spezieller Hardware eingebaut ist, um ausgeführt zu werden. Alternativ kann das Programm in einem Allzweckcomputer installiert werden, der verschiedene auszuführende Prozesse ausführen kann.
Das Programm kann z. B. vorab in einer Festplatte, einem SSD (Solid-State-Laufwerk) oder einem ROM (Festwertspeicher), das als Aufnahmemedium dient, aufgenommen werden. Alternativ kann das Programm vorübergehend oder dauerhaft auf einem austauschbaren Aufnahmemedium gespeichert (aufgenommen) werden, z. B. auf einer flexiblen Scheibe, einer CD-ROM (Kompaktdisketten-Festwertspeicher), einer MO-Scheibe (magnetooptische Scheibe), einer DVD (Digital Versatile Disc), einer BD (Blu-Ray Disc (eingetragenes Warenzeichen)), einer Magnetscheibe oder einer Halbleiter-Speicherkarte. Ein solcher Wechseldatenträger kann als Paketsoftware bereitgestellt werden.
Ferner kann das Programm vom Wechseldatenträger auf dem Computer installiert werden oder drahtlos oder verkabelt von einer Downloadseite über ein Netzwerk wie ein LAN (lokales Netz) oder das Internet auf den Computer übertragen werden. Der Computer kann das auf diese Weise übertragene Programm empfangen und das Programm auf dem eingebauten Aufnahmemedium, z. B. einer Festplatte, installieren.
Es ist zu beachten, dass die in dieser Vorgabe beschriebenen Effekte lediglich illustrativ und nicht beschränkt sind. Weitere, nicht beschriebene Effekte können bereitgestellt werden. Ferner sollte diese Technik nicht so ausgelegt werden, dass sie auf die beispielhafte Ausführungsform der oben beschriebenen Technik beschränkt ist. Es ist offensichtlich, dass die beispielhafte Ausführungsform dieser Technik diese Technik in einer Form der Illustration offenbart, und Fachleute auf dem Gebiet können Modifikationen oder Ersetzungen der beispielhaften Ausführungsform vornehmen, ohne vom Kern dieser Technik abzuweichen. Anders ausgedrückt, um das Wesentliche dieser Technik festzulegen, sollten die Ansprüche berücksichtigt werden.
Die Bildverarbeitungsvorrichtung dieser Technik kann auch die folgenden Konfigurationen annehmen.
(1)
Eine Bildverarbeitungsvorrichtung, aufweisend:

eine Weißabgleichseinstelleinheit, die einen Weißabgleichsanpassungswert eines Bildsignals eines aufgenommenen Bilds einstellt, das durch fotoelektrische Umwandlung von Licht von einem Objekt durch ein Bildgebungselement unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals erzeugt wird, und ein Lichtquellen-Schätzergebnis auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds aufweist und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet.

(2)
Die Bildverarbeitungsvorrichtung nach (1), wobei die Weißabgleichsanpassungswert die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals feststellt und den Weißabgleichsanpassungswert auf Grundlage des Feststellungsergebnisses der Zuverlässigkeit einstellt.
(3)
Die Bildverarbeitungsvorrichtung nach (2), wobei die Weißabgleichseinstelleinheit das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals in eine beliebige Kategorie unter Kategorien von mehreren Lichtquellen klassifiziert, die auf Grundlage des Sensorsignals geschätzt werden können, und die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals durch Vergleichen der Kategorie, in die das Lichtquellen-Schätzergebnis klassifiziert ist, mit der auf Grundlage des Sensorsignals geschätzten Lichtquelle feststellt.
(4)
Die Bildverarbeitungsvorrichtung nach (3), wobei die Weißabgleichseinstelleinheit feststellt, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis in einem Fall nicht zuverlässig ist, in dem eine Kategorie, in die das Lichtquellen-Schätzergebnis aktuell klassifiziert ist, von einer Kategorie geändert wird, in die das Lichtquellen-Schätzergebnis zuvor klassifiziert wurde, aber die auf Grundlage des Sensorsignals geschätzte Lichtquelle nicht geändert wird, um eine Lichtquelle zu sein, die gleich der Kategorie ist, in die das Lichtquellen-Schätzergebnis aktuell klassifiziert ist, und den Weißabgleichsanpassungswert nicht aktualisiert.
(5)
Die Bildverarbeitungsvorrichtung nach (3) oder (4), wobei die Weißabgleichseinstelleinheit feststellt, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis in einem Fall zuverlässig ist, in dem eine Kategorie, in die das Lichtquellen-Schätzergebnis aktuell klassifiziert ist, gleich der auf Grundlage des Sensorsignals geschätzten Lichtquelle ist, und den Weißabgleichsanpassungswert nach dem aktuellen auf dem Bildsignal basierenden Lichtquellen-Schätzergebnis aktualisiert.
(6)
Die Bildverarbeitungsvorrichtung nach einem von (2) bis (5), wobei die Weißabgleichseinstelleinheit in einem Fall, in dem das Bildgebungselement nacheinander mehrere Bildsignale jedes Bilds erzeugt, die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage eines zweiten Bildsignals oder folgender Bildsignale aus den mehreren Bildsignalen feststellt.
(7)
Die Bildverarbeitungsvorrichtung nach einem von (2) bis (6), wobei die Weißabgleichseinstelleinheit die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals in einem Fall feststellt, in dem eine Sichtwinkeldifferenz zwischen einem Sichtwinkel des aufgenommenen Bilds und einem Sichtwinkel der optischen Sensoreinheit gleich oder breiter als ein vorbestimmter Wert ist.
(8)
Die Bildverarbeitungsvorrichtung nach (7), wobei die Weißabgleichseinstelleinheit den Weißabgleichsanpassungswert nach dem Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals in einem Fall einstellt, in dem die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals nicht festgestellt ist.
(9)
Die Bildverarbeitungsvorrichtung nach einem von (1) bis (8), wobei die optische Sensoreinheit eine Empfindlichkeit in mindestens einem Infrarotbereich aufweist.
(10)
Die Bildverarbeitungseinrichtung nach einem von (1) bis (9), wobei der Sichtwinkel der optischen Sensoreinheit den Sichtwinkel des aufgenommenen Bilds aufweist.
(11)
Die Bildverarbeitungsvorrichtung nach einem von (1) bis (10), ferner aufweisend: eine Weißabgleichsanpassungseinheit, die eine Weißabgleichsanpassung des Bildsignals auf Grundlage des Weißabgleichsanpassungswerts ausführt.
(12)
Die Bildverarbeitungsvorrichtung nach einem von (1) bis (11), wobei die Weißabgleichseinstelleinheit den Weißabgleichsanpassungswert unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals und des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals in einem Fall einstellt, in dem der Sichtwinkel des aufgenommenen Bilds aufgrund eines optischen Zooms um einen vorbestimmten Wert oder mehr breiter als der Sichtwinkel des Sensorsignals ist.
[Industrielle Anwendbarkeit]
Nach einer Bildverarbeitungsvorrichtung, einem Bildverarbeitungsverfahren, einem Programm und einer Bildgebungsvorrichtung dieser Technik wird ein Weißabgleichsanpassungswert eines Bildsignals unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals eines aufgenommenen Bilds, das durch fotoelektrische Umwandlung von Licht von einem Objekt durch ein Bildgebungselement erzeugt wird, und eines Lichtquellen-Schätzergebnisses auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, eingestellt, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds hat und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet. Daher kann die Weißabgleichsanpassung stabiler ausgeführt werden als in einem Fall, in dem der Weißabgleichsanpassungswert nur auf Grundlage des Lichtquellen-Schätzergebnisses auf der Basis des Bildsignals eingestellt wird. Dementsprechend ist diese Technik für eine Vorrichtung mit einer Bildgebungsfunktion geeignet, das in einer Umgebung verwendet werden kann, in der eine Änderung der Lichtquelle auftritt.
Bezugszeichenliste

10: Bildgebungsvorrichtung
21: Optisches Bildgebungssystem
22: Treiber für das optische Bildgebungssystem
23: Bildgebungseinheit
24: Lichtemittierende Einheit
25: Optische Sensoreinheit
30: Bildprozessor
31: Vorprozessor
32: Demosaikprozessor
33: Linearer Matrix-Wandler
34: Weißabgleichsanpassungseinheit (WB-Anpassungseinheit)
35: Blendenkorrektureinheit
36: Signaladdierer
37: γ-Korrektureinheit
38: Signalwandler
41: Aufnahmeeinheit
42: Kommunikationseinheit
43: Sucher
44: Anzeige
45: Benutzeroberfläche
50: Steuergerät
410: Aufnahmemedium

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2004165932 [0034]

Claims

Bildverarbeitungsvorrichtung, umfassend: eine Weißabgleichseinstelleinheit, die einen Weißabgleichsanpassungswert eines Bildsignals eines aufgenommenen Bilds einstellt, das durch fotoelektrische Umwandlung von Licht von einem Objekt durch ein Bildgebungselement unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals erzeugt wird, und ein Lichtquellen-Schätzergebnis auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds aufweist und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Weißabgleichseinstelleinheit die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals feststellt und den Weißabgleichsanpassungswert auf Grundlage des Feststellungsergebnisses der Zuverlässigkeit einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Weißabgleichseinstelleinheit das Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals in eine beliebige Kategorie unter Kategorien von mehreren Lichtquellen klassifiziert, die auf Grundlage des Sensorsignals geschätzt werden können, und die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals durch Vergleichen der Kategorie, in die das Lichtquellen-Schätzergebnis klassifiziert ist, mit der auf Grundlage des Sensorsignals geschätzten Lichtquelle feststellt.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Weißabgleichseinstelleinheit feststellt, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis in einem Fall nicht zuverlässig ist, in dem eine Kategorie, in die das Lichtquellen-Schätzergebnis aktuell klassifiziert ist, von einer Kategorie geändert wird, in die das Lichtquellen-Schätzergebnis zuvor klassifiziert wurde, aber die auf Grundlage des Sensorsignals geschätzte Lichtquelle nicht geändert wird, um eine Lichtquelle zu sein, die gleich der Kategorie ist, in die das Lichtquellen-Schätzergebnis aktuell klassifiziert ist, und den Weißabgleichsanpassungswert nicht aktualisiert.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Weißabgleichseinstelleinheit feststellt, dass das auf dem Bildsignal basierende Lichtquellen-Schätzergebnis in einem Fall zuverlässig ist, in dem eine Kategorie, in die das Lichtquellen-Schätzergebnis aktuell klassifiziert ist, gleich der auf Grundlage des Sensorsignals geschätzten Lichtquelle ist, und den Weißabgleichsanpassungswert nach dem aktuellen auf dem Bildsignal basierenden Lichtquellen-Schätzergebnis aktualisiert.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Weißabgleichseinstelleinheit in einem Fall, in dem das Bildgebungselement nacheinander mehrere Bildsignale jedes Bilds erzeugt, die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage eines zweiten Bildsignals oder folgender Bildsignale aus den mehreren Bildsignalen feststellt.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Weißabgleichseinstelleinheit die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals in einem Fall feststellt, in dem eine Sichtwinkeldifferenz zwischen einem Sichtwinkel des aufgenommenen Bilds und einem Sichtwinkel der optischen Sensoreinheit gleich oder breiter als ein vorbestimmter Wert ist.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Weißabgleichseinstelleinheit den Weißabgleichsanpassungswert nach dem Lichtquellen-Schätzergebnis auf Grundlage des Bildsignals in einem Fall einstellt, in dem die Zuverlässigkeit des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals nicht festgestellt ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die optische Sensoreinheit eine Empfindlichkeit in mindestens einem Infrarotbereich aufweist.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei der Sichtwinkel der optischen Sensoreinheit den Sichtwinkel des aufgenommenen Bilds aufweist.
Bildverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: eine Weißabgleichsanpassungseinheit, die eine Weißabgleichsanpassung des Bildsignals auf Grundlage des Weißabgleichsanpassungswerts ausführt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Weißabgleichseinstelleinheit den Weißabgleichsanpassungswert unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals und des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals in einem Fall einstellt, in dem der Sichtwinkel des aufgenommenen Bilds aufgrund eines optischen Zooms um einen vorbestimmten Wert oder mehr breiter als der Sichtwinkel des Sensorsignals ist.
Bildverarbeitungsverfahren, umfassend: Einstellen eines Weißabgleichsanpassungswerts eines Bildsignals eines aufgenommenen Bilds, das durch fotoelektrisches Umwandeln von Licht von einem Objekt durch ein Bildgebungselement erzeugt wird, durch eine Weißabgleichseinstelleinheit, unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals, und eines Lichtquellen-Schätzergebnisses auf Grundlage eines Sensorsignals, das durch eine optische Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds aufweist und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet.
Programm, das einen Computer veranlasst, eine Weißabgleichsanpassung auszuführen, wobei das Programm den Computer veranlasst, Folgendes auszuführen: ein Verfahren zum Erhalten eines Lichtquellen-Schätzergebnisses auf Grundlage eines Bildsignals eines aufgenommenen Bilds, das durch fotoelektrische Umwandlung von Licht von einem Subjekt durch ein Bildgebungselement erzeugt wird; ein Verfahren zum Erhalten eines Lichtquellen-Schätzergebnisses auf Grundlage eines Sensorsignals, das von einer optischen Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird, wobei die optische Sensoreinheit einen breiteren Sichtwinkel als den des aufgenommenen Bilds und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet; und ein Verfahren zum Einstellen eines Weißabgleichsanpassungswerts des Bildsignals unter Verwendung des Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals und des Lichtquellen-Schätzergebnisses auf Grundlage des Sensorsignals.
Bildgebungsvorrichtung, umfassend: eine Bildgebungseinheit, die ein Bildsignal eines aufgenommenen Bilds durch fotoelektrische Umwandlung von Licht von einem Objekt erzeugt; eine optische Sensoreinheit, die einen breiteren Sichtwinkel als den des aufgenommenen Bilds aufweist und eine spektrale Empfindlichkeit in einer Region aufweist, die sich von der des Bildgebungselements unterscheidet; eine Weißabgleichsanpassungseinheit, die eine Weißabgleichsanpassung des von der Bildgebungseinheit erzeugten Bildsignals ausführt; und eine Weißabgleichseinstelleinheit, die einen Weißabgleichsanpassungswert des Bildsignals unter Verwendung eines Lichtquellen-Schätzergebnisses auf Grundlage des Bildsignals des aufgenommenen Bilds einstellt, und ein Lichtquellen-Schätzergebnis auf Grundlage eines Sensorsignals, das von der optischen Sensoreinheit beim Erhalten des aufgenommenen Bilds erzeugt wird.