DE102021109047A1

DE102021109047A1 - Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungssystem

Info

Publication number: DE102021109047A1
Application number: DE102021109047.4A
Authority: DE
Inventors: Nobutoshi Fujinami; Tsuyoshi Hirashima; Kenji Takita
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Automotive Systems Co Ltd
Priority date: 2020-04-16
Filing date: 2021-04-12
Publication date: 2021-10-21
Also published as: US20210390672A1

Abstract

Vorsehen einer Bildverarbeitungsvorrichtung, die in der Lage ist, eine Verschlechterung der Qualität eines Bildes zu unterbinden.Eine Bildverarbeitungsvorrichtung 10 enthält: eine Berechnungseinheit 12, die Signalwerte einer Vielzahl von zweiten Farben unter Verwendung von Signalwerten einer Vielzahl von ersten Farben berechnet, die von einem Bildsensor erlangt sind; einen Sättigungsbestimmer 14, der bestimmt, ob mindestens eine aus der Vielzahl von ersten Farben gesättigt ist oder nicht, unter Verwendung der Signalwerte der Vielzahl von ersten Farben; und einen Korrigierer 16, der mindestens einen Signalwert aus der Vielzahl von zweiten Farben korrigiert und einen korrigierten Signalwert ausgibt, wenn der Sättigungsbestimmer 14 bestimmt, dass die mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.

Description

[Technisches Gebiet]
Die vorliegende Offenbarung betrifft eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungssystem.
[Technischer Hintergrund]
Herkömmlich wurde eine Vorrichtung offenbart, die enthält: ein weißes Pixel, das alle Wellenlängen überträgt; ein erstes Farbtrennpixel mit einer mehrschichtigen Folie oder einem photonischen Kristall, die/der einen Wellenlängenbereich höher als eine erste Wellenlänge abschneidet; und ein zweites Farbtrennpixel mit einer mehrschichtigen Folie oder einem photonischen Kristall, die/der einen Wellenlängenbereich höher als eine zweite Wellenlänge abschneidet, wobei die zweite Wellenlänge höher ist als die erste Wellenlänge (siehe Patentschrift 1).
[Literaturverzeichnis]
[Patentliteratur]
[Patentschrift 1]
Japanische ungeprüfte Patentoffenlegung Nr. 2008-205940
[Zusammenfassung der Erfindung]
[Technische Aufgabe]
Jedoch wird bei der in der Patentschrift 1 offenbarten Vorrichtung, wenn eine Farbsättigung eintritt, ein erzeugtes Bild in einer anderen Farbe gefärbt als einer tatsächlichen Farbe, und die Qualität des Bildes verschlechtert sich.
Angesichts des Obigen sieht die vorliegende Offenbarung eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungssystem vor, die in der Lage sind, eine Verschlechterung der Qualität eines Bildes zu unterbinden.
[Lösung der Aufgabe]
Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung enthält: eine Berechnungseinheit, die Signalwerte einer Vielzahl von zweiten Farben unter Verwendung von Signalwerten einer Vielzahl von ersten Farben berechnet, die von einem Bildsensor erlangt sind; einen Sättigungsbestimmer, der unter Verwendung der Signalwerte der Vielzahl von ersten Farben bestimmt, ob mindestens eine aus der Vielzahl von ersten Farben gesättigt ist oder nicht; und einen Korrigierer, der mindestens einen Signalwert aus der Vielzahl von zweiten Farben korrigiert und einen korrigierten Signalwert ausgibt, wenn der Sättigungsbestimmer bestimmt, dass die mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Ein Bildverarbeitungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung enthält: ein Berechnen der Signalwerte einer Vielzahl von zweiten Farben unter Verwendung von Signalwerten einer Vielzahl von ersten Farben, die von einem Bildsensor erlangt sind; ein Bestimmen unter Verwendung der Signalwerte der Vielzahl von ersten Farben, ob mindestens eine aus der Vielzahl von ersten Farben gesättigt ist oder nicht; und ein Korrigieren mindestens eines Signalwerts aus der Vielzahl von zweiten Farben und ein Ausgeben eines korrigierten Signalwerts, wenn bestimmt ist, dass die mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Ein Bildverarbeitungssystem gemäß einem Aspekt der vorliegenden Offenbarung enthält: eine Vielzahl von Bildverarbeitungsvorrichtungen, wobei jede die zuvor beschriebene Bildverarbeitungsvorrichtung ist. Die Vielzahl von Bildverarbeitungsvorrichtungen verarbeitet eine Vielzahl von Belichtungsbildern, die bei voneinander verschiedenen Belichtungszeiten aufgenommen sind und Signalwerte der Vielzahl von ersten Farben enthalten.
[Vorteilhafte Wirkungen der Erfindung]
Die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren und das Bildverarbeitungssystem gemäß der vorliegenden Offenbarung sind in der Lage, eine Verschlechterung der Qualität eines Bildes zu unterbinden.
Figurenliste

[1] 1 ist ein Blockschaltbild einer Bildverarbeitungsvorrichtung gemäß der Ausführungsform 1.
[2] 2 ist ein Diagramm zum Erläutern einer Korrektur, die durch einen Korrigierer der Bildverarbeitungsvorrichtung in 1 durchgeführt wird, und zum Erläutern, wenn ein Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, als korrigierter Signalwert einer zu korrigierenden Farbe benutzt wird.
[3] 3 ist ein Diagramm zum Erläutern einer Korrektur, die durch den Korrigierer der Bildverarbeitungsvorrichtung in 1 durchgeführt wird, und zum Erläutern, wenn ein Signalwert der zu korrigierenden Farbe als korrigierter Signalwert der zu korrigierenden Farbe benutzt wird.
[4] 4 ist ein Flussdiagramm, das ein Beispiel einer Arbeitsweise eines Sättigungsbestimmers der Bildverarbeitungsvorrichtung in 1 darstellt.
[5] 5 ist ein Flussdiagramm, das ein Beispiel einer Arbeitsweise des Korrigierers der Bildverarbeitungsvorrichtung in 1 darstellt.
[6] 6 ist ein Blockschaltbild einer Bildverarbeitungsvorrichtung gemäß der Ausführungsform 2.
[7] 7 ist ein Diagramm zum Erläutern des Glättens in einer räumlichen Richtung, durchgeführt durch ein Glättungsfilter der Bildverarbeitungsvorrichtung in 6.
[8] 8 ist ein Diagramm zum Erläutern des Glättens in einer zeitlichen Richtung, durchgeführt durch ein Glättungsfilter der Bildverarbeitungsvorrichtung in 6.
[9] 9 ist ein Blockschaltbild eines Bildverarbeitungssystems gemäß der Ausführungsform 3.
[10] 10 ist ein Blockschaltbild eines Bildverarbeitungssystems gemäß der Ausführungsform 4.
[11] 11 ist ein Diagramm zum Erläutern eines Beispiels eines Interpolationsfilters.

[Beschreibung von Ausführungsformen]
Das Folgende beschreibt Ausführungsformen genau mit Bezugnahme auf die Zeichnung.
Hier ist anzumerken, dass jede der nachstehend beschriebenen Ausführungsformen ein allgemeines oder spezielles Beispiel zeigt. Die Zahlenwerte, Formen, Materialien, Bestandteile, die Anordnung und Verbindung der Bestandteile, die Schritte und die Verarbeitungsabfolge der Schritte usw., die in den folgenden Ausführungsformen beschrieben sind, sind nur Beispiele und sollen die vorliegende Offenbarung nicht einschränken. Unter den Bestandteilen in den folgenden Ausführungsformen sind Bestandteile, die in keinem der unabhängigen Ansprüche angeführt sind, die die allgemeinsten Konzepte formulieren, als optionale Bestandteile beschrieben. Ferner ist jede Figur eine schematische Darstellung und nicht unbedingt genau gezeichnet. Ferner weisen in jeder Figur Bestandteile, die im Wesentlichen die gleichen sind, gleiche Bezugszeichen auf.
(Ausführungsform 1)
Eine Bildverarbeitungsvorrichtung 10 gemäß der Ausführungsform 1 ist beschrieben.
1 ist ein Blockschaltbild einer Bildverarbeitungsvorrichtung 10 gemäß der Ausführungsform 1. Ein funktioneller Aufbau der Bildverarbeitungsvorrichtung 10 ist mit Bezugnahme auf 1 beschrieben.
Wie in 1 dargestellt, enthält die Bildverarbeitungsvorrichtung 10 eine Berechnungseinheit 12, einen Sättigungsbestimmer 14 und einen Korrigierer 16. Zum Beispiel sind die Berechnungseinheit 12, der Sättigungsbestimmer 14 und der Korrigierer 16 durch Schaltkreise oder dergleichen umgesetzt.
Die Berechnungseinheit 12 berechnet Signalwerte zweiter Farben unter Verwendung von Signalwerten erster Farben, die durch einen Bildsensor (nicht dargestellt) erlangt sind. Die Signalwerte sind Werte von Komponenten, die einen Farbraum ausdrücken, und sind beispielsweise Luminanz und Chrominanz. Weiter ist der Farbraum beispielsweise ein RGB-Farbraum und ein YUV-Farbraum.
Der Bildsensor enthält Pixel (nicht dargestellt), die in einem Array angeordnet sind. Jedes der Pixel gibt einen Signalwert aus, der einer Menge empfangenen Lichts entspricht. In der Ausführungsform 1 enthalten die Pixel rote Pixel, blaue Pixel und weiße Pixel. Jedes der roten Pixel empfängt Licht, das durch ein Filter hindurchgetreten ist, das Licht in einem roten Wellenlängenbereich durchlässt, und gibt einen Signalwert entsprechend einer Menge empfangenen Lichts aus. Jedes der blauen Pixel empfängt Licht, das durch ein Filter hindurchgetreten ist, das Licht in einem blauen Wellenlängenbereich durchlässt, und gibt einen Signalwert entsprechend einer Menge empfangenen Lichts aus. Jedes der weißen Pixel empfängt Licht, das durch ein Filter hindurchgetreten ist, das Licht in allen Wellenlängenbereichen durchlässt, und gibt einen Signalwert entsprechend einer Menge empfangenen Lichts aus. Anzumerken ist, dass jedes der weißen Pixel Licht empfangen kann, das durch kein Filter hindurchgetreten ist, und einen Signalwert entsprechend einer Menge empfangenen Lichts ausgibt. Zum Beispiel umfasst der rote Wellenlängenbereich 620 nm bis 750 nm, umfasst der blaue Wellenlängenbereich 450 nm bis 495 nm und sind alle Wellenlängenbereiche alle der Wellenlängenbereiche sichtbaren Lichts.
Die Berechnungseinheit 12 erlangt einen Signalwert von Rot, das von einem roten Pixel des Bildsensors ausgegeben ist, und einen blauen Signalwert, ausgegeben von einem blauen Pixel des Bildsensors. Die Berechnungseinheit 12 erlangt auch einen Signalwert, der von einem weißen Pixel des Bildsensors ausgegeben ist. Der von dem weißen Pixel ausgegebene Signalwert ist von einer Farbe von Licht, das durch ein Filter, das Licht in allen Wellenlängenbereichen durchlässt, hindurchgetreten ist und durch den Bildsensor empfangen wurde. Demgemäß sind bei der Ausführungsform 1 die ersten Farben Rot, Blau und eine Farbe von Licht, das durch ein Filter hindurchgetreten ist, das Licht aller Wellenlängenbereiche durchlässt und durch den Bildsensor empfangen wurde. Anzumerken ist, dass die Farbe von Licht, das durch ein Filter, das Licht in allen Wellenlängenbereich durchlässt, hindurchgetreten ist und durch den Bildsensor empfangen wurde, in der folgenden Beschreibung als „Klar““ bezeichnet sein kann.
Die Berechnungseinheit 12 benutzt den Signalwert von Rot, den Signalwert von Blau und den Signalwert von Klar, die sie vom Bildsensor erlangt hat, um einen Signalwert von Rot, einen Signalwert von Blau und einen Signalwert von Grün zu berechnen. Daher sind bei der Ausführungsform 1 die zweiten Farben Rot, Blau und Grün, und die Berechnungseinheit 12 berechnet einen Signalwert einer Farbe, die keine der ersten Farben ist, unter Verwendung der Signalwerte der von dem Bildsensor erlangten ersten Farben. Anzumerken ist, dass in der folgenden Beschreibung unter den ersten Farben ein Signalwert von Rot als R bezeichnet sein kann, ein Signalwert von Blau als B bezeichnet sein kann und ein Signalwert von Klar als K bezeichnet sein kann. Weiter kann in der folgenden Beschreibung unter den zweiten Farben ein Signalwert von Rot als R1 bezeichnet sein, ein Signalwert von Blau als B1 bezeichnet sein und ein Signalwert von Grün als G1 bezeichnet sein.
Die Berechnungseinheit 12 benutzt R, B und K, um R1, B1 und G1 nach dem folgenden Ausdruck zu berechnen. $(\begin{matrix} R 1 \\ G 1 \\ B 1 \end{matrix}) = (\begin{matrix} a & b & c \\ d & e & f \\ g & h & i \end{matrix}) (\begin{matrix} R \\ K \\ B \end{matrix}) + (\begin{matrix} b 0 \\ b 1 \\ b 2 \end{matrix})$
Wie in dem obigen Ausdruck führt die Berechnungseinheit 12 eine Matrixoperation unter Verwendung von R, B und K durch. Im obigen Ausdruck sind a, b, c, d, e, f, g, h, i, b0, b1 und b2 Konstanten, und diese Konstanten sind auf solche Werte gesetzt, dass beispielsweise R = R1 und B = B1.
Der Sättigungsbestimmer 14 bestimmt, ob mindestens eine der ersten Farben gesättigt ist oder nicht, unter Verwendung von Signalwerten der vom Bildsensor ausgegebenen und in die Berechnungseinheit 12 eingegebenen ersten Farben. Bei der Ausführungsform 1 bestimmt der Sättigungsbestimmer 14 unter Verwendung eines Signalwerts von Klar, ob Klar gesättigt ist oder nicht. Genauer bestimmt der Sättigungsbestimmer 14, ob der Signalwert von Klar größer als oder gleich einem vorgegebenen Schwellwert ist oder nicht. Der Sättigungsbestimmer 14 bestimmt, dass Klar gesättigt ist, wenn der Signalwert von Klar größer als oder gleich dem vorgegebenen Schwellwert ist, und bestimmt, dass Klar nicht gesättigt ist, wenn der Signalwert von Klar nicht größer als oder gleich dem vorgegebenen Schwellwert ist. Wenn beispielsweise der Signalwert von Klar ein 8-Bit-Wert ist, ist der vorgegebene Schwellwert auf 255 festgelegt. In diesem Fall bestimmt der Sättigungsbestimmer 14, ob der Signalwert von Klar größer als oder gleich 255 ist oder nicht. Der Sättigungsbestimmer 14 bestimmt, dass Klar gesättigt ist, wenn der Signalwert von Klar größer als oder gleich 255 ist, und bestimmt, dass Klar nicht gesättigt ist, wenn der Signalwert von Klar nicht größer als oder gleich 255 ist.
Wenn der Sättigungsbestimmer 14 bestimmt, dass mindestens eine der ersten Farben gesättigt ist, korrigiert der Korrigierer 16 mindestens einen Signalwert aus den zweiten Farben, der durch die Berechnungseinheit 12 berechnet ist, und gibt einen korrigierten Signalwert aus. Genauer korrigiert der Korrigierer 16 einen Signalwert einer Farbe, die eine der zweiten Farben und keine der ersten Farben ist, und die unter Verwendung eines Signalwerts der gesättigten Farbe zu berechnen ist. Wenn bei der Ausführungsform 1 der Sättigungsbestimmer 14 bestimmt, dass Klar gesättigt ist, korrigiert der Korrigierer 16 einen Signalwert von Grün unter den zweiten Farben und gibt einen korrigierten Signalwert von Grün aus. Wie oben beschrieben, ist die zu korrigierende Farbe unter den zweiten Farben bei der Ausführungsform 1 Grün. Anzumerken ist, dass der korrigierte Signalwert von Grün unter den zweiten Farben in der folgenden Beschreibung als G2 bezeichnet sein kann.
Der Korrigierer 16 enthält einen Mittelwertrechner 18 und einen Maximalwertwähler 20.
Der Mittelwertrechner 18 berechnet einen Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, unter den zweiten Farben. Bei der Ausführungsform 1 sind eine oder mehrere Farben, die nicht zu korrigieren sind, unter den zweiten Farben Rot und Blau. Der Mittelwertrechner 18 berechnet einen Mittelwert eines Signalwerts von Rot und eines Signalwerts von Blau unter Verwendung eines Signalwerts von Rot und eines Signalwerts von Blau unter den zweiten Farben.
Der Maximalwertwähler 20 vergleicht einen Signalwert einer zu korrigierenden Farbe unter den zweiten Farben mit einem Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, unter den zweiten Farben, d.h. einen durch den Mittelwertrechner 18 berechneten Mittelwert. Der Maximalwertwähler 20 wählt entweder den Signalwert der zu korrigierenden Farbe oder den Mittelwert, welcher auch immer größer ist. Bei der Ausführungsform 1 vergleicht der Maximalwertwähler 20 einen Signalwert von Grün unter den zweiten Farben mit einem Mittelwert eines Signalwerts von Rot und eines Signalwerts von Blau unter den zweiten Farben und wählt entweder den Signalwert von Grün oder den Mittelwert, welcher auch immer größer ist.
Wenn der Sättigungsbestimmer 14 bestimmt, dass Klar gesättigt ist (siehe „ja“ in 1), gibt der Korrigierer 16 den durch den Maximalwertwähler 20 gewählten Wert als G2 aus.
Wenn andererseits der Sättigungsbestimmer 14 bestimmt, dass Klar nicht gesättigt ist (siehe „nein“ in 1), gibt der Korrigierer 16 G1 als G2 aus.
2 ist ein Diagramm zum Erläutern einer Korrektur, die durch den Korrigierer 16 der Bildverarbeitungsvorrichtung 10 in 1 durchgeführt wird, und zum Erläutern, wenn ein Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, als korrigierter Signalwert einer zu korrigierenden Farbe benutzt wird. 3 ist ein Diagramm zum Erläutern einer Korrektur, die durch den Korrigierer 16 der Bildverarbeitungsvorrichtung 10 in 1 durchgeführt wird, und zum Erläutern, wenn ein Signalwert einer zu korrigierenden Farbe als korrigierter Signalwert der zu korrigierenden Farbe benutzt wird. Die durch den Korrigierer 16 durchzuführende Korrektur ist mit Bezugnahme auf 2 und 3 beschrieben.
Wenn beispielsweise Klar gesättigt ist, wie in (a) in 2 dargestellt, weisen R1, B1 und G1, die durch die Berechnungseinheit 12 berechnet sind, Werte auf wie in (b) in 2 angegeben. Jedoch sollten R1, B1 und G1 Werte sein wie in (c) in 2 angegeben. Wenn, wie in diesem Beispiel, Klar gesättigt ist, wie in (a) in 2 dargestellt, ist das durch die Berechnungseinheit 12 berechnete G1 verschieden von G1, das berechnet sein sollte. Dies kann dazu führen, dass, obwohl eine tatsächliche Farbe eine weißliche Farbe ist, die weißliche Farbe in einem Bild gezeigt wird, als wäre sie magenta gefärbt.
Angesichts des Obigen gibt, wie in (d) in 2 dargestellt, der Korrigierer 16 einen Mittelwert von R1 und B1 als G2 aus. Die Figur zeigt, dass G2 ein Wert näher an einem korrekten G1 (siehe (c) in 2) ist als das durch die Berechnungseinheit 12 berechnete G1 (siehe (b) in 2). Daher kann ein Bild mit Farben erstellt werden, die näher an tatsächlichen Farben liegen.
Darüber hinaus weisen, wenn beispielsweise, wie in (a) in 3 dargestellt, Klar in einem Zustand gesättigt ist, in dem R und B niedriger sind als R und B in dem in (a) in 2 dargestellten Beispiel, R1, B1 und G1, die durch die Berechnungseinheit 12 berechnet sind, Werte auf wie in (b) in 3 angegeben. In diesem Fall sollten R1, B1 und G1 Werte sein wie in (c) in 3 angegeben. Auch ist in diesem Beispiel, wenn Klar gesättigt ist, wie in (a) in 3 dargestellt, das durch die Berechnungseinheit 12 berechnete G1 verschieden von dem G1, das berechnet sein sollte.
Wenn hier, wie in (d) in 3 ein Mittelwert von R1 und B1 als G2 auf dieselbe Weise ausgegeben wird wie in dem oben beschriebenen Beispiel, weist G2 einen niedrigeren Wert auf als das durch die Berechnungseinheit 12 berechnete G1 (siehe (b) in 3), und der Wert liegt weiter weg vom korrekten G1 (siehe (c) in 3) als das berechnete G1. Wenn, wie in diesem Beispiel, der Mittelwert von R1 und B1 als G2 ausgegeben wird, kann G2 ein Wert weiter weg vom korrekten G1 (siehe (c) in 3) sein als das durch die Berechnungseinheit 12 berechnete G1 (siehe (b) in 3).
Wenn angesichts des Obigen ein Mittelwert von R1 und B1 größer ist als das durch die Berechnungseinheit 12 berechnete G1, gibt der Korrigierer 16 den Mittelwert als G2 aus. Wenn andererseits das durch die Berechnungseinheit 12 berechnete G1 größer ist als der Mittelwert von R1 und B1, gibt der Korrigierer 16 das G1 als G2 aus.
Die Anordnung der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform ist oben beschrieben.
Als Nächstes ist eine Arbeitsweise der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben.
4 ist ein Flussdiagramm, das ein Beispiel einer Arbeitsweise des Sättigungsbestimmers 14 der Bildverarbeitungsvorrichtung 10 darstellt. Ein Beispiel der Arbeitsweise eines Sättigungsbestimmers 14 ist mit Bezugnahme auf 4 beschrieben.
Wie in 4 dargestellt, bestimmt der Sättigungsbestimmer 14 zuerst, ob ein Signalwert von Klar unter den ersten Farben größer als oder gleich einem vorgegebenen Schwellwert ist oder nicht (Schritt S1). Der vorgegebene Schwellwert ist vorab festgelegt und beispielsweise in einem Speicher (nicht dargestellt) gespeichert. Wie oben beschrieben, ist, wenn beispielsweise der Signalwert von Klar ein 8-Bit-Wert ist, der vorgegebene Schwellwert auf 255 festgelegt. In diesem Fall bestimmt der Sättigungsbestimmer 14, ob der Signalwert von Klar größer als oder gleich 255 ist oder nicht.
Wenn der Signalwert von Klar unter den ersten Farben größer als oder gleich dem vorgegebenen Schwellwert ist (Ja in Schritt S1), bestimmt der Sättigungsbestimmer 14, dass Klar gesättigt ist (Schritt S2). Wenn beispielsweise der vorgegebene Schwellwert auf 255 festgelegt ist, bestimmt der Sättigungsbestimmer 14, dass Klar gesättigt ist, wenn der Signalwert von Klar größer als oder gleich 255 ist.
Wenn andererseits der Signalwert von Klar nicht größer als oder gleich dem vorgegebenen Schwellwert ist (Nein in Schritt S1), bestimmt der Sättigungsbestimmer 14, dass Klar nicht gesättigt ist (Schritt S3). Wenn beispielsweise der vorgegebene Schwellwert auf 255 festgelegt ist, bestimmt der Sättigungsbestimmer 14, dass Klar nicht gesättigt ist, wenn der Signalwert von Klar nicht größer als oder gleich 255 ist.
5 ist ein Flussdiagramm, das ein Beispiel einer Arbeitsweise des Korrigierers 16 der Bildverarbeitungsvorrichtung 10 darstellt. Ein Beispiel der Arbeitsweise des Korrigierers 16 ist mit Bezugnahme auf 5 beschrieben.
Wie in 5 dargestellt, bestimmt der Korrigierer 16 zuerst, ob Klar als gesättigt bestimmt ist oder nicht (Schritt S11). Genauer bestimmt der Korrigierer 16, ob Klar durch den Sättigungsbestimmer 14 als gesättigt bestimmt ist oder nicht.
Wenn Klar durch den Sättigungsbestimmer 14 als gesättigt bestimmt ist (Ja in Schritt S11), berechnet der Korrigierer 16 einen Mittelwert eines Signalwerts von Rot und eines Signalwerts von Blau unter den zweiten Farben (Schritt S12). Wenn beispielsweise der Signalwert von Rot und der Signalwert von Blau 8-Bit-Werte sind und der Signalwert von Rot 100 beträgt und der Signalwert von Blau 150 beträgt, berechnet der Korrigierer 16 den Mittelwert zu 125.
Wenn der Korrigierer 16 den Mittelwert des Signalwerts von Rot und des Signalwerts von Blau unter den zweiten Farben berechnet, wird entweder ein Signalwert von Grün unter den zweiten Farben oder der Mittelwert, welcher auch immer größer ist, als korrigierter Signalwert von Grün ausgegeben (Schritt S13).
Wenn Klar durch den Sättigungsbestimmer 14 als nicht gesättigt bestimmt ist (Nein bei Schritt S11), gibt der Korrigierer 16 den Signalwert von Grün unter den zweiten Farben als korrigierten Signalwert von Grün aus (Schritt S14).
Die Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform ist oben beschrieben.
Wie oben beschrieben, enthält die Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform: die Berechnungseinheit 12, die Signalwerte einer Vielzahl von zweiten Farben unter Verwendung von Signalwerten einer Vielzahl von ersten Farben berechnet, die von einem Bildsensor erlangt sind; den Sättigungsbestimmer 14, der bestimmt, ob mindestens eine aus der Vielzahl von ersten Farben gesättigt ist oder nicht, unter Verwendung der Signalwerte der Vielzahl von ersten Farben; und den Korrigierer 16, der mindestens einen Signalwert aus der Vielzahl von zweiten Farben korrigiert und einen korrigierten Signalwert ausgibt, wenn der Sättigungsbestimmer 14 bestimmt, dass die mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Damit kann, wenn mindestens eine der ersten Farben gesättigt ist und mindestens ein Signalwert der zweiten Farben verschieden von einem Wert ist, der berechnet sein sollte, der mindestens eine Signalwert korrigiert und ausgegeben werden. Daher kann dies unterbinden, dass eine Farbe eine Bildes zu einer Farbe wird, die von einer tatsächlichen Farbe verschieden ist, was davon herrührt, dass ein Signalwert aus den zweiten Farben verschieden ist von einem Wert, der berechnet sein sollte, und unterbindet dadurch eine Verschlechterung der Qualität eines Bildes.
Darüber hinaus vergleicht bei der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform der Korrigierer 16 einen Signalwert einer zu korrigierenden Farbe unter der Vielzahl von zweiten Farben mit einem Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, unter der Vielzahl von zweiten Farben, und gibt entweder den Signalwert der zu korrigierenden Farbe oder den Mittelwert, welcher auch immer größer ist, als einen korrigierten Signalwert der zu korrigierenden Farbe unter der Vielzahl von zweiten Farben aus.
Wenn der Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, größer ist als der Signalwert der zu korrigierenden Farbe, ist es wahrscheinlich, dass der Signalwert, der berechnet werden sollte, der zu korrigierenden Farbe ein Wert nahe dem Mittelwert liegt. Daher erreicht es ein Ausgeben des Mittelwerts als korrigierten Signalwert der zu korrigierenden Farbe, dass eine Farbe eines Bildes einer tatsächlichen Farbe besser ähnelt.
Wenn andererseits der Signalwert der zu korrigierenden Farbe größer ist als der Mittelwert von Signalwerten der einen oder der mehreren Farben, die nicht zu korrigieren sind, ist es wahrscheinlich, dass der Signalwert, der berechnet werden sollte, der zu korrigierenden Farbe ein Wert nahe dem Signalwert der zu korrigierenden Farbe liegt. Daher erreicht es ein Ausgeben des Signalwerts der zu korrigierenden Farbe als korrigierten Signalwert der zu korrigierenden Farbe, dass eine Farbe eines Bildes einer tatsächlichen Farbe besser ähnelt.
Dies kann unterbinden, dass eine Farbe eines Bildes zu einer anderen Farbe als einer tatsächlichen Farbe wird, und kann weiter eine Verschlechterung der Qualität eines Bildes unterbinden.
Darüber hinaus gibt der Korrigierer 16 einen Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, unter der Vielzahl von zweiten Farben als korrigierten Signalwert einer zu korrigierenden Farbe unter der Vielzahl von zweiten Farben aus.
Dies macht es leichter zu unterbinden, dass ein Bereich, der tatsächlich eine weißliche Farbe aufweist, in einer anderen Farbe gefärbt wird, und weiter eine Verschlechterung der Qualität eines Bildes zu unterbinden.
Darüber hinaus enthält bei der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform die Vielzahl von ersten Farben Klar.
Damit kann eine große Menge an Licht erfasst werden, und somit kann dies eine Verschlechterung der Qualität beispielsweise eines bei Nacht aufgenommenen Bildes unterbinden.
Darüber hinaus bestimmt bei der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform der Sättigungsbestimmer 14, ob Klar, das eine aus der Vielzahl von ersten Farben ist, gesättigt ist oder nicht.
Damit kann leicht bestimmt werden, ob mindestens eine der ersten Farben gesättigt ist oder nicht, weil Klar leichter gesättigt wird als andere Farben.
Darüber hinaus korrigiert bei der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform der Korrigierer 16 einen Signalwert einer Farbe, die eine aus der Vielzahl von zweiten Farben und keine aus der Vielzahl von ersten Farben ist.
Der Signalwert einer Farbe, die eine der zweiten Farben und keine der ersten Farben ist, kann unter Verwendung eines Signalwerts einer gesättigten Farbe unter den ersten Farben berechnet werden. In diesem Fall ist es wahrscheinlich, dass ein Signalwert einer Farbe, die keine der ersten Farben ist, ein Wert ist, der verschieden ist von einem Wert, der berechnet sein sollte. Daher macht es ein Korrigieren eines Signalwerts einer Farbe, die keine der ersten Farben ist, leichter, den Signalwert einem Wert zu nähern, der berechnet sein sollte, und weiter eine Verschlechterung der Qualität eines Bildes zu unterbinden.
Darüber hinaus umfasst bei der Bildverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform die Vielzahl von ersten Farben Rot, Blau und Klar und umfasst die Vielzahl von zweiten Farben Rot, Blau und Grün. Unter der Vielzahl von zweiten Farben korrigiert der Korrigierer 16 einen Signalwert von Grün und berechnet den Mittelwert unter Verwendung eines Signalwerts von Rot und eines Signalwerts von Blau.
Damit kann Grün unter der Vielzahl von zweiten Farben unter Verwendung von Signalwerten von Rot, Blau und Klar berechnet werden. Darüber hinaus kann, wenn Klar gesättigt ist, der Signalwert von Grün unter Verwendung des Mittelwerts des Signalwerts von Rot und des Signalwerts von Blau korrigiert werden, und eine Verschlechterung der Qualität eines Bildes kann weiter unterbunden sein.
(Ausführungsform 2)
Als Nächstes ist eine Bildverarbeitungsvorrichtung 10a gemäß der Ausführungsform 2 beschrieben.
6 ist ein Blockschaltbild einer Bildverarbeitungsvorrichtung 10a gemäß der Ausführungsform 2. Die Bildverarbeitungsvorrichtung 10a unterscheidet sich von der Bildverarbeitungsvorrichtung 10 hauptsächlich darin, dass die Bildverarbeitungsvorrichtung 10a weiter ein Glättungsfilter 22 enthält. Die folgende Beschreibung beschreibt hauptsächlich Unterschiede der Bildverarbeitungsvorrichtung 10a von der Bildverarbeitungsvorrichtung 10.
Wie in 6 dargestellt, enthält die Bildverarbeitungsvorrichtung 10a weiter das Glättungsfilter 22. Wenn der Sättigungsbestimmer 14 bestimmt, dass mindestens eine der ersten Farben gesättigt ist, führt das Glättungsfilter 22 ein Glätten an einem korrigierten Wert von Grün, der durch den Korrigierer 16 ausgegeben ist, in mindestens einer aus einer räumlichen Richtung oder einer zeitlichen Richtung durch. Darüber hinaus führt das Glättungsfilter 22 ein Glätten auch an einem Signalwert von Rot und einem Signalwert von Blau, die durch die Berechnungseinheit 12 berechnet sind, in mindestens einer aus der räumlichen Richtung oder der zeitlichen Richtung durch. Das Glättungsfilter 22 gibt einen geglätteten Signalwert von Rot, einen geglätteten Signalwert von Blau und einen geglätteten Signalwert von Grün aus. In der folgenden Beschreibung kann ein geglätteter Signalwert von Rot als R3 bezeichnet sein, kann ein geglätteter Signalwert von Blau als B3 bezeichnet sein und kann ein geglätteter Signalwert von Grün als G3 bezeichnet sein.
7 ist ein Diagramm zum Erläutern des Glättens in einer räumlichen Richtung, durchgeführt durch das Glättungsfilter 22 der Bildverarbeitungsvorrichtung 10a in 6. Wie beispielsweise in 7 dargestellt, erlangt die Berechnungseinheit 12, wenn Pixel einer Anzeige in einem Array angeordnet sind, R, B und K und berechnet R1, B1 und G1 für jedes der Pixel. Der Sättigungsbestimmer 14 bestimmt für jedes der Pixel, ob Klar gesättigt ist oder nicht. Der Korrigierer 16 korrigiert G1 und gibt G2 für jedes der Pixel aus.
Wenn der Sättigungsbestimmer 14 beispielsweise im Pixel 24 unter den Pixeln bestimmt, dass Klar gesättigt ist, führt das Glättungsfilter 22 ein Glätten an R1, B1 und G2 für das Pixel 24 in einer räumlichen Richtung durch. Genauer bezieht sich das Glättungsfilter 22 beispielsweise auf R1, B1 und G2 für das Pixel 26, das dem Pixel 24 benachbart ist; bezieht sich auf R1, B1 und G2 für das Pixel 28, das dem Pixel 24 benachbart ist; und führt ein Glätten an R1, B1 und G2 durch und gibt R3, B3 und G3 für das Pixel 24 aus. Auf diese Weise führt das Glättungsfilter 22 das Glätten an R1, B1 und G2 in der räumlichen Richtung durch.
8 ist ein Diagramm zum Erläutern des Glättens in einer zeitlichen Richtung, durchgeführt durch ein Glättungsfilter 22 der Bildverarbeitungsvorrichtung 10a in 6. Wenn, wie beispielsweise in 8 dargestellt, der Sättigungsbestimmer 14 für das Pixel 24b unter den Pixeln bestimmt, dass Klar gesättigt ist, führt das Glättungsfilter 22 ein Glätten von R1, B1 und G2 für das Pixel 24b in einer zeitlichen Richtung durch (siehe Pfeil A in 8). Genauer bezieht sich das Glättungsfilter 22 beispielsweise auf R1, B1 und G2 für das Pixel 24a, das früher als das Pixel 24b in der zeitlichen Richtung ist; bezieht sich auf R1, B1 und G2 für das Pixel 24c, das später als das Pixel 24b in der zeitlichen Richtung ist; und führt ein Glätten an R1, B1 und G2 durch und gibt R3, B3 und G3 für das Pixel 24b aus.
Die Bildverarbeitungsvorrichtung 10a gemäß der vorliegenden Ausführungsform ist oben beschrieben.
Wie oben beschrieben, enthält die Bildverarbeitungsvorrichtung 10a gemäß der vorliegenden Ausführungsform das Glättungsfilter 22, das ein Glätten in mindestens einer aus einer räumlichen Richtung oder einer zeitlichen Richtung an einem korrigierten Signalwert durchführt, der durch den Korrigierer 16 ausgegeben ist, wenn der Sättigungsbestimmer 14 bestimmt, dass mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Damit führt, wenn der Sättigungsbestimmer 14 bestimmt, dass mindestens eine der ersten Farben gesättigt ist, das Glättungsfilter 22 ein Glätten an einem korrigierten Signalwert durch. Daher kann dies eine Verschlechterung der Qualität eines Bildes unterbinden.
(Ausführungsform 3)
Als Nächstes ist ein Bildverarbeitungssystem 100 gemäß der Ausführungsform 3 beschrieben.
9 ist ein Blockschaltbild eines Bildverarbeitungssystems 100 gemäß der Ausführungsform 3. Wie in 9 dargestellt, enthält das Bildverarbeitungssystem 100 Bildverarbeitungsvorrichtungen 10b bis 10d. Die Bildverarbeitungsvorrichtungen 10b bis 10d weisen jeweils denselben Aufbau auf wie die zuvor beschriebene Bildverarbeitungsvorrichtung 10. Mit anderen Worten, das Bildverarbeitungssystem 100 enthält eine Vielzahl von Bildverarbeitungsvorrichtungen 10.
Die Bildverarbeitungsvorrichtungen 10b bis 10d sind parallel zueinander angeordnet und verarbeiten Belichtungsbilder, die bei voneinander verschiedenen Belichtungszeiten aufgenommen sind. Die Belichtungsbilder enthalten Signalwerte der ersten Farben. Wie oben beschrieben, weisen die Bildverarbeitungsvorrichtungen 10b bis 10d jeweils denselben Aufbau auf wie die Bildverarbeitungsvorrichtung 10, und somit ist eine genaue Beschreibung der Bildverarbeitungsvorrichtungen 10b bis 10d durch Bezugnahme auf die zuvor dargelegte Beschreibung der Bildverarbeitungsvorrichtung 10 weggelassen.
Die Bildverarbeitungsvorrichtung 10b verarbeitet ein erstes Belichtungsbild unter den Belichtungsbildern, das bei einer ersten Belichtungszeit aufgenommen ist. Genauer erlangt die Bildverarbeitungsvorrichtung 10b Signalwerte der ersten Farben, die im ersten Belichtungsbild enthalten sind, und verarbeitet die Signalwerte der ersten Farben, um das erste Belichtungsbild zu verarbeiten. Die Signalwerte der ersten Farben sind ein Signalwert von Rot (siehe Ra in 9), ein Signalwert von Blau (siehe Ba in 9) und ein Signalwert von Klar (siehe Ka in 9). Die Bildverarbeitungsvorrichtung 10b führt eine Verarbeitung auf dieselbe Weise wie die bei der Ausführungsform 1 beschriebene Bildverarbeitungsvorrichtung 10 unter Verwendung der Signalwerte der ersten Farben durch und gibt einen Signalwert von Rot (siehe R1a in 9), einen Signalwert von Blau (siehe B1a in 9) und einen korrigierten Signalwert von Grün (siehe G2a in 9) unter den zweiten Farben aus. Auf diese Weise verarbeitet die Bildverarbeitungsvorrichtung 10b das erste Belichtungsbild durch ein Verarbeiten von Signalwerten der ersten Farben, die im ersten Belichtungsbild enthalten sind.
Die Bildverarbeitungsvorrichtung 10c verarbeitet ein zweites Belichtungsbild unter den Belichtungsbildern, das bei einer zweiten Belichtungszeit aufgenommen ist. Genauer erlangt die Bildverarbeitungsvorrichtung 10c Signalwerte der ersten Farben, die im zweiten Belichtungsbild enthalten sind, und verarbeitet die Signalwerte der ersten Farben, um das zweite Belichtungsbild zu verarbeiten. Die Signalwerte der ersten Farben sind ein Signalwert von Rot (siehe Rb in 9), ein Signalwert von Blau (siehe Bb in 9) und ein Signalwert von Klar (siehe Kb in 9). Die Bildverarbeitungsvorrichtung 10c führt eine Verarbeitung auf dieselbe Weise wie die bei der Ausführungsform 1 beschriebene Bildverarbeitungsvorrichtung 10 unter Verwendung der Signalwerte der ersten Farben durch und gibt einen Signalwert von Rot (siehe R1b in 9), einen Signalwert von Blau (siehe B1b in 9) und einen korrigierten Signalwert von Grün (siehe G2b in 9) unter den zweiten Farben aus. Auf diese Weise verarbeitet die Bildverarbeitungsvorrichtung 10c das zweite Belichtungsbild durch ein Verarbeiten von Signalwerten der ersten Farben, die im zweiten Belichtungsbild enthalten sind. Zum Beispiel ist die zweite Belichtungszeit länger als die erste Belichtungszeit.
Die Bildverarbeitungsvorrichtung 10d verarbeitet ein drittes Belichtungsbild unter den Belichtungsbildern, das bei einer dritten Belichtungszeit aufgenommen ist. Genauer erlangt die Bildverarbeitungsvorrichtung 10d Signalwerte der ersten Farben, die im dritten Belichtungsbild enthalten sind, und verarbeitet die Signalwerte der ersten Farben, um das dritte Belichtungsbild zu verarbeiten. Die Signalwerte der ersten Farben sind ein Signalwert von Rot (siehe Rc in 9), ein Signalwert von Blau (siehe Bc in 9) und ein Signalwert von Klar (siehe Kc in 9). Die Bildverarbeitungsvorrichtung 10d führt eine Verarbeitung auf dieselbe Weise wie die bei der Ausführungsform 1 beschriebene Bildverarbeitungsvorrichtung 10 unter Verwendung der Signalwerte der ersten Farben durch und gibt einen Signalwert von Rot (siehe R1c in 9), einen Signalwert von Blau (siehe B1c in 9) und einen korrigierten Signalwert von Grün (siehe G2c in 9) der zweiten Farben aus. Auf diese Weise verarbeitet die Bildverarbeitungsvorrichtung 10d das dritte Belichtungsbild durch ein Verarbeiten von Signalwerten der ersten Farben, die im dritten Belichtungsbild enthalten sind. Zum Beispiel ist die dritte Belichtungszeit länger als die erste Belichtungszeit und die zweite Zeit.
Anzumerken ist, dass bei der Ausführungsform 3 ein Beispiel beschrieben ist, bei dem drei Bildverarbeitungsvorrichtungen verwendet sind, aber die vorliegende Offenbarung ist nicht auf diese Anordnung beschränkt. Zum Beispiel können zwei Bildverarbeitungsvorrichtungen verwendet sein, oder es können vier oder mehr Bildverarbeitungsvorrichtungen verwendet sein.
Darüber hinaus ist bei der Ausführungsform 3 ein Beispiel beschrieben, bei dem das Bildverarbeitungssystem 100 eine Vielzahl von Bildverarbeitungsvorrichtungen 10 enthält, aber die vorliegende Offenbarung ist nicht auf diese Anordnung beschränkt. Zum Beispiel kann das Bildverarbeitungssystem eine Vielzahl von Bildverarbeitungsvorrichtungen 10a enthalten.
Das Bildverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform ist oben beschrieben.
Wie oben beschrieben, enthält das Bildverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform eine Vielzahl von Bildverarbeitungsvorrichtungen 10, und die Vielzahl von Bildverarbeitungsvorrichtungen 10 verarbeitet eine Vielzahl von Belichtungsbildern, die bei voneinander verschiedenen Belichtungszeiten aufgenommen sind und Signalwerte der Vielzahl von ersten Farben enthalten.
Damit können die Bildverarbeitungsvorrichtungen 10, wenn Bilder bei voneinander verschiedenen Belichtungszeiten aufgenommen sind, die Belichtungsbilder verarbeiten, die aufgenommen sind.
(Ausführungsform 4)
Als Nächstes ist eine Bildverarbeitungsvorrichtung 10e gemäß der Ausführungsform 4 beschrieben.
10 ist ein Blockschaltbild einer Bildverarbeitungsvorrichtung 10e gemäß der Ausführungsform 4. Die Bildverarbeitungsvorrichtung 10e unterscheidet sich von der Bildverarbeitungsvorrichtung 10 hauptsächlich darin, dass die Bildverarbeitungsvorrichtung 10e weiter einen Demosaicing-Prozessor 30 enthält. Die folgende Beschreibung beschreibt hauptsächlich Unterschiede der Bildverarbeitungsvorrichtung 10e gegenüber der Bildverarbeitungsvorrichtung 10.
Wie in 10 dargestellt, enthält die Bildverarbeitungsvorrichtung 10e weiter einen der Berechnungseinheit 12 vorgeschalteten Demosaicing-Prozessor 30. Der Demosaicing-Prozessor 30 führt ein Demosaicing unter Anwendung eines Interpolationsfilters auf ein Originalbild (RAW-Bild) durch, das von einem Bildsensor (nicht dargestellt) erlangt ist, und berechnet Signalwerte erster Farben. Der Demosaicing-Prozessor 30 gibt die berechneten Signalwerte der ersten Farben an die Berechnungseinheit 12 aus.
In der vorliegenden Ausführungsform sind die ersten Farben Rot, Blau und Klar. Der Demosaicing-Prozessor 30 verwendet ein Interpolationsfilter für das von dem Bildsensor erlangte RAW-Bild, um einen Signalwert von Rot, einen Signalwert von Blau und einen Signalwert von Klar zu berechnen. Genauer zielt der Demosaicing-Prozessor 30 auf jedes der Pixel des Bildsensors ab und berechnet Signalwerte der ersten Farben, die jedem der Pixel entsprechen. In der folgenden Beschreibung kann ein Pixel unter den Pixeln des Bildsensors, auf das der Demosaicing-Prozessor 30 abzielt, als Objektpixel bezeichnet sein. Wenn Signalwerte der ersten Farben für das Objektpixel berechnet sind, benutzt das Interpolationsfilter Werte von Pixeln, die von identischer Farbe sind und dem Objektpixel benachbart sind, um einen Signalwert einer von der Farbe das Objektpixels verschiedene Farbe zu berechnen.
11 ist ein Diagramm zum Erläutern eines Beispiels des Interpolationsfilters.
In 11 ist (a) ein Diagramm zum Erläutern, wenn das Objektpixel ein rotes Pixel ist. Wie in (a) in 11 dargestellt, ist ein Signalwert von Rot, der vom Objektpixel ausgegeben ist, als RI bezeichnet, sind Signalwerte von Blau, die von blauen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als BI, BII, BIII und BIV bezeichnet, und sind Signalwerte von Klar, die von weißen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als KI, KII, KIII und KIV bezeichnet. In diesem Beispiel gibt der Demosaicing-Prozessor 30 unter den ersten Farben RI als Signalwert von Rot aus; gibt einen Mittelwert von BI, BII, BIII und BIV, die von blauen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als Signalwert von Blau aus; und gibt einen Mittelwert von KI, KII, KIII und KIV, die von weißen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als Signalwert von Klar aus. Mit anderen Worten, der Demosaicing-Prozessor 30 gibt an die Berechnungseinheit 12 Werte aus, die durch die folgenden Ausdrücke erhalten sind. R = RI, B = (BI + BII + BIII + BIV)/4 und $K = (KI + KII + KIII + KIV) / 4.$
In 11 ist (b) ein Diagramm zum Erläutern, wenn das Objektpixel ein blaues Pixel ist. Wie in (b) in 11 dargestellt, ist ein Signalwert von Blau, der vom Objektpixel ausgegeben ist, als BI bezeichnet, sind Signalwerte von Rot, die von roten Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als RI, RII, RIII und RIV bezeichnet, und sind Signalwerte von Klar, die von weißen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als KI, KII, KIII und KIV bezeichnet. In diesem Beispiel gibt der Demosaicing-Prozessor 30 unter den ersten Farben BI als Signalwert von Blau aus, gibt einen Mittelwert von RI, RII, RIII und RIV, die von roten Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als Signalwert von Rot aus und gibt einen Mittelwert von KI, KII, KIII und KIV, die von weißen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als Signalwert von Klar aus. Mit anderen Worten, der Demosaicing-Prozessor 30 gibt an die Berechnungseinheit 12 Werte aus, die durch die folgenden Ausdrücke erhalten sind. B = BI, R = (RI + RII + RIII + RIV)/4 und K = (KI + KII + KIII + KIV)/4.
In 11 ist (c) ein Diagramm zum Erläutern, wenn das Objektpixel ein weißes Pixel ist. Wie in (c) in 11 dargestellt, ist ein Signalwert von Klar, der vom Objektpixel ausgegeben ist, als KIII bezeichnet, sind Signalwerte von Rot, die von roten Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als RI und RII bezeichnet und sind Signalwerte von Blau, die von blauen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als BI und BII bezeichnet. In diesem Beispiel gibt der Demosaicing-Prozessor 30 unter den ersten Farben KIII als Signalwert von Klar aus, gibt einen Mittelwert von RI und RII, die von roten Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als Signalwert von Rot aus und gibt einen Mittelwert von BI und BII, die von blauen Pixeln ausgegeben sind, die dem Objektpixel benachbart sind, als Signalwert von Blau aus. Mit anderen Worten, der Demosaicing-Prozessor 30 gibt an die Berechnungseinheit 12 Werte aus, die durch die folgenden Ausdrücke erhalten sind. K = KIII, R = (RI + RII)/2 und B = (BI + BII)/2.
Anzumerken ist, dass der Demosaicing-Prozessor 30 das Interpolationsfilter geeignet ändern kann gemäß der Größe der Differenz zwischen Signalwerten, die von Pixeln ausgegeben sind, die von identischer Farbe sind und dem Objektpixel benachbart sind. Mit anderen Worten, der Demosaicing-Prozessor 30 kann das Interpolationsfilter gemäß der Differenz zwischen zwei Signalwerten ändern, die von identischer Farbe sind und von zwei einem Objektpixel benachbarten Pixeln ausgegeben sind. Wenn beispielsweise ein Signalwert einer von der Farbe des Objektpixels verschiedenen Farbe unter den ersten Farben zu berechnen ist und die Differenz zwischen zwei Signalwerten, die von zwei Pixeln ausgegeben sind, die von identischer Farbe sind und dem Objektpixel benachbart sind, kleiner als oder gleich einem vorgegebenen Schwellwert ist, wird ein Mittelwert der beiden Signalwerte ausgegeben. Wenn die Differenz zwischen den beiden Pixeln größer ist als der vorgegebene Schwellwert, kann das Interpolationsfilter zu einem Interpolationsfilter geändert werden, das einen kleineren Wert als den Mittelwert ausgibt.
Darüber hinaus kann ein Interpolationsfilter verwendet werden, das einen nach einem gewichteten Mittel berechneten Wert anstelle eines Mittelwerts ausgibt. Darüber hinaus kann der Schwellwert für jede Farbe festgelegt sein und kann variabel sein.
Die Bildverarbeitungsvorrichtung 10e gemäß der vorliegenden Ausführungsform ist oben beschrieben.
Wie oben beschrieben, enthält die Bildverarbeitungsvorrichtung 10e gemäß der vorliegenden Ausführungsform weiter, der Berechnungseinheit 12 vorgeschaltet, den Demosaicing-Prozessor 30, der ein Demosaicing unter Anwendung eines Interpolationsfilters auf ein von dem Bildsensor erlangtes RAW-Bild durchführt und die Signalwerte der Vielzahl von ersten Farben berechnet.
Dies ermöglicht es, aus einem RAW-Bild Signalwerte der ersten Farben zu erlangen, d.h. einen Signalwert von Rot, einen Signalwert von Blau und einen Signalwert von Klar.
Darüber hinaus ändert der Demosaicing-Prozessor 30 das Interpolationsfilter gemäß einer Differenz zwischen zwei Signalwerten, wobei die beiden Signalwerte von identischer Farbe sind und von zwei einem Objektpixel benachbarten Pixeln ausgegeben sind.
Dies verringert eine Unausgeglichenheit einer Farbe für ein Pixel mit einem Signalwert, der stark von einem Signalwert eines benachbarten Pixels abweicht. Daher kann dies eine Färbung in einem Bild weiter unterbinden, das in einer nachgelagerten Verarbeitung zu erlangen ist.
(Andere Ausführungsformen usw.)
Die Bildverarbeitungsvorrichtung, das Bildverarbeitungsverfahren und das Bildverarbeitungssystem gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung sind oben auf Grundlage der Ausführungsformen beschrieben, aber die vorliegende Offenbarung ist nicht auf die Ausführungsformen beschränkt. Der eine oder die mehreren Aspekte können somit Abwandlungen umfassen, die durch ein Vornehmen verschiedener Modifikationen an den obigen Ausführungsformen erlangt werden, die durch Fachleute ersonnen werden können, ohne wesentlich vom Geltungsbereich der vorliegenden Offenbarung abzuweichen.
Ein Beispiel, bei dem die ersten Farben Rot, Blau und Klar sind, ist in den zuvor beschriebenen Ausführungsformen beschrieben, aber die vorliegende Offenbarung ist nicht auf diese Anordnung beschränkt. Die ersten Farben können beliebige zwei oder mehr Farben sein.
Ein Beispiel, bei dem die zweiten Farben Rot, Blau und Grün sind, ist bei den zuvor genannten Ausführungsformen beschrieben, aber die vorliegende Offenbarung ist nicht auf diese Anordnung beschränkt. Die zweiten Farben können beliebige zwei oder mehr Farben sein.
Bei den zuvor beschriebenen Ausführungsformen ist ein Beispiel beschrieben, bei dem die Berechnungseinheit 12 Signalwerte der zweiten Farben unter Verwendung von drei Signalwerten berechnet, d.h. einem Signalwert von Rot, einem Signalwert von Blau und einem Signalwert von Klar, aber die vorliegende Offenbarung ist nicht auf diese Anordnung beschränkt. Zum Beispiel kann die Berechnungseinheit drei Signalwerte benutzen, d.h. einen Signalwert von Rot, einen Signalwert von Grün und einen Signalwert von Klar, um Signalwerte der zweiten Farben einschließlich Blau zu berechnen. Alternativ kann die Berechnungseinheit drei Signalwerte benutzen, d.h. einen Signalwert von Rot, einen Signalwert von Klar und einen weiteren, verschiedenen Signalwert von Klar, um Signalwerte der zweiten Farben zu berechnen. Darüber hinaus kann die Berechnungseinheit vier Signalwerte benutzen, d.h. einen Signalwert von Rot, einen Signalwert von Klar und einen weiteren Signalwert von Klar und noch einen weiteren Signalwert von Klar, um Signalwerte der zweiten Farben zu berechnen. Darüber hinaus kann die Berechnungseinheit fünf oder mehr Signalwerte benutzen, um Signalwerte der zweiten Farben zu berechnen.
Bei den zuvor beschriebenen Ausführungsformen ist ein Beispiel beschrieben, bei dem der Sättigungsbestimmer 14 bestimmt, ob Klar unter den ersten Farben gesättigt ist oder nicht, aber die vorliegende Offenbarung ist nicht auf diese Anordnung beschränkt. Zum Beispiel kann der Sättigungsbestimmer 14 bestimmen, ob zwei Farben unter den ersten Farben, d.h. Klar und Rot, gesättigt sind oder nicht. Wenn in diesem Beispiel bestimmt ist, dass zwei Farben unter den ersten Farben, beispielsweise Klar und Rot, gesättigt sind, kann der Korrigierer 16 einen Signalwert von Rot und einen Signalwert von Grün unter den zweiten Farben korrigieren.
[Gewerbliche Anwendbarkeit]
Die vorliegende Offenbarung ist bei Bildaufnahmevorrichtungen und dergleichen anwendbar, die Bilder aufnehmen.
Bezugszeichenliste

10, 10a, 10b, 10c, 10d, 10e: Bildverarbeitungsvorrichtung
12: Berechnungseinheit
14: Sättigungsbestimmer
16: Korrigierer
18: Mittelwertrechner
20: Maximalwertwähler
22: Glättungsfilter
30: Demosaicing-Prozessor
100: Bildverarbeitungssystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2008205940 [0003]

Claims

Bildverarbeitungsvorrichtung, umfassend: eine Berechnungseinheit, die Signalwerte einer Vielzahl von zweiten Farben unter Verwendung von Signalwerten einer Vielzahl von ersten Farben berechnet, die von einem Bildsensor erlangt sind; einen Sättigungsbestimmer, der unter Verwendung der Signalwerte der Vielzahl von ersten Farben bestimmt, ob mindestens eine aus der Vielzahl von ersten Farben gesättigt ist oder nicht; und einen Korrigierer, der mindestens einen Signalwert aus der Vielzahl von zweiten Farben korrigiert und einen korrigierten Signalwert ausgibt, wenn der Sättigungsbestimmer bestimmt, dass die mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Korrigierer einen Signalwert einer zu korrigierenden Farbe unter der Vielzahl von zweiten Farben mit einem Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, unter der Vielzahl von zweiten Farben vergleicht, und entweder den Signalwert der zu korrigierenden Farbe oder den Mittelwert, welcher auch immer größer ist, als einen korrigierten Signalwert der zu korrigierenden Farbe unter der Vielzahl von zweiten Farben ausgibt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei der Korrigierer einen Mittelwert von Signalwerten einer oder mehrerer Farben, die nicht zu korrigieren sind, unter der Vielzahl von zweiten Farben als korrigierten Signalwert einer zu korrigierenden Farbe unter der Vielzahl von zweiten Farben ausgibt.
Bildverarbeitungsvorrichtung nach Anspruch 2 oder 3, wobei die Vielzahl von ersten Farben eine Farbe von Licht umfasst, das durch ein Filter hindurchgetreten ist und durch den Bildsensor empfangen wurde, wobei das Filter Licht in allen Wellenlängenbereichen durchlässt.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei der Sättigungsbestimmer bestimmt, ob die Farbe von Licht, das durch das Filter hindurchgetreten ist und durch den Bildsensor empfangen wurde, gesättigt ist oder nicht, wobei die Farbe eine aus der Vielzahl von ersten Farben ist.
Bildverarbeitungsvorrichtung nach einem beliebigen der Ansprüche 2 bis 5, wobei der Korrigierer einen Signalwert einer Farbe korrigiert, die eine aus der Vielzahl von zweiten Farben und keine aus der Vielzahl von ersten Farben ist.
Bildverarbeitungsvorrichtung nach Anspruch 4 oder 5, wobei die Vielzahl von ersten Farben Rot, Blau und die Farbe von Licht sind, das durch das Filter hindurchgetreten ist und durch den Bildsensor empfangen wurde, die Vielzahl von zweiten Farben Rot, Blau und Grün sind, und unter der Vielzahl von zweiten Farben der Korrigierer einen Signalwert von Grün korrigiert und den Mittelwert unter Verwendung eines Signalwerts von Rot und eines Signalwerts von Blau berechnet.
Bildverarbeitungsvorrichtung nach einem beliebigen der Ansprüche 1 bis 7, weiter umfassend: ein Glättungsfilter, das ein Glätten an einem korrigierten Signalwert, der durch den Korrigierer ausgegeben ist, in mindestens einer aus einer räumlichen Richtung oder einer zeitlichen Richtung durchführt, wenn der Sättigungsbestimmer bestimmt, dass mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Bildverarbeitungsvorrichtung nach einem beliebigen der Ansprüche 1 bis 8, weiter umfassend: einen der Berechnungseinheit vorgeschalteten Demosaicing-Prozessor, der ein Demosaicing unter Anwendung eines Interpolationsfilters auf ein von dem Bildsensor erlangtes RAW-Bild durchführt und die Signalwerte der Vielzahl von ersten Farben berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 9, wobei der Demosaicing-Prozessor das Interpolationsfilter gemäß einer Differenz zwischen zwei Signalwerten ändert, wobei die beiden Signalwerte von identischer Farbe sind und von zwei Pixeln ausgegeben sind, die einem Objektpixel benachbart sind.
Bildverarbeitungsverfahren, umfassend: ein Berechnen der Signalwerte einer Vielzahl von zweiten Farben unter Verwendung von Signalwerten einer Vielzahl von ersten Farben, die von einem Bildsensor erlangt sind; ein Bestimmen unter Verwendung der Signalwerte der Vielzahl von ersten Farben, ob mindestens eine aus der Vielzahl von ersten Farben gesättigt ist oder nicht; und ein Korrigieren mindestens eines Signalwerts aus der Vielzahl von zweiten Farben und ein Ausgeben eines korrigierten Signalwerts, wenn bestimmt ist, dass die mindestens eine aus der Vielzahl von ersten Farben gesättigt ist.
Bildverarbeitungssystem, umfassend: eine Vielzahl von Bildverarbeitungsvorrichtungen, wobei jede die Bildverarbeitungsvorrichtung nach einem beliebigen der Ansprüche 1 bis 10 ist, wobei die Vielzahl von Bildverarbeitungsvorrichtungen eine Vielzahl von Belichtungsbildern verarbeitet, die bei voneinander verschiedenen Belichtungszeiten aufgenommen sind und Signalwerte der Vielzahl von ersten Farben enthalten.