-
HINTERGRUND
DER ERFINDUNG
-
Gebiet der Erfindung
-
Die
vorliegende Erfindung betrifft ein Bildverarbeitungsverfahren und
eine Bildverarbeitungsvorrichtung gemäß Oberbegriff des Anspruchs
1 und des Anspruchs 2. Die vorliegende Erfindung betrifft weiterhin
einen computerlesbaren Aufzeichnungsträger gemäß Oberbegriff des Anspruchs
1. Ein Verfahren, eine Vorrichtung und ein Aufzeichnungsträger dieser
Art sind aus der US-A-5 506 946 bekannt. Die Änderung des Farbtons basiert
dabei auf einer Mittelung von kolorimetrischen Werten.
-
Beschreibung
des einschlägigen
Standes der Technik
-
Die
Reproduktion digitaler Bilddaten, die durch digitale Stehbildkameras
(im folgenden einfach als Digitalkamera bezeichnet) erhalten werden,
und von digitalen Bilddaten, die durch Lesen von auf einem Bild
aufgezeichneten Bildern erhalten wurden, wurde mit dem Zweck durchgeführt, feste
Kopien wie beispielsweise Abzüge,
oder weiche Kopien auf Anzeigebildschirmen zu erzeugen. Bei einer
derartigen Wiedergabe von digitalen Bilddaten wird von einem reproduzierten
Bild erwartet, daß es
eine so hohe Qualität
aufweist, wie ein von einem Filmnegativ erhaltener Abzug.
-
Die
Farbwiedergabe des Gesichts ein und derselben Person kann von Abzug
zu Abzug schwanken. In einem Bild, welches mehrere Personen darstellt,
kann darüber
hinaus die Farbwiedergabe der Gesichter der einzelnen Personen unterschiedlich sein,
abhängig
von der Intensität
oder der Lage einer Lichtquelle. Bei einer Photographie, die eine
Person darstellt, zieht das Gesicht der Person die meiste Aufmerksamkeit
auf sich. Um eine hochqualitative Photographie zu erzeugen, ist
eine Korrektur des Gesichts zur Erzielung einer angemessenen Hautfarbe notwendig.
Um dies zu erreichen, sind verschiedene Verfahren zum Ändern einer
Hautfarbe eines Bilds in eine bevorzugte Hautfarbe entwickelt worden,
beispielsweise unter Einsatz einer Anzeigeeinrichtung wie beispielsweise
einem Monitor und einer Maus. Ein derartiges Verfahren beinhaltet
die Schritte des Verwendens einer Maus zum Extrahieren von Pixeln der
Hautfarbe aus einem Bild, welches das Gesicht einer Person enthält, um den
Hautfarbenwert in eine Farbe und einen Ton mit einem vorab definierten
bevorzugten Hautfarbenwert zu ändern,
wozu der extrahierte Farbwert als Bezugswert hergenommen wird (zum
Beispiel japanisches Patent Nr. 2878855). Ein zweites vorgeschlagenes
Verfahren beinhaltet die Schritte des Spezifizierens einer Fläche einer
zu ändernden
Farbe, die in einem angezeigten Bild enthalten ist, das Spezifizieren
der am meisten bevorzugten Farbe dieser Fläche, in der die Änderung
erwünscht
ist, am nächsten
kommenden Farbe, woraufhin die Farbe der Fläche in eine vorab definierte Farbe
geändert
wird (japanische ungeprüfte
Patentveröffentlichung
Nr. 8(1996)-221546). Weiterhin werden bei einem dritten vorgeschlagenen
Verfahren die menschliche Gesichter enthaltenden Flächenbereiche
automatisch extrahiert, und die Farbe der Gesichter enthaltenden
Flächen
werden in eine vorab definierte Farbe geändert.
-
Bei
all den oben beschriebenen Verfahren hat das menschliche Gesicht
aber nicht notwendigerweise nach vorgenommener Änderung die bevorzugte Hautfarbe,
weil die Hautfarbe eines menschlichen Gesichts sich in Richtung
einer vorbestimmten Hautfarbe ändert.
Da außerdem
nur die Gesichtsfarbe geändert
wird, läßt sich
das Gesicht einer Person mit scharfem Kontrast in einem Bild, welches
durch eine Außenaufnahme
bei Sonnenschein aufgenommen wurde, nicht korrigieren.
-
OFFENBARUNG
DER ERFINDUNG
-
Die
vorliegende Erfindung wurde im Hinblick auf die oben erläuterten
Probleme gemacht. Ein Ziel der Erfindung ist es daher, ein Bildverarbeitungsverfahren
und eine Bildverarbeitungsvorrichtung anzugeben, die einen spezifischen
Flächenbereich
in einem Bild, beispielsweise ein menschliches Gesicht, in eine
bevorzugte Farbe oder einen bevorzugten Farbton (im folgenden werden
Farbe und Farbton gemeinsam als Farbton bezeichnet) än dern können, wobei
außerdem
ein computerlesbarer Aufzeichnungsträger angegeben werden soll,
der ein Programm speichert, um einen Computer zu veranlassen, das
Bildverarbeitungsverfahren auszuführen.
-
Ein
Bildverarbeitungsverfahren gemäß der Erfindung
enthält
die Merkmale des Anspruchs 1.
-
In
dem Schritt des Empfangens der Spezifikation der ersten Fläche wird
nicht nur eine Fläche spezifiziert,
sondern es können
auch mehrere Flächenbereiche
spezifiziert werden.
-
Die „gewünschte Fläche einschließlich der zweiten
Fläche" kann sich nicht
nur auf die gesamte zweite Fläche
beziehen, sondern auch auf eine spezifische Fläche innerhalb des zweiten Flächenbereichs,
ferner auf das gesamte Bild einschließlich der zweiten Fläche sowie
Flächenbereiche,
die die zweite Fläche
und eine weitere Fläche
beinhalten.
-
Außerdem kann
die Spezifizierung der ersten Fläche
der Spezifizierung der zweiten Fläche vorausgehen, oder umgekehrt.
-
Als
erste oder zweite Fläche
läßt sich
ein beliebiges Objekt spezifizieren, beispielsweise ein menschliches
Gesicht, der Himmel oder grünes
Blattwerk.
-
Eine
Bildverarbeitungsvorrichtung gemäß der Erfindung
enthält
die Merkmale des Anspruchs 2.
-
Das
Bildverarbeitungsverfahren gemäß der Erfindung
kann ausgebildet sein als Programm, welches auf einem computerlesbaren
Aufzeichnungsträger
gespeichert ist, um einen Computer zu veranlassen, das Bildverarbeitungsverfahren
auszuführen.
-
Erfindungsgemäß wird eine
erste Fläche
mit einem gewünschten
Farbton innerhalb des angezeigten Bilds spezifiziert, und es wird
eine zweite Fläche in
dem Bild spezifiziert, welches der erste Fläche enthält, oder in einem weiteren
Bild. Der Farbton der gewünsch ten
Fläche
einschließlich
der zweiten Fläche wird
umgewandelt in den Farbton der ersten Fläche. Hierdurch läßt sich
die gewünschte
Fläche,
die die zweite Fläche
einschließt,
so ändern,
daß sie
den von einem Anwender gewünschten
Farbton aufweist.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm einer Konfiguration einer Bildverarbeitungsvorrichtung
gemäß einer
Ausführungsform
der Erfindung;
-
2 zeigt
ein auf einem Monitor angezeigtes Bild;
-
3 zeigt
ein Bild, in dem ein Flächenbereich
R1 spezifiziert wurde;
-
4 ist
ein Diagramm eines hautfarbenen Bereichs innerhalb eines CIELAB-Farbraums;
-
5 ist
ein Bild, in welchem ein Flächenbereich
R2 spezifiziert wurde;
-
6 zeigt
kumulative Histogramme;
-
7 ist
ein Flußdiagramm
des Arbeitsablaufs der ersten Ausführungsform; und
-
8 zeigt
ein Bild, in welchem mehrere Gesichter als Fläche R1 spezifiziert wurden.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Im
folgenden wird eine Ausführungsform
der Erfindung unter Bezugnahme auf die begleitenden Zeichnungen
erläutert.
-
1 ist
ein Blockdiagramm einer Konfiguration einer Bildverarbeitungsvorrichtung
gemäß der Ausführungsform
der Erfindung. Wie in 1 gezeigt ist, erhält die Bildver arbeitungsvorrichtung
verarbeitete Bilddaten S1, indem sie eine Bildverarbeitung der durch
Photographieren mit Hilfe einer digitalen Kamera, durch Lesen eines
Bilds mit einem Scanner oder durch andere Mittel erhaltenen Bilddaten
durchführt.
Die Bildverarbeitungsvorrichtung enthält eine Leseeinrichtung 1 zum
Lesen der Bilddaten S von einem Aufzeichnungsträger oder zum Lesen der Bilddaten
S, die über
ein Netzwerk übertragen
wurden, eine Bildverarbeitungsvorrichtung 2 zum Durchführen der
Bildverarbeitung mit den Bilddaten S, einen Monitor 3 zum
Anzeigen der Bilddaten S, und eine Eingabeeinrichtung 4 mit
einer Tastatur und einer Maus zum Durchführen unterschiedlicher Eingaben für die Bildverarbeitungsvorrichtung 2.
Bei dieser Ausführungsform
erfolgt eine Erläuterung
für den
Fall der Änderung
eines Farbtons eines menschlichen Gesichts innerhalb eines Bildes.
-
Die
Bildverarbeitungseinrichtung 2 führt die Bildverarbeitung bezüglich der
Bilddaten S folgendermaßen
durch. Zunächst
werden die Bilddaten S auf dem Monitor 3 dargestellt. 2 zeigt
das auf dem Monitor 3 dargestellte Bild. Wie in 4 gezeigt ist,
wird das Bild, welches Gesichter von Personen enthält, auf
dem Monitor 3 dargestellt. Ein Anwender betrachtet das
auf dem Monitor 3 dargestellte Bild und spezifiziert das
Bild eines Gesichts, welches den bevorzugtesten Farbton enthält, wozu
die Eingabeeinrichtung 4 eingesetzt wird. Insbesondere
spezifiziert der Anwender das Bild eines Gesichts mit einem gewünschten
Farbton, indem er das Bild des Gesichts mit einem Rechteck einfaßt, wozu
er die Maus der Eingabeeinrichtung 4 verwendet. 3 zeigt
einen Zustand, in welchem das Bild eines Gesichts mit dem gewünschten
Farbton spezifiziert wurde. Wie in 3 gezeigt
ist, wird das Bild eines Gesichts mit einem gewünschten Farbton durch eine
rechteckige Fläche
R1 spezifiziert.
-
Nachdem
die Fläche
R1 in der oben geschilderten Weise spezifiziert wurde, extrahiert
die Bildverarbeitungseinrichtung 2 aus der Fläche R1 eine Fläche R1', welche Pixel innerhalb
eines vorab definierten Hautfarbenbereichs enthält. Für diese Extrahierung wird ein
in einem CIELAB-Farbraum eingekreister Hautfarbenbereich D gemäß 4 vorab
definiert, und Pixelwerte des Bilds, die in der Fläche R1 enthalten
sind, werden in den CIELAB-Farbraum umgewandelt. Pixel mit Werten
innerhalb des Hautfarbenbereichs D werden dann als Hautfarbenbereich R1' extrahiert.
-
Der
Benutzer spezifiziert als Fläche
R2 eine Fläche,
die ein Bild eines Gesichts beinhaltet, dessen Farbton umzuwandeln
ist in den Farbton des Bilds des Gesichts innerhalb der Fläche R1.
Diese Spezifizierung wird in der gleichen Weise vorgenommen wie die
Spezifizierung der rechteckigen Fläche R1. 5 zeigt
einen Zustand, in welchem die Fläche
R1 zusätzlich
zu der Fläche
R2 spezifiziert wurde. Nachdem in der oben beschriebenen Weise die
Fläche
R2 spezifiziert wurde, wird der Hautfarben-Flächenbereich R2' innerhalb der Fläche R2 wie
im Fall der Fläche
R1' extrahiert.
-
Nachdem
die Hautfarben-Flächen
R1' und R2' extrahiert sind,
werden kumulative Histogramme der Hautfarben-Flächen R1' und R2' generiert. 6 zeigt
kumulative Histogramme H1 und H2 der Hautfarben-Flächen R1' und R2'. In 6 gehen
ausgehend vom Ursprung die horizontalen Achsen der kumulativen Histogramme
H1 und H2 nach links und nach rechts, wobei in diesen Richtungen
die RGB-Dichten größer werden.
Für den
Fall, daß die Bilddaten
S Daten der RGB-Farben aufweisen, werden die kumulativen Histogramme
H1 und H2 für
jede Farbe erstellt. Aus Gründen
der Einfachheit wird eine Menge von RGB-Daten, welche die Daten
der RGB-Farben umfassen, angenommen, und aus den RGB-Daten werden
die kumulativen Histogramme H1 und H2 erzeugt. Die kumulativen Histogramme H1
und H2 repräsentieren
Kennwerte des Farbtons in den Hautfarben-Flächenbereichen R1' bzw. R2'. Im folgenden werden
diese Kennwerte als Kenngrößen bezeichnet.
-
Nachdem
in der oben beschriebenen Weise die kumulativen Histogramme H1 und
H2 erstellt sind, erfolgt eine Farbton-Umwandlungsverarbeitung,
damit der Farbton der Hautfarben-Fläche R2' zu dem Farbton der Hautfarben-Fläche R1' wird, basierend
auf den kumulativen Histogrammen H1 und H2. Diese Farbton-Umwandlungsverarbeitung
erfolgt dadurch, daß das
kumulative Histogramm H1 in Beziehung gesetzt wird zu dem kumulativen
Histogramm H2, wie durch gestrichelte Linien in 6 dargestellt
ist, und daß der
Farbton der Hautfarben-Fläche
R2' derart geändert wird,
daß ein
Pixelwert mit einer RGB-Dichte von P1 in dem kumulativen Histogramm
H1 eine RGB-Dichte P2 erhält. Wenn
eine für
das kumulative Histogramm H1 stehende Funktion g(d') lautet und eine
Funktion des kumulativen Histogramms H2 f(d) lautet, so läßt sich
die durch die gestrichelte Linien dargestellte Verarbeitung durch
folgende Gleichung (1) beschreiben: d' =
g–1(f(d)) (1)
-
Wenn
nur der Farbton der Hautfarben-Fläche R2' geändert
wird, sieht die Grenze der Fläche unnatürlich aus.
Deshalb ist es bevorzugt, wenn der Farbton an dem Grenzbereich allmählich geändert wird.
-
Im
folgenden wird die Arbeitsweise der Ausführungsform erläutert. 7 ist
ein Flußdiagramm, welches
die Arbeitsweise dieser Ausführungsform veranschaulicht.
Die Bilddaten S werden gelesen und in die Bildverarbeitungseinrichtung 2 eingegeben (Schritt
S1). Die in die Bildverarbeitungseinrichtung 2 eingegebenen
Bilddaten S werden auf dem Monitor 3 dargestellt (Schritt
S2). Der Anwender betrachtet das auf dem Monitor 3 dargestellte
Bild und spezifiziert die Fläche
R1, die das Bild einer Fläche
mit dem gewünschten
Farbton enthält.
Der Anwender gibt mit Hilfe der Eingabeeinrichtung die Spezifikations-Beendigung ein (Schritt
S3). Nach Abschluß der
Fläche R1
wird die Hautfarben-Fläche
R1', die in der
Fläche R1
enthalten ist, extrahiert (Schritt S4).
-
Der
Anwender spezifiziert nun die Fläche
R2, die das Bild eines Gesichts enthält, dessen Farbton so geändert werden
soll, daß er
der gleiche wird wie der Farbton der Fläche R2, wobei das auf dem Monitor 3 dargestellte
Bild betrachtet wird, und der Benutzer führt die Eingabe der Spezifikation
der Fläche
R2 über
die Eingabeeinrichtung 4 durch (Schritt S5). Nach Beendigung
der Spezifikation der Fläche
R2 wird die Hautfarben-Fläche
R2', die in der
Fläche
R2 enthalten ist, extrahiert (Schritt S6).
-
Nach
dem Extrahieren der Hautfarben-Flächenbereiche R1' und R2' werden die kumulativen Histogramme
H1 und H2 der Hautfarben-Flächen
R1' und R2' generiert (Schritt
S7). Basierend auf den kumulativen Histogrammen H1 und H2 wird der
Farbton der Hautfarben-Fläche
R2 so geändert,
daß er
dem Farbton der Hautfarben-Fläche
R1' entspricht,
was gemäß Gleichung
(1) geschieht, und die verarbeiteten Bilddaten S1 werden am Ende
der Prozedur erhalten (Schritt S8).
-
Wie
oben beschrieben wurde, wird bei dieser Ausführungsform die Fläche R1 mit
dem gewünschten
Farbton spezifiziert, und der Farbton der Fläche R2 wird so geändert, daß er den
Farbton des Gesichtsbilds innerhalb der Fläche R1 annimmt. Deshalb läßt sich
die Hautfarben-Fläche
R2' innerhalb der
Fläche
R2 so ändern,
daß sie
den vom Anwender gewünschten
Farbton annimmt.
-
Bei
dem obigen Ausführungsbeispiel
wird nur der Farbton der Hautfarben-Fläche R2' innerhalb der Fläche R2 geändert. Allerdings kann der
Farbton der gesamten Fläche
R2 geändert
werden. Alternativ kann ein Farbton eines bestimmten Flächenbereichs einschließlich der
Fläche
R2 oder das gesamte auf dem Monitor angezeigte Bild (ausschließlich der
Fläche
R1) geändert
werden.
-
Bei
der obigen Ausführungsform
wird die Fläche
R2 innerhalb des Bilds spezifiziert, in welchem die Fläche R1 spezifiziert
wurde. Allerdings kann die Fläche
R2 auch in einem von dem Bild mit der Fläche R1 verschiedenen Bild spezifiziert
werden.
-
Bei
der obigen Ausführungsform
wird außerdem
das Bild eines Gesichts mit einem gewünschten Farbton als Fläche R2 spezifiziert.
In solchen Fällen allerdings,
in denen es mehrere Bilder von Gesichtern in einem gewünschten
Farbton gibt, kann die Fläche
R1 auch so spezifiziert werden, daß sie sämtliche Bilder von Gesichtern
beinhaltet. Wenn beispielsweise in dem Bild mit Gesichtern von Personen gemäß 2 die
Gesichtsbilder von drei Personen auf der linken Seite einen gewünschten
Farbton aufweisen, wird die Fläche
R1 so spezifiziert, daß sie
die Gesichtsbilder der drei Personen beinhaltet, wie in 8 gezeigt
ist. Deshalb ist ein Bild eines Gesichts, dessen Farbton in den
Farbton der Gesichtsbilder in der Fläche R1 zu ändern ist, das Gesichtsbild
auf der rechten Seite, und dieses Gesichtsbild wird durch die Fläche R2 spezifiziert.
In diesem Fall wird wie bei der obigen Ausführungsform eine Hautfarben-Fläche R1' entsprechend den
Bildern der Ge sichter der drei Personen in der Fläche R1 extrahiert,
und für
die extrahierte Hautfarben-Fläche R1' wird ein kumulatives Histogramm
H1 erstellt. Basierend auf dem kumulativen Histogramm H1 und einem
kumulativen Histogramm H2 einer Hautfarben-Fläche R2' in einer Fläche R2, die das Bild des Gesichts
auf der rechten Seite beinhaltet, wird der Farbton der Hautfarben-Fläche R2' über der obigen Ausführungsform
geändert.
-
Bei
der obigen Ausführungsform
werden die erste und die zweite Fläche R1 und R2 als Rechteckflächen spezifiziert.
Allerdings können
die Flächen auch
als Flächen
beliebiger Form spezifiziert werden.
-
In
der obigen Ausführungsform
werden charakteristische Größen des
Farbtons der Hautfarben-Flächen
R1' und R2' in den Flächen R1
und R2 durch kumulative Histogramme H1 und H2 dargestellt, wobei
nicht notwendigerweise eine Beschränkung auf diese Histogramme
besteht.
-
Bei
der obigen Ausführungsform
wird der Farbton des Bilds eines Gesichts geändert. Allerdings kann auch
eine Fläche
R1 mit einem gewünschten
Farbton des Himmels, von grünem
Blattwerk oder dergleichen in einem Bild spezifiziert werden, so
daß ein
Farbton einer anderen Fläche
R2 so geändert
wird, daß er
zu dem Farbton in der Fläche R1
wird.