DE69636695T2 - Bildverarbeitungsvorrichtung - Google Patents

Bildverarbeitungsvorrichtung Download PDF

Info

Publication number
DE69636695T2
DE69636695T2 DE69636695T DE69636695T DE69636695T2 DE 69636695 T2 DE69636695 T2 DE 69636695T2 DE 69636695 T DE69636695 T DE 69636695T DE 69636695 T DE69636695 T DE 69636695T DE 69636695 T2 DE69636695 T2 DE 69636695T2
Authority
DE
Germany
Prior art keywords
image
face
hair
pixel
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69636695T
Other languages
English (en)
Other versions
DE69636695D1 (de
Inventor
Toshihiko Neyagawa-shi Munetsugu
Masamichi Hirakata-shi Nakagawa
Yoshiyasu Ikoma-shi Nara Kado
Fumio Moriguchi-shi Maehara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of DE69636695D1 publication Critical patent/DE69636695D1/de
Publication of DE69636695T2 publication Critical patent/DE69636695T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

  • Die Erfindung betrifft eine Bildbearbeitungsvorrichtung, die in Computergrafiken die Frisur eines Menschen darstellt und diese in Echtzeit automatisch gegen eine andere Frisur austauscht, ohne dass das Ergebnis eigenartig aussieht.
  • Bei der Bildbearbeitung im Zusammenhang mit der in einem Bild einer bestimmten Person erfolgenden Zuweisung einer anderen Frisur wurde bislang, um das haarfreie Bild der Person als Vorbearbeitung der Bildbearbeitung zu erzeugen, das haarfreie Bild dadurch erstellt, dass ein Bild des Gesichtes aufgenommen wurde, das nicht mit Haar bedeckt ist, da dieses zusammengesteckt ist, oder dadurch, dass der Haarbereich des Bildes der Person händisch entfernt worden ist.
  • Bei der Zuweisung anderer Haare für das haarfreie Bild wurde Haar in das haarfreie Bild mittels händischer Arbeit einkopiert.
  • Bei einem derartigen herkömmlichen Verfahren kann jedoch in dem Fall, dass das Bild bei zusammengestecktem Haar aufgenommen ist, das Haar nicht vollständig entfernt, sondern teilweise übrig sein, weshalb das Originalhaar in dem durch Bildbearbeitung mittels Zuweisung anderer Haare gewonnenen Bild noch zu sehen ist.
  • Die händische Arbeit des Haarentfernens ist zudem zeitaufwendig.
  • Zudem sah das Bild, das mittels herkömmlicher Bildbearbeitung des Einkopierens anderer Haare in das haarfreie Bild gewonnen worden ist, reichlich eigenartig aus.
  • Die Druckschrift EP-A1-0 556 476 beschreibt, wie eine Person in einem Bild erfasst wird, indem Gesichtszüge dieser Person charakterisiert werden. Die ausgewählten Gesichtszüge sind erstens ein schwarzer Haarabschnitt und zweitens die oben vorhandene Bogenform des schwarzen Haarabschnittes. Darüber hinaus wird, wenn ein derartiger Abschnitt in einem Bild erfasst wird, die horizontale Breite des Haarabschnittes berechnet.
  • Der Beitrag „IBM-PC Based Hair Styling System" von Tang et al., veröffentlicht bei 9th Annual Conference and Exposition in Anaheim, California, 1988, beschreibt ein PC-ba siertes System zum Darstellen verschiedener Frisuren an einem Kunden. Ein Bediener kann ein Bild des Kunden mit einer neuen Frisur dadurch erzeugen, dass er aus einer Datenbank ausgewählte Frisuren auf das Bild des Kunden legt und diese anpasst.
  • Die Druckschrift US 4,872,056 beschreibt ein herkömmliches Frisursystem. Ein Bediener muss eine neue Frisur auf dem Bild einer Person platzieren und anformen. Die Pixel der neuen Frisur werden in zweiten Gruppen von Pixeln unterteilt, nämlich Pixel hinsichtlich „Echthaar" und Pixel hinsichtlich „Füllhaar". Abhängig von der Bestimmung, ob ein Bildpixel zum Gesicht einer Person gehört, werden die Pixel jeder Gruppe bei der Kombination des Bildes der Person mit der neuen Frisur anders behandelt. Pixel hinsichtlich Echthaar werden stets über das Bild der Person gelegt. Pixel hinsichtlich Füllhaar werden für den Fall darüber gelegt, dass das entsprechende Pixel des Bildes der Person nicht zum Gesicht der Person gehört.
  • Der Beitrag „3D Shape Reconstruction of Human Face from a 2D Facial Image and Provision for Change of Expression", veröffentlicht von Komatsu in „Systems & Computers in Japan", Band 22, Nr. 7, 1991, beschreibt ein Verfahren zum Erzeugen einer dreidimensionalen Form eines Gesichtes aus einem einzigen zweidimensionalen Bild. Es wird ein gekrümmtes Oberflächenmodell eingesetzt, um verschiedene Gesichtsausdrücke zu variieren.
  • Die Aufgabe der vorliegenden Erfindung besteht darin, eine verbesserte Bildbearbeitungsvorrichtung zum Umwandeln bestimmter Bildabschnitte bereitzustellen.
  • Dies wird durch die technische Lehre gemäß Ansprüchen 1 und 13 erreicht.
  • Ein erster Aspekt der Erfindung betrifft insbesondere eine Bildbearbeitungsvorrichtung mit einem Bereichsauswählteil zum Auswählen eines Bereiches eines bestimmten Abschnittes in einem Bild der Vorderseite einer Person auf Basis jedes Pixelwertes in dem gesamten Bild der Vorderseite oder einem Teil desselben und eines Oberflächenmodells, das strukturelle Information bezüglich einer Oberfläche der Person in dem Bild der Vorderseite zeigt, sowie einem Bereichsänderungsteil zum Ändern jedes Pixelwertes in dem gesamten Bereich des bestimmten Abschnittes oder einem Teil desselben auf Basis der strukturellen Informationen in dem Oberflächenmodell und wenigstens eines Pixelwertes in dem Bild der Vorderseite.
  • Hierbei kann das Bild der Vorderseite ein Bild der Vorderseite eines Gesichtes sein, das das Bild der Vorderseite des Gesichtes einer Person darstellt, das Oberflächenmodell kann ein Oberflächenmodell des Gesichtes sein, das strukturelle Information bezüglich einer Oberfläche des Gesichtes der Person in dem Bild der Vorderseite des Gesichtes darstellt, der Bereichsauswählteil kann ein Haarbereichsauswählteil zum Auswählen eines Haarbereiches der Person in dem Bild der Vorderseite des Gesichtes in einem Entfernungsbereich sein, und der Bereichsänderungsteil kann ein Entfernungsbereichsänderungsteil zum Ändern jedes Pixelwertes in dem gesamten Entfernungsbereich oder einem Teil desselben auf Basis der strukturellen Informationen in dem Modell der Oberfläche des Gesichtes und einer Farbinformation sein, die aus wenigstens einem Pixelwert in dem Bild der Vorderseite des Gesichtes ermittelt ist.
  • Der Haarbereichsauswählteil kann das Haar der Person und den durch das Haar geworfenen Schatten in dem Bild der Vorderseite des Gesichtes als Entfernungsbereich auswählen.
  • Der Haarbereichsauswählteil kann darüber hinaus jeden Pixelwert in dem Entfernungsbereich auf andere Werte als die Pixelwerte in dem Bild der Vorderseite des Gesichtes entsprechend der Innenseite der Kopfkontur in dem Modell der Oberfläche des Gesichtes ändern.
  • Werden Pixelwerte in einem Teil des Entfernungsbereiches geändert, so kann der Entfernungsbereichsänderungsteil darüber hinaus die Pixelwerte in dem verbleibenden Teil des Entfernungsbereiches auf andere Werte als die Pixelwerte in dem Bild der Vorderseite des Gesichtes entsprechend der Innenseite der Kopfkontur in dem Modell der Oberfläche des Gesichtes ändern.
  • Der Kopfbereichsauswählteil kann das Haar und den durch das Haar geworfenen Schatten in dem Entfernungsbereich auf Basis der Kopfkontur, der Augen und der Augenbrauen in dem Modell der Oberfläche des Gesichtes ändern.
  • Der Haarbereichsauswählteil kann das Haar und den durch das Haar geworfenen Schatten in dem Entfernungsbereich auf Basis der Helligkeit jedes Pixels in dem Bild der Vorderseite des Gesichtes ändern.
  • Der Haarbereichsauswählteil kann das Haar und den durch das Haar geworfenen Schatten in dem Entfernungsbereich auf Basis der Helligkeit und Sättigung jedes Pixels in dem Bild der Vorderseite des Gesichtes auswählen.
  • Die Bildbearbeitungsvorrichtung kann darüber hinaus einen Fluktuationserzeugungsteil zum Addieren einer bestimmten Fluktuationskomponente zu jedem Pixelwert in dem Entfernungsbereich auf Basis der Farbinformation wenigstens eines Pixels in dem Bild der Vorderseite des Gesichtes umfassen, wobei wenigstens ein Pixel in dem Bild der Vorderseite des Gesichtes nicht in dem Entfernungsbereich enthalten ist.
  • Die Bildbearbeitungsvorrichtung kann darüber hinaus einen Gesichtsoberflächenmodellerzeugungsteil zum Erzeugen des Modells der Oberfläche des Gesichtes auf Basis des Bildes der Vorderseite des Gesichtes umfassen.
  • Ein zweiter Aspekt der Erfindung betrifft eine Bildbearbeitungsvorrichtung mit einem Bildregulierteil, der auf Basis eines Oberflächenmodells, das strukturelle Information bezüglich einer Oberfläche einer Person in einem Bild der Vorderseite der Person zeigt, und eines Informationsmodells, das strukturelle Information bezüglich einer Oberfläche einer anderen Person in einem Bezugsbild, das ein Bild der Vorderseite der anderen Person ist, zeigt, eine bestimmte Umwandlung an einer Attributinformation und dem Bezugsbild derart vornimmt, dass ein bestimmter Abschnitt der anderen Person an das Bild der Vorderseite angepasst werden kann, wobei die Attributinformation Information ist, die von dem entsprechenden Attribut jedes Pixels in dem Bezugsbild für jedes Pixel gehalten ist, und einem Synthesebearbeitungsteil zum Zuweisen des Bildes der Vorderseite für einen bestimmten Abschnitt in dem Bezugsbild, in dem die bestimmte Umwandlung vorgenommen worden ist, entsprechend der Attributinformation, in der die bestimmte Umwandlung vorgenommen worden ist.
  • Das Bild der Vorderseite der Person kann zudem ein Bild der Vorderseite des Gesichtes sein, das das Bild der Vorderseite des Gesichtes einer Person darstellt, das Oberflächenmodell kann ein Modell der Oberfläche des Gesichtes sein, das strukturelle Informationen bezüglich einer Oberfläche des Gesichtes der Person darstellt, das Bezugsbild kann das Bild eines Kopfes sein, das ein Bild der Vorderseite eines Gesichtes einer anderen Person mit Haaren darstellt, das Informationsmodell kann ein Modell der Gesichtsinformation sein, das strukturelle Informationen bezüglich der Oberfläche eines Gesichtes einer anderen Person in dem Bild des Kopfes zeigt, der bestimmte Abschnitt kann ein Abschnitt des Kopfes umfassend das Haar oder das Haar und den Schatten des Haares sein, die Attributinformation kann eine Haarinformation sein, die von dem entsprechenden Attribut jedes Pixels in dem Bild des Kopfes für das Pixel vorgehalten ist, der Bildregulierteil kann ein Kopfbildregulierteil zum Vornehmen einer bestimmten Umwandlung an der Haarinformation und dem Bild des Kopfes sein, und der Synthesebearbeitungsteil kann ein Kopfsynthesebearbeitungsteil zum Zuweisen des Bildes der Vorderseite des Gesichtes für den Kopfabschnitt in dem Bild des Kopfes sein, in dem die bestimmte Umwandlung vorgenommen worden ist, und zwar entsprechend der Haarinformation, in der die bestimmte Umwandlung angewendet worden ist.
  • Der Kopfbildregulierteil kann die bestimmte Umwandlung an dem Bild des Kopfes und der Haarinformation dadurch vornehmen, dass die Information der Kopfkontur und der gesamten Augen, der gesamten Nase, des gesamten Mundes und der gesamten Augenbrauen oder jeweils von Teilen hiervon in dem Modell der Oberfläche des Gesichtes angewendet wird und die Information der Kopfkontur und der gesamten Augen, der gesamten Nase, des gesamten Mundes und der gesamten Augenbrauen oder jeweils von Teilen hiervon in dem Modell der Gesichtsinformation angewendet wird.
  • Der Kopfsynthesebearbeitungsteil kann einen Erzeugungsteil zum Erzeugen von Pixelwerten des Kopfabschnittes umfassen, die dem Bild der Vorderseite des Gesichtes zugewiesen werden sollen, und zwar entsprechend dem Attribut jedes Pixels der Haarinformation, durch Verwenden des Pixelwertes des Bildes des Kopfes entsprechend dem Pixel des Attributes oder durch Verwenden des Pixelwertes des Bildes des Kopfes und des Pixelwertes des Bildes der Vorderseite des Gesichtes entsprechend dem Pixel des Attributes, sowie einen Abbildungsbearbeitungsteil zum Zuweisen des Bildes der Vorderseite des Gesichtes für jeden Pixelwert des Kopfabschnittes gemäß Erzeugung durch den Erzeugungsteil.
  • Die Bildbearbeitungsvorrichtung kann darüber hinaus einen Synthesebildberichtigungsteil zum Berichtigen des Bildes der Vorderseite des Gesichtes umfassen, in dem der Kopfabschnitt durch den Abbildungsbearbeitungsteil zugewiesen worden ist.
  • Umfassen kann der Erzeugungsteil einen Farbtonsyntheseteil zum entsprechend einem Attribut erfolgenden Erzeugen eines Farbtones unter Verwendung des Pixelwertes des Bildes des Kopfes entsprechend dem Pixel des Attributes oder unter Verwendung des Pixelwertes des Bildes des Kopfes und des Pixelwertes des Bildes der Vorderseite des Gesichtes entsprechend dem Pixel des Attributes, einen Helligkeitssyntheseteil zum entsprechend einem Attribut erfolgenden Erzeugen einer Helligkeit unter Verwendung des Pixelwertes des Bildes des Kopfes entsprechend dem Pixel des Attributes oder unter Verwendung des Pixelwertes des Bildes des Kopfes und des Pixelwertes des Bildes der Vorderseite des Gesichtes entsprechend dem Pixel des Attributes und/oder einen Sättigungssyntheseteil zum entsprechend einem Attribut erfolgenden Erzeugen einer Sättigung unter Verwendung des Pixelwertes des Bildes des Kopfes entsprechend dem Pixel des Attributes oder unter Verwendung des Pixelwertes des Bildes des Kopfes und des Pixelwertes des Bildes der Vorderseite des Gesichtes entsprechend dem Pixel des Attributes.
  • Die Bildbearbeitungsvorrichtung kann darüber hinaus einen Gesichtsoberflächenmodellerzeugungsteil zum Erzeugen eines Modells der Oberfläche eines Gesichtes auf Basis des Bildes der Vorderseite des Gesichtes umfassen.
  • Zudem kann die Bildbearbeitungsvorrichtung einen Bildanzeigeteil zum Anzeigen mehrerer Bilder der Vorderseiten von Gesichtern umfassen, die dem Kopfabschnitt durch den Kopfsynthesebearbeitungsteil zugewiesen worden sind.
  • Diese und weitere Aufgaben, Vorteile, Merkmale und Einsatzweisen der Erfindung erschließen sich aus dem Fortgang der Beschreibung, die in Zusammenschau mit der nachfolgenden Zeichnung zu betrachten ist, die sich wie folgt zusammensetzt.
  • 1 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung bei einem ersten Ausführungsbeispiel der Erfindung.
  • 2 ist ein Diagramm, das ein Beispiel für eine Gesichtsaufnahmevorrichtung zum Aufnehmen eines Bildes 13 der Vorderseite eines Gesichtes zeigt.
  • 3 ist ein Diagramm, das ein Beispiel für das Bild 13 der Vorderseite des Gesichtes zeigt, das von der Gesichtsbildaufnahmevorrichtung von 2 aufgenommen worden ist.
  • 4 ist ein Diagramm eines Drahtgeflechtsmodells, das ein Beispiel für ein Modell 14 der Oberfläche eines Gesichtes zeigt.
  • 5 ist ein Diagramm zur Erläuterung der Funktion der Bildwertänderung durch einen Entfernungsbereichsänderungsteil 12.
  • 6(a) ist ein charakteristisches Diagramm für f gemäß Beziehung 7.
  • 6(b) ist ein charakteristisches Diagramm für f gemäß Beziehung 8.
  • 7 ist ein strukturelles Diagramm eines zum Glättern verwendeten Filters.
  • 8 ist ein Flussdiagramm, das ein Verfahren zum Bearbeiten eines Haarbereichsauswählteiles 11 bei einem zweiten Ausführungsbeispiel zeigt.
  • 9 ist ein Diagramm zur Erläuterung der Funktion eines Entfernungsbereichsänderungsteiles 12 bei einem dritten Ausführungsbeispiel.
  • 10 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung bei einem fünften Ausführungsbeispiel der Erfindung.
  • 11 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung bei einem sechsten Ausführungsbeispiel der Erfindung.
  • 12 ist ein Entsprechungsdiagramm einer Kopfinformation und einer Haarinformation bei dem sechsten Ausführungsbeispiel.
  • 13 ist ein strukturelles Diagramm eines Kopfbildregulierteiles 111.
  • 14 ist ein erläuterndes Diagramm der Funktion eines Größenreguliermittels bei dem sechsten Ausführungsbeispiel.
  • 15 ist ein Diagramm zur Erläuterung der Funktion eines Positionsreguliermittels 132.
  • 16 ist ein strukturelles Diagramm eines Kopfsynthesebearbeitungsteiles 112.
  • 17 ist ein erläuterndes Diagramm von Farbtönen.
  • 18 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung bei einem siebten Ausführungsbeispiel der Erfindung.
  • 19 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung bei einem achten Ausführungsbeispiel der Erfindung.
  • 20 ist ein Entsprechungsdiagramm für die Kopfinformation und die Haarinformation bei dem achten Ausführungsbeispiel.
  • 21 ist ein strukturelles Diagramm eines Kopfbildregulierteiles 191.
  • 22 ist ein erläuterndes Diagramm der Funktion eines Größenreguliermittels bei dem achten Ausführungsbeispiel.
  • 23 ist ein Diagramm zur Erläuterung der Funktion eines Positionsreguliermittels bei dem achten Ausführungsbeispiel.
  • 24 ist ein strukturelles Diagramm eines Kopfsynthesebearbeitungsteiles 192.
  • 25 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung bei einem neunten Ausführungsbeispiel der Erfindung.
  • 26 ist ein Blockdiagramm eines zehnten Ausführungsbeispieles der Erfindung.
  • 27 ist ein erläuterndes Diagramm der Funktion eines Größenreguliermittels bei der Synthetisierung des Haares.
  • 28 ist eine erläuterndes Diagramm der Funktion eines Positionsreguliermittels bei der Synthetisierung des Haares.
  • Ausführungsbeispiel 1
  • 1 zeigt ein Blockdiagramm einer Bildbearbeitungsvorrichtung gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung. In 1 umfasst die Bildbearbeitungsvorrichtung dieses Ausführungsbeispieles einen Haarbereichsauswählteil 11 und einen Entfernungsbereichsänderungsteil 12. Der Haarbereichsauswählteil 11 bestimmt unter Verwendung eines Bildes 13 (3) der Vorderseite eines Gesichtes, das ein Bild der Vorderseite vom Hals aufwärts ist, und eines Modells 14 (4) der Oberfläche eines Gesichtes, das strukturelle Informationen von Teilen oberhalb des Gesichtes entsprechend dem Bild 13 der Vorderseite des Gesichtes zeigt, den Haarbereich in dem Bild 13 der Vorderseite des Gesichtes und den durch das Haar geworfenen Schatten (in 3 nicht gezeigt) als Entfernungsbereich 15 und gibt den Entfernungsbereich 15 aus. Bei dem Modell 14 der Oberfläche des Gesichtes von 4 sind die Ohren weggelassen.
  • Der Entfernungsbereichsänderungsteil 12 ändert Pixelwerte des gesamten Entfernungsbereiches 15 oder eines Teiles desselben in dem Bild 13 der Vorderseite des Gesichtes unter Berücksichtigung der Information des Modells 14 der Oberfläche des Gesichtes und auf Basis der Pixelwerte des Gesichtes in dem Bild 13 der Vorderseite des Gesichtes und erzeugt ein haarfreies Bild 16. Werden Pixel eines Teiles des Entfernungsbereiches geändert, so ändert der Entfernungsbereichsänderungsteil 12 Pixelwerte des verbleibenden Teiles des Entfernungsbereiches 15 unter Verwendung anderer Werte als der Pixelwerte des Gesichtes in dem Bild 13 der Vorderseite des Gesichtes.
  • 2 ist ein Diagramm, das ein Beispiel für eine Gesichtsbildaufnahmevorrichtung zum Aufnehmen des Bildes 13 der Vorderseite des Gesichtes zeigt. Das Bild 13 der Vorderseite des Gesichtes ist ein digitales Bild, das von der Gesichtsbildaufnahmevorrichtung aufgenommen worden ist. In 2 bezeichnen Bezugszeichen 21 eine Videokamera zum Aufnehmen des Bildes, Bezugszeichen 22 einen A/D-Wandler zur Umwandlung des Bildes der Videokamera 21 in digitale Daten, Bezugszeichen 23 eine Vorrichtung zum Fixieren der Videokamera 21 und Bezugszeichen 24 das Aussehen des Objektes, das von der Videokamera 21 aufgenommen worden ist.
  • Die Videokamera 21 wird horizontal von der Vorrichtung 23 fixiert. Der A/D-Wandler 22 wandelt das von der Videokamera 21 aufgenommene analoge Bild in ein digitales Bild um und erzeugt das Bild 13 der Vorderseite des Gesichtes. Das Bild 13 der Vorderseite des Gesichtes liegt in einer Größe von 256 mal 256 Pixeln vor, wobei es sich um ein Farbbild mit einer Breite von 8 Bit jeweils bezüglich R, G und B pro Pixel handelt. Die Hintergrundfarbe des Bildes 13 der Vorderseite des Gesichtes ist monochromatisch.
  • 3 ist ein Diagramm, das ein Beispiel für ein Bild 13 der Vorderseite eines Gesichtes zeigt, das von der Gesichtsbildaufnahmevorrichtung gemäß 2 aufgenommen wor den ist. Das Bild 13 der Vorderseite des Gesichtes gemäß 3 entspricht dem gesamten Gesicht vom Hals aufwärts bei einer Ansicht von vorne. Das Gesicht ist ausdruckslos, weist keine Brille und keinen Bart auf, und die Mittellinie des Kopfes steht nahezu senkrecht. Das Haar bedeckt nicht die gesamte Stirn. Die x-y-Koordinaten sind in dem Bild 13 der Vorderseite des Gesichtes enthalten.
  • 4 ist ein Diagramm eines Drahtgeflechtsmodells, das ein Beispiel für ein Modell 14 der Vorderseite des Gesichtes zeigt. Die Kennpunkte (Vertices) des Drahtgeflechtes umfassen diejenigen Punkte, die man unter Berücksichtigung der dreidimensionalen Struktur des Gesichtes erhält und die sich an Merkmalspunkten befinden, die die Gesichtskontur, die Augen, die Nase, den Mund und die Augenbrauen darstellen, sowie zwischen den Merkmalspunkten. Die Merkmalspunkte in 4 betreffen die eingekreisten Kennpunkte.
  • Jeder Kennpunkt weist Daten bezüglich einer x-Koordinate und einer y-Koordinate in dem Bild auf. Jeder Kennpunkt ist eigens nummeriert, und die Position des Kennpunktes in dem Bild wird durch die Nummer identifiziert. Das Modell 14 der Oberfläche des Gesichtes setzt sich aus den Kennpunkten und deren Verknüpfungsinformation zusammen.
  • Das Modell 14 der Oberfläche des Gesichtes wird erzeugt, indem das Gesicht in dem Bild 13 der Vorderseite des Gesichtes gemäß 3 erkannt wird. Dies bedeutet, dass es dadurch erzeugt wird, dass das Gesicht in dem Bild 13 der Vorderseite des Gesichtes erkannt wird und die Kennpunkte eines bereitstehenden Standarddrahtgeflechtsmodells entsprechend dem erkannten Gesicht verschoben werden.
  • Daher ist das Modell 14 der Oberfläche des Gesichtes mit Blick auf die Form des Geflechtes in Abhängigkeit von der jeweiligen einzelnen Person jeweils anders, mit Blick auf die Topologie jedoch gleich. Bei dem Vorgang der Erzeugung des Modells 14 der Oberfläche des Gesichtes kann der Stand der Technik, der unter anderem in den offengelegten japanischen Patenten mit den Nummern 5/197793, 4-199474 und anderen offenbart ist, eingesetzt werden.
  • Die Funktion dieses Ausführungsbeispieles wird nachstehend beschrieben.
  • Der Haarbereichsauswählteil 11 empfängt das Bild 13 der Vorderseite des Gesichtes und das Modell 14 der Oberfläche des Gesichtes und stellt den Haarbereich in dem Bild 13 der Vorderseite des Gesichtes und den von dem Haar geworfenen Schatten als Entfernungsbereich 15 bereit.
  • Der Entfernungsbereichsänderungsteil 12 empfängt das Bild 13 der Vorderseite des Gesichtes, das Modell 14 der Oberfläche des Gesichtes und den Entfernungsbereich 15. Der Entfernungsbereichsänderungsteil 12 ändert die Pixelwerte des Bildes 13 der Vorderseite des Gesichtes innerhalb der äußeren Umfangskontur (nachstehend Kopfkontur genannt) des Modells 14 der Oberfläche des Gesichtes und innerhalb des Entfernungsbereiches 15. Zur Änderung der Pixelwerte wird wenigstens ein Pixel, das sich in der Nähe des äußeren Umfanges des Entfernungsbereiches 15 befindet, verwendet.
  • Der Entfernungsbereichsänderungsteil 12 nimmt eine bestimmte Umwandlung an wenigstens einem Pixelwert, der sich in der Nähe des äußeren Umfanges des Entfernungsbereiches 15 befindet, in Abhängigkeit von der Position des Pixels vor, wobei jedes Pixel einer Änderung des Pixelwertes unterzogen wird, und wandelt den Pixelwert an der Position in den durch die Umwandlung erzeugten Wert um.
  • Ist der gesamte Bereich der Pixel, in dem eine Umwandlung der Pixelwerte stattfand, Teil des Entfernungsbereiches 15, so ändert der Entfernungsbereichsänderungsteil 12 den verbleibenden Teil des Entfernungsbereiches 15 auf andere Werte als die Pixelwerte innerhalb der Kopfkontur des Bildes 13 der Vorderseite des Gesichtes. Im Ergebnis wird ein haarfreies Bild 16 erzeugt.
  • Bei diesem Ausführungsbeispiel stellt der Haarbereichsauswählteil 11 den Entfernungsbereich 15 bereit, kann jedoch auch die Pixelwerte in dem Entfernungsbereich 15 auf bestimmte Werte ändern und den Entfernungsbereich 15 bereitstellen. In diesem Fall ändert der Entfernungsbereichsänderungsteil 12 unter Berücksichtigung der Information des Modells 14 der Oberfläche des Gesichtes den gesamten Entfernungsbereich 15 oder einen Teil desselben und erzeugt das haarfreie Bild 16 auf Basis wenigstens eines Pixelwertes in der Nähe des äußeren Umfanges des Entfernungsbereiches 15 in der Kopfkontur in dem Bild 13 der Vorderseite des Gesichtes.
  • Die Funktion des Haarbereichsauswählteiles 11 und des Entfernungsbereichsauswählteiles 12 dieses Ausführungsbeispieles wird nachstehend insbesondere beschrieben. Der Haarbereichsauswählteil 11 ist dafür ausgelegt, den Bereich des Haares und des Haarschattens in Abhängigkeit von der Helligkeit jedes Pixels gemäß Ermittlung aus der Farbinformation abzuschätzen. Der Haarbereichsauswählteil 11 und der Entfernungsbereichsänderungsteil 12 nehmen beide eine Umwandlung in Farbton, Helligkeit und Sättigung, jedoch nicht in RGB-Farbinformation vor und setzen Information ein, die auf ganzzahlige Werte zwischen 0 und 255 normiert ist.
  • Zunächst wird die spezifische Funktion des Haarbereichsauswählteiles 11 beschrieben. Die Haut und das Haar können auch anhand des Farbtones getrennt werden. In dem von der Videokamera 21 aufgenommenen und von dem A/D-Wandler 22 durch Umwandlung erzeugten Bild 13 der Vorderseite des Gesichtes können gegebenenfalls aufgrund der Tatsache, dass sich ein Rauschen in den Farbton mischt, die Haut und das Haar nicht richtig separiert werden. Anhand des Farbtones können jedoch der Haarschatten und die Haut schlecht getrennt werden. In dem Entfernungsbereichsänderungsteil 12 ist für den Fall, dass der Haarschatten zurückbleibt, wenn die Pixelwerte des Entfernungsbereiches 15 geändert werden, die Farbe nach der Änderung dunkel, und es können sich die gewünschten Ergebnisse nicht einstellen.
  • Bei diesem Ausführungsbeispiel wird daher unter Verwendung der Helligkeit anstelle des Farbtones der Bereich des Haares und des Schattens des Haares als Entfernungsbereich 15 bestimmt. Dies bedeutet, dass davon ausgegangen wird, dass der Abschnitt mit geringerer Helligkeit Haar oder der Schatten des Haares ist.
  • Zunächst werden bei jedem Pixel des Bildes 13 der Vorderseite des Gesichtes entsprechend der Innenseite der Kopfkontur des Modells 14 der Oberfläche des Gesichtes der Durchschnitt La und das Maximum Lm der Helligkeit des Pixels, wovon die Helligkeit L Beziehung 1 erfüllt, bestimmt. Die Bedingung von Beziehung 1 soll die Wirkungen auf den augenscheinlich dunklen Abschnitt beseitigen, wobei θ 10 der Schwellenwert ist. So gilt beispielsweise θ 10 = 65. L < θ 10 (B. 1)
  • Unter Verwendung von La und Lm wird die Schwelle θ 11 aus Beziehung 2 bestimmt. θ 11 = min(α·La, β·Lm) (B. 2)
  • In Beziehung 2 sind α und β bestimmte reelle Zahlen. So kann beispielsweise gelten: α = 1,3 und β = 0,8. Die Funktion min(a, b) ist eine Funktion, die entweder „a" oder „b" ergibt, je nachdem, welcher der beiden Werte nicht größer ist. Unter Verwendung von θ 11 gemäß Bestimmung mittels Beziehung 2 als Schwelle werden der Abschnitt des Haares oder der Schatten des Haares angenommen. Dies bedeutet, dass bei der Kopfkontur die Menge der Pixel, deren Helligkeit L Beziehung 3 erfüllt, als Entfernungsbereich 15 angenommen wird. L < θ 11 (B. 3)
  • Schließlich sind die Augenbrauen, das Auge, die Nase und der Mond diejenigen Bereiche, die nicht entfernt werden müssen. Für den Fall, dass sie in dem Entfernungsbereich 15 enthalten sind, werden sie aus dem Entfernungsbereich 15 ausgeschlossen.
  • Die genaue Funktion des Entfernungsbereichsänderungsteiles 12 wird nachstehend beschrieben. Die Bearbeitung der Pixelwertänderung des Entfernungsbereichsänderungsteiles 12 wird sequenziell von oben nach unten entsprechend jeder horizontalen Abtastlinie in dem Bereich innerhalb der Kopfkontur vorgenommen. Dies bedeutet, dass unter der Annahme, dass das Liniensegment derjenigen Sektion, die den Bereich innerhalb der Kopfkontur bezüglich der Linie y = y0 schneidet, gleich F = [xs, xe] ist, die Pixelwertänderung an diesem Liniensegment F vorgenommen wird. Nach Bearbeitung des Liniensegmentes F wird die Pixelwertänderung an dem Liniensegment F1 = [xs1, xe1] derjenigen Sektion vorgenommen, die den Bereich innerhalb der Kopfkontur bezüglich der Linie y = y0 – 1 schneidet.
  • 5 ist ein Diagramm zur Erläuterung der Funktion der Pixelwertänderung des Entfernungsbereichsänderungsteiles 12. In 5 sind die Augen, die Nase und der Mund in einem Bereich 51 enthalten, der von gepunkteten Linien an der Unterseite eingeschlossen ist. Enthält der Entfernungsbereich 15 die Pixel in diesem Bereich 51, so schließt der Entfernungsbereichsänderungsteil 12 die Pixel in diesem Bereich 51 aus dem Entfernungsbereich 15 aus.
  • Sind Pixel, die in einem Liniensegment 53 angeordnet sind, das eine Menge der Mittelpunkte in horizontaler Richtung in einem Bereich 52 darstellt, der durch gepunktete Linien an der Oberseite eingeschlossen ist, in dem Entfernungsbereich 15 enthalten, so entfernt der Entfernungsbereichsänderungsteil 12 die einzelnen Pixel aus dem Entfernungsbereich 15 unter der Annahme, dass der Farbton jedes Pixels gleich dem Farbton eines geeigneten Pixels zwischen den Augen ist, die Helligkeit gleich La ist und die Sät tigung gleich dem Durchschnitt Sa der Sättigung des Pixels ist, wovon die Helligkeit L in der Kopfkontur Beziehung 1 erfüllt.
  • Der Entfernungsbereichsänderungsteil 12 bestimmt eine Menge kontinuierlicher Pixel, die in dem Entfernungsbereich 15 enthalten sind, von den Pixeln des Liniensegmentes F bei y = y0, und die Pixelwerte werden sequenziell von der Unterseite der x-Koordinate in jeder Menge geändert. Man geht davon aus, dass die x-Koordinaten der beiden Endpunkte einer Menge gleich x0 beziehungsweise x1 sind.
  • In diesem Beispiel benötigt man für den Fall, dass x0 = xs und x1 = xe gelten, einen Änderungsvorgang für einen bestimmten Pixelwert. Dies bedeutet, dass die Änderung eines Pixelwertes des gesamten Liniensegmentes F benötigt wird und dass Pixelwerte in dem Liniensegment F bei der Änderung der Pixelwerte überhaupt keine Verwendung finden können.
  • Damit ist es nur der Bereich oberhalb der Augenbrauen, wo x0 = xs und x1 = xe gelten, wobei in diesem Fall die Pixelwerte für die Änderung aus dem Liniensegment F' =[xs', xe'] derjenigen Sektion ermittelt werden, die den Bereich innerhalb der Kopfkontur bei y = y0 + 1 schneidet. Dies bedeutet, dass unter der Annahme, dass die Mittelpunkte von F, F' gleich xc, xc' und die x-Koordinate eines beliebigen Punktes P auf dem Liniensegment F gleich x ist, der Punkt P'(X', y0 + 1) auf dem Liniensegment F' durch Beziehung 4 bestimmt ist.
  • Figure 00140001
  • Die Farbe eines Pixels an diesem Punkt P' ist die Farbe des Pixels des Punktes P. Ist der Punkt P' jedoch ein Punkt innerhalb des Augenbrauenbereiches, so wird der Pixelwert dieses Punktes P nicht geändert, sondern bleibt bestehen, wobei diese Änderung an dem gesamten Liniensegment F bearbeitet und mittels Linearinterpolation interpoliert wird.
  • Nachstehend wird die Bearbeitung für den Fall x0 ≠ xs oder x1 ≠ xe erläutert. In diesem Fall nimmt der Entfernungsbereichsänderungsteil 12 eine Mehrzahl von Farbtönen auf, die bei der Änderung der Pixelwerte aus einem Teil des Kopfkonturbereiches verwendet werden, und verwendet diese sequenziell. Werden beispielsweise 5 mal 5 Blöcke zwischen den Augenbrauen herausgenommen, so werden diese sequenziell durch eine Abbildung bearbeitet. Es wird davon ausgegangen, dass die dem Pixel des Punktes (x0, y0) zugewiesene Helligkeit gleich L0 und die Sättigung gleich SO ist. Es wird zudem davon ausgegangen, dass die dem Pixel des Punktes (x1, y0) zugewiesene Helligkeit gleich L1 und die Sättigung gleich S1 ist. Die Helligkeit L und die Sättigung S, die auf das Pixel des Punktes P(X, y0) in der Menge abgebildet werden sollen, sind durch Beziehung 5 bestimmt. L = L0·f(x0, x1, X) + L1·(1-f(x0, x1, X)) S = S0·f(x0, x1, X) + S1·(1-f(x0, x1, X)) (B. 5)
  • In Beziehung 5 bezeichnet feine Funktion mit dem Wert von 0 ≤ f ≤ 1.
  • Bei diesem Ausführungsbeispiel wurden bei der Unterteilung in die drei Fälle x0 ≠ xs und x1 ≠ xe, x0 = xs und x1 = xe die Größen L0, S0, L1, S1 und f folgendermaßen bestimmt.
  • Für den Fall x0 ≠ xs oder x1 # xe geht man davon aus, dass L0 und SO Werte des Pixels des Punktes (x0 – 1, y0) und L1 und S1 Werte des Pixels des Punktes (x1 + 1, y0) sind. Die Pixelwerte zwischen dem Pixel des Punktes (x0 – 1, y0) und dem Pixel des Punktes (x1 + 1, y0) werden unter Verwendung der Pixel an diesen beiden Punkten geändert. Dies bedeutet, dass die Interpolation eine Linearinterpolation ist. Damit ist f gemäß Beziehung 6 bestimmt.
  • Figure 00150001
  • Für den Fall x0 = xs sind L0 und S0 Werte des Pixels eines Punktes an der Kopfkonturlinie bei y = y0 + 1. Ist diese jedoch in dem Entfernungsbereich 15 enthalten, so werden die Durchschnittswerte der Helligkeit und Sättigung der Haut in der Nähe der Kopfkonturlinie verwendet. Die Werte des Pixels des Punktes (x1 + 1, y0) sind L1 und S1. Für f wird der aus Beziehung 7 berechnete Wert verwendet.
  • Figure 00160001
  • Das charakteristische Diagramm für f ist in 6(a) gezeigt. In Beziehung 7 ist θ x eine bestimmte reelle Zahl, so gilt beispielsweise θ x = 0,4.
  • Für den Fall x1 = xe sind L1 und S1 Werte des Pixels eines Punktes auf der Kopfkonturlinie bei y = y0 + 1. Ist diese jedoch in dem Entfernungsbereich 15 enthalten, so werden die Durchschnittswerte der Helligkeit und Sättigung der Haut in der Nähe der Kopfkonturlinie verwendet. Die Werte des Pixels des Punktes (x0 – 1, y0) sind L0 und S0. Für f wird der aus Beziehung 8 berechnete Wert verwendet.
  • Figure 00160002
  • Das charakteristische Diagramm für f ist in 6(b) gezeigt. Dabei ist θ x derselbe Wert wie in Beziehung 7.
  • Schließlich werden die Helligkeit und die Sättigung des Pixelwertänderungsbereiches und der Umgebung hiervon geglättet. Als Beispiel für die Glättung wird der 3 × 3-Filter von 7 verwendet. Dies bedeutet, dass unter der Annahme, dass die Helligkeit und Sättigung des Pixels des Punktes P(x, y) gleich L(x, y) beziehungsweise S(x, y) sind, die Helligkeit L'(x, y) und die Sättigung S'(x, y) des Punktes P nach der Glättung durch Beziehung 9 gegeben sind.
  • Figure 00160003
  • Bei Verwendung eines 32-Bit-Personalcomputers mit einem Medial Processing Board mit DSP dauerte die vorstehend beschriebene Bearbeitung drei Sekunden.
  • Dieses Ausführungsbeispiel soll das von der Videokamera 21 aufgenommene und von dem A/D-Wandler 22 in eine Größe von 256 mal 256 Pixel umgewandelte digitale Bild bearbeiten. Die gleichen Effekte erhält man bei digitalen Bildern anderer Größe oder bei Digitalbildern, die von einem Scanner oder dergleichen aufgenommen sind. Die Zusammensetzung des Modells 14 der Gesichtsinformation ist nicht auf die in 4 gezeigte Zusammensetzung beschränkt. Ähnliche Effekte ergeben sich, solange nur die Augen, die Nase, der Mund, die Augenbrauen und die Kopfkontur klar sind.
  • Ausführungsbeispiel 2
  • Nachstehend wird eine Bildbearbeitungsvorrichtung eines zweiten Ausführungsbeispieles der Erfindung beschrieben. Dieses Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel lediglich durch die Funktion des Haarbereichsauswählteiles 11. Dieser Abschnitt wird nachstehend beschrieben.
  • 8 ist ein Flussdiagramm, das das Verfahren des Bearbeitens des Haarbereichsauswählteiles 11 bei diesem Ausführungsbeispiel darstellt. Die Funktion bei jedem Schritt in diesem Flussdiagramm wird nachstehend beschrieben.
  • Schritt 81: Der Haarbereichsauswählteil 11 geht davon aus, dass die Helligkeit eines beliebigen Punktes des Bildes 13 der Vorderseite des Gesichtes gleich L, die Schwelle gleich θ 10 und die Menge der Beziehung 1 erfüllenden Pixel gleich dem Entfernungsbereich 15 ist. Es gilt zum Beispiel θ 10 = 65.
  • Schritt 82: Der Haarbereichsauswählteil 11 bestimmt den Durchschnitt La und das Maximum Lm der Helligkeit des Pixels, wovon der Farbton H die Bedingung von Beziehung 10 erfüllt, unter den Pixeln innerhalb der Kopfkontur oberhalb der Position der Augenbrauen gemäß Ermittlung aus dem Modell 14 der Oberfläche des Gesichtes und die nicht in dem Entfernungsbereich 15 enthalten sind. θ h0 ≦ H ≦ θ h1 (B. 10)
  • Die Bedingungen von Beziehung 10 sollen die Wirkungen derjenigen Pixel beseitigen, die nicht zur Haut gehörigen, sowie derjenigen Pixel, die Rauschen enthalten, wobei θ h0 und θ h1 Schwellen sind. Es gilt beispielsweise θ h0 = 1 und θ h1 = 30.
  • Schritt 83: Der Haarbereichsauswählteil 11 bestimmt die Schwelle θ 11 der Helligkeit in Beziehung 2. Hierbei sind α und β reelle Zahlen. So gilt beispielsweise α = 1,15 und β = 0,8.
  • Schritt 84: Der Haarbereichsauswählteil 11 enthält die Pixel innerhalb der Kopfkontur oberhalb der Augenposition gemäß Ermittlung aus dem Modell 14 der Oberfläche des Gesichtes, wovon die Helligkeit L Beziehung 3 erfüllt, in dem Entfernungsbereich 15.
  • Schritt 85: Der Haarbereichsauswählteil 11 teilt die Pixel innerhalb der Kopfkontur, die nicht in dem Entfernungsbereich 15 enthalten sind, in Bereiche durch vier verbundene Punkte ein und behält diejenigen Bereiche, bei denen die Anzahl der konstituierenden Elemente kleiner als θ n ist, in dem Entfernungsbereich 15 als isolierten Punkt bei. Hierbei bezeichnet θ n die Schwelle. So gilt beispielsweise θ n = 10.
  • Schritt 86: Der Haarbereichsauswählteil 11 schließt schließlich diejenigen Pixel, die in den Bereichen der Augen, der Nase, des Mundes und der Augenbrauen enthalten sind und nicht zu entfernende Bereiche darstellen, aus dem Entfernungsbereich 15 aus.
  • Ausführungsbeispiel 3
  • Nachstehend wird eine Bildbearbeitungsvorrichtung eines dritten Ausführungsbeispieles der Erfindung beschrieben. Die Zusammensetzung dieses Ausführungsbeispieles, des Bildes 13 der Vorderseite des Gesichtes und des Modells 14 der Oberfläche des Gesichtes sind die gleichen wie beim ersten Ausführungsbeispiel. Im Vergleich zum ersten Ausführungsbeispiel unterscheidet sich dieses Ausführungsbeispiel mit Blick auf die Funktion des Haarbereichsauswählteiles 11 und des Entfernungsbereichsänderungsteiles 12. Dieser Abschnitt wird nachstehend beschrieben.
  • Zunächst wird die Funktion des Haarbereichsauswählteiles 11 beschrieben. Bei diesem Ausführungsbeispiel wird davon ausgegangen, dass unter Verwendung der Helligkeit und Sättigung der Bereich des Haares und des Schattens des Haares gleich dem Entfernungsbereich 15 ist. Dies bedeutet, dass davon ausgegangen wird, dass derjenige Abschnitt, dessen Helligkeit gering ist, oder derjenige Abschnitt, der eine etwas größere Helligkeit, jedoch eine geringe Sättigung aufweist, gleich dem Haar oder dem Schatten des Haares ist.
  • Zunächst bestimmt der Haarbereichsauswählteil 11 den Durchschnitt La und das Maximum Lm der Helligkeit und den Durchschnitt Sa sowie das Maximum Sm der Sättigung der Pixel in einem Bereich unterhalb der Augen in der Kopfkontur gemäß Ermittlung aus dem Modell 14 der Oberfläche des Gesichtes, wovon die Helligkeit L Beziehung 11 und der Farbton H Beziehung 12 erfüllen. L < θ 10 (B. 11) θ h0 ≦ H ≦ θ h1 (B. 12)
  • Die Bedingungen in Beziehung 11 stellen darauf ab, die Wirkungen des augenscheinlich dunklen Abschnittes zu beseitigen, wobei θ 10 die Schwelle ist. Die Bedingungen von Beziehung 12 stellen darauf ab, die Wirkungen derjenigen Pixel zu beseitigen, die nicht zur Haut gehören, sowie derjenigen Pixel, die mit Rauschen gemischt sind, wobei θ h0 und θ h1 Schwellen sind. So gilt beispielsweise θ 10 = 65, θ h0 = 1 und θ h1 = 30. Der Durchschnitt und das Maximum in dem Bereich unterhalb der Augen werden deshalb genommen, weil es möglich ist, diese auch dann noch zu bearbeiten, wenn die Stirn kaum mit Haar bedeckt ist.
  • Der Haarbereichsauswählteil 11 bestimmt θ 11 und θ s aus Beziehung 13 unter Verwendung von La, Lm und Sa. θ 11 = min (α·La, β·Lm) θ s = γ·Sa (B. 13)
  • In Beziehung 13 sind α, β und γ reelle Zahlen. Es gilt beispielsweise α = 1,15, β = 0,8 und y = 0,8. Zudem bezeichnet min(a, b) diejenige Funktion, die entweder „a" oder „b" ausgibt, je nachdem, welcher der beiden Werte nicht größer ist.
  • Der Haarbereichsauswählteil 11 bestimmt unter Verwendung von θ I1 und θ s gemäß Ermittlung in Beziehung 13 den Bereich des Haares und des Schattens des Haares als Entfernungsbereich 15.
  • Der Haarbereichsauswählteil 11 bestimmt zunächst in demjenigen Abschnitt, der nicht den Augen und den Augenbrauen entspricht, die Menge der Pixel, wovon die Helligkeit L und die Sättigung S die Beziehungen 14 oder 15 erfüllen, als Entfernungsbereich 15. L < θ 11 (B. 14) L < a·θ 11 and S < θ s (B. 15)
  • In Beziehung 15 ist a eine bestimmte reelle Zahl. So ist beispielsweise a = 1,1.
  • Anschließend nimmt der Haarbereichsauswählabschnitt 11 in dem Abschnitt zwischen den Augen und den Augenbrauen die Menge der Beziehung 16 erfüllenden Pixel in den Entfernungsbereich 15 auf. L < b·θ 1 and S < θ s (B. 16)
  • In Beziehung 16 ist b eine bestimmte reelle Zahl. So gilt beispielsweise b = 0,85. Dies basiert auf der Überlegung, dass die zwischenliegenden Teile der Augen und Augenbrauen ein wenig dunkler als die Stirn und dergleichen sind.
  • Darüber hinaus teilt der Haarbereichsauswählabschnitt 11 diejenigen Pixel in der Kopfkontur, die nicht in dem Entfernungsbereich enthalten sind, in Bereiche durch vier verbundenen Teile ein. Der Bereich, von dem die Anzahl der konstituierenden Pixel kleiner als θ n ist, wird in den Entfernungsbereich 15 als isolierter Punkt aufgenommen. Hierbei bezeichnet θ n eine Schwelle. So gilt beispielsweise θ n = 10.
  • Schließlich schließt aufgrund der Tatsache, dass die Augen, die Nase, der Mund und die Augenbrauen nicht zu entfernende Bereiche darstellen, der Haarbereichsauswählteil 11 die Pixel in diesen Bereichen, wenn sie in dem Entfernungsbereich 15 enthalten sind, aus dem Entfernungsbereich 15 aus.
  • Nachstehend wird die Funktion des Entfernungsbereichsänderungsteiles 12 beschrieben.
  • Der Entfernungsbereichsänderungsteil 12 arbeitet derart, dass er die Pixel in jeder horizontalen Abtastlinie sequenziell von unten nach oben an den Pixeln in der Kopfkontur ändert. Dies bedeutet, dass unter der Annahme, dass das Liniensegment derjenigen Sektion, die den Bereich in der Kopfkontur bezüglich der Linie y = y0 schneidet gleich F = [xs, xe] ist, eine Änderung der Pixelwerte an diesem Liniensegment F vorgenommen wird. Nach Bearbeitung des Liniensegmentes F werden die Pixel in dem Liniensegment F1 = [xs1, xe1] derjenigen Sektion bearbeitet, die den Gesichtsbereich bezüglich der Linie y = y0 – 1 schneidet.
  • 9 ist ein Diagramm zur Erläuterung der Funktion des Entfernungsbereichsänderungsteiles 12 in diesem Ausführungsbeispiel. Gemäß 9 schließt der Entfernungsbereichsänderungsteil 12 die Pixel in einem Bereich 91 aus dem Entfernungsbereich 15 aus, der durch gepunktete Linien, enthaltend die Augen, die Nase und den Mund, dargestellt ist, wenn die Pixel in dem Entfernungsbereich 15 enthalten sind.
  • Der Entfernungsbereichsänderungsteil 12 nimmt eine spezielle Vorbearbeitung vor einer Änderung der Pixelwerte vor, wenn die Besetzungsrate des Entfernungsbereiches 15 größer als θ r in dem Bereich oberhalb der Augen in der Kopfkontur ist, und zwar unter der Annahme, dass die Stirn nahezu vollständig mit Haar bedeckt ist. Hierbei stellt θ r die Schwelle dar. So gilt beispielsweise θ r = 0,9.
  • In 9 ist der Bereich 92 ein Bereich, der eine horizontale Abtastlinie umfasst, die die Augenbrauen innerhalb der Kopfkontur enthält, sowie angrenzende horizontale Abtastlinien oberhalb und unterhalb davon. Der Entfernungsbereichsänderungsteil 12 überprüft während der Vorbearbeitung, ob der Mittelpunkt in dem Entfernungsbereich 15 enthalten ist, und zwar an den Mittelpunkten sämtlicher Liniensegmente F in dem Bereich 92. Der Entfernungsbereichsänderungsteil 12 ändert für den Fall, dass der Mittelpunkt in dem Entfernungsbereich 15 enthalten ist, den Farbton des Pixels an dem Mittelpunkt auf einen Wert des Farbtones des Pixels an einem geeigneten Punkt zwischen den Augen, und es werden die Helligkeit auf La und die Sättigung auf Sa geändert und aus dem Entfernungsbereich 15 ausgeschlossen.
  • Der Entfernungsbereichsänderungsteil 12 bestimmt die Menge der kontinuierlichen Pixel, die in dem Entfernungsbereich 15 enthalten sind, an dem Liniensegment F bei y = y0, und es werden in jeder Menge der Pixel die Pixelwerte sequenziell von dem kleineren Wert der x-Koordinate her geändert.
  • Man gehe davon aus, dass die x-Koordinaten beider Enden einer Menge eines bestimmten Pixels gleich x0 beziehungsweise x1 sind.
  • Für den Fall x0 = xs und x1 = xe wird eine spezielle Bearbeitung benötigt. Es betrifft dies den Fall der Änderung der Pixelwerte des Liniensegmentes F, wobei die Pixelwerte in dem Liniensegment F überhaupt keine Verwendung finden können. Es geht dies lediglich in dem Bereich oberhalb der Augen, wo x0 = xs und x1 = xe gelten, weshalb der Entfernungsbereichsänderungsteil 12 die Pixelwerte in dem Liniensegment F' = [xs', xe'] in derjenigen Sektion einsetzt, die die Kopfkontur bei y = y0 + 1 schneidet, und zwar bei einer Änderung der Pixelwerte in dem Liniensegment F.
  • Dies bedeutet, dass unter der Annahme, dass die Mittelpunkte von F, F' gleich xc und xc' sind und die x-Koordinate eines beliebigen Punktes P an dem Liniensegment F gleich X ist, der Entfernungsbereichsänderungsteil 12 den Punkt P'(X', y0 + 1) des Liniensegmentes F über Beziehung 17 bestimmt.
  • Figure 00220001
  • Der Entfernungsbereichsänderungsteil 12 nimmt an, dass die Farbe des Pixels dieses Punktes P' gleich der Farbe des Pixels des Punktes P ist. Ist der Punkt P' jedoch ein Punkt in dem Augenbereich oder dem Augenbrauenbereich, so wird der Punkt P nicht verändert, sondern belassen. Nach Vornahme einer Änderung in dem gesamten Liniensegment F wird der verbleibende Abschnitt in dem Pixelwert mittels Linearinterpolation geändert.
  • Als Nächstes wird die Bearbeitung für den Fall x0 ≠ xs oder x1 ≠ xe beschrieben. Als Farbton, der bei der Änderung der Pixelwerte verwendet wird, wird eine Mehrzahl von Pixeln aus einem Teil der Kopfkontur herausgegriffen und sequenziell verwendet. Werden beispielsweise 5 mal 5 Pixelblöcke zwischen den Augenbrauen herausgegriffen, so werden diese sequenziell abgebildet. Unter der Annahme, dass die Helligkeit eines be stimmten Pixels nach der Änderung gleich L und die Sättigung gleich S ist, ergibt sich S gemäß Beziehung 18.
  • Figure 00230001
  • Es geht darum, die Sättigung aus dem Verhältnis von Helligkeit und Sättigung der nicht mit Haar bedeckten Haut zu bestimmen, was bei der Beseitigung der Wirkung des Schattens effektiv ist.
  • Nachstehend wird ein Verfahren zum Bestimmen der Helligkeit L jedes Pixels nach der Änderung beschrieben. Es wird davon ausgegangen, dass die dem Pixel des Punktes (x0, y0) zugewiesene Helligkeit gleich L0 und die dem Pixel des Punktes (x1, y0) zugewiesene Helligkeit gleich L1 ist. Die dem Pixel des Punktes (X, y0) in dieser Pixelmenge zugewiesene Helligkeit L wird aus Beziehung 19 bestimmt. L = L0·f(x0, x1, X) + L1·(1-f(x0, x1, X)) (B. 19)
  • In Beziehung 19 ist f eine Funktion mit einem Wert gemäß 0 ≤ f ≤ 1. Hierbei wird L unter der Annahme berechnet, dass L0, L1 und f dieselben wie beim ersten Ausführungsbeispiel sind.
  • Abschließend wird ein Glätten der Helligkeit und der Sättigung jedes Pixels in dem Bereich des geänderten Pixels und der Umgebung hiervon auf dieselbe Weise wie beim ersten Ausführungsbeispiel durchgeführt.
  • Ausführungsbeispiel 4
  • Eine Bildbearbeitungsvorrichtung entsprechend einem vierten Ausführungsbeispiel der Erfindung wird nachstehend beschrieben. Bei diesem Ausführungsbeispiel ist ein Fluktuationserzeugungsteil in dem Entfernungsbereichsänderungsteil 12 vorgesehen, wobei nur die Funktion des Entfernungsbereichsänderungsteiles 12 im Vergleich zum dritten Ausführungsbeispiel anders ist.
  • Die Funktion des Entfernungsbereichsänderungsteiles 12 wird nachstehend beschrieben.
  • Der Fluktuationserzeugungsteil dient dem Zweck, den Farbton, die Helligkeit und die Sättigung mit Fluktuationen zu versehen, und zwar mittels zufällig auftretender nummerischer Werte oder nummerischer Werte, die durch die Wahrscheinlichkeit in Abhängigkeit von der Abbildungspixelposition erzeugt sind. Die Verteilung des Farbtones, der Helligkeit und der Sättigung der menschlichen Haut ist nicht ebenmäßig, sondern ein wenig unregelmäßig. Durch Hinzufügen von Fluktuationen unter Verwendung zufälliger nummerischer Werte kann daher ein stärker realistisches Ergebnis erreicht werden. Darüber hinaus können unter Verwendung nummerischer Werte, die bei der Wahrscheinlichkeit in Abhängigkeit von der Position auftreten, Falten und Punkte erzeugt werden.
  • Die Funktion des Fluktuationserzeugungsteiles wird nachstehend beschrieben. Eine Funktion R soll ganzzahlige Werte in einem bestimmten Bereich zufällig erzeugen. Oft wird eine Funktion eingesetzt, die ganze Zahlen von -5 oder mehr und +5 oder weniger unregelmäßig erzeugt. Die Aufgabe der Funktion F(x, y) besteht darin, nummerische Werte mittels Wahrscheinlichkeit zu erzeugen, und zwar aus der Position in der Kopfkontur des Pixels P(x, y), das abgebildet werden soll. Der Bereich und die Wahrscheinlichkeit der nummerischen Werte gemäß Erzeugung durch die Funktion F sind einzig durch die bereitgestellten Falten und Punkte bestimmt. Zunächst werden der Farbton H, die Helligkeit L und die Sättigung S des Pixels gemäß Abbildung in dem Pixel P auf genau die gleiche Weise wie beim dritten Ausführungsbeispiel bestimmt. Hierbei werden unter Verwendung der Funktionen R und F die Größen L' und S' gemäß Beziehung 20 bestimmt. L' = L + R + F(x, y) S' = S + R + F(x, y) (B. 20)
  • Der Fluktuationsänderungsteil ändert den Entfernungsbereich 15 durch Abbilden in das Pixel P unter Verwendung von L' und S'.
  • Bei diesem Ausführungsbeispiel wird die Funktion R zum Erzeugen zufälliger nummerischer Werte verwendet. Wird jedoch eine statistische Verteilung von Farbton, Helligkeit und Sättigung der Haut ermittelt, so können nummerische Werte entsprechend erzeugt werden, und die Fluktuationen können gegeben sein.
  • Ausführungsbeispiel 5
  • 10 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung entsprechend einem fünften Ausführungsbeispiel der Erfindung. Dieses Ausführungsbeispiel unterscheidet sich vom ersten Ausführungsbeispiel dadurch, dass ein Gesichtsoberflächenmodellerzeugungsteil 101 eingesetzt wird. Der Gesichtsoberflächenmodellerzeugungsteil 101 erzeugt ein Modell 14 der Oberfläche des Gesichtes, das strukturelle Information des Gesichtes des Bildes 13 der Oberfläche des Gesichtes darstellt, und zwar unter Verwendung des Bildes 13 der Oberfläche des Gesichtes. Die Erzeugung des Modells 14 der Oberfläche des Gesichtes durch den Gesichtsoberflächenmodellerzeugungsteil 101 entspricht dem herkömmlichen Verfahren, wie es beispielsweise in den offengelegten japanischen Patenten mit den Nummern 5-197793 und 4-199474 beschrieben ist.
  • Ausführungsbeispiel 6
  • 11 ist ein Blockdiagramm einer Bildbearbeitungsvorrichtung entsprechend einem sechsten Ausführungsbeispiel der Erfindung. In 11 nimmt ein Kopfbildregulierteil 111 eine bestimmte Umwandlung an einem Bild 115 des Kopfes und einem Bild 117 des Haares vor, das ein Attribut jedes Pixels entsprechend dem Bild 115 des Kopfes ist, sodass die Frisur des Bildes 115 des Kopfes an das Bild 113 der Vorderseite des Gesichtes auf Basis des Modells 114 der Oberfläche des Gesichtes und des Modells 116 der Gesichtsinformation angepasst werden kann. Das Modell 114 der Oberfläche des Gesichtes drückt die strukturelle Information des Gesichtes des Bildes 113 der Vorderseite des Gesichtes aus. Das Modell 116 der Gesichtsinformation drückt die strukturelle Informationen des Gesichtes des Bildes 115 des Kopfes aus.
  • Ein Kopfsynthesebearbeitungsteil 112 weist die Frisur des Bildes 118 des Kopfes gemäß Umwandlung durch den Kopfbildregulierteil 111 dem Bild 113 der Vorderseite des Gesichtes zu, und zwar entsprechend der Information 117 gemäß Umwandlung durch den Kopfbildregulierteil 111. Ein Bild 118 des Kopfes stellt ein Bild 115 des Kopfes dar, das von dem Kopfbildregulierteil 111 umgewandelt worden ist. Ein Modell 119 der Gesichtsinformation ist das Modell 116 der Gesichtsinformation gemäß Umwandlung durch den Kopfbildregulierteil 111. Die Haarinformation 1110 ist die Haarinformation 117 gemäß Umwandlung durch den Kopfbildregulierteil 111. Ein Kopfsynthesebild 1111 zeigt das Bild mit der Frisur des Bildes 118 des Kopfes gemäß Zuweisung an das Bild 113 der Vorderseite des Kopfes.
  • Das Bild 113 der Vorderseite des Gesichtes und das Modell 114 der Oberfläche des Gesichtes sind die gleichen wie beim ersten Ausführungsbeispiel. Das Bild 115 des Kopfes ist ein digitales Bild, das von der Vorderseite eines Gesichtes genommen ist und eine Größe von 256 mal 256 Pixeln aufweist. Es ist zudem ein Farbbild mit einer Breite von 8 Bit jeweils für R, G, B pro Pixel. Das Gesicht des Bildes 115 des Kopfes sieht nach vorne, wobei die Mittellinie des Gesichtes nahezu senkrecht steht. Das Modell 116 der Gesichtsinformationen ähnelt mit Blick auf die Zusammensetzung dem Modell 114 der Oberfläche des Gesichtes. Die Haarinformation 117 dient dem Zweck, ein Attribut zur Spezifizierung des Zuweisungsverfahrens zu geben, wenn das Bild 115 des Kopfes dem Bild 113 der Vorderseite des Gesichtes zugewiesen wird. Die Haarinformation 117 liegt in derselben Größe wie das Bild 115 des Kopfes vor und stellt ein zweidimensionales Feld mit einer Bitbreite von 8 Bit pro Pixel dar, wobei das zugehörige Attribut in jedem Element der Haarinformation 117 (siehe 12) gespeichert ist. Wie in 12 gezeigt ist, entspricht ein Pixel dieses Feldes einem Pixel des Bildes 115 des Kopfes. Dies bedeutet, dass unter der Annahme, dass das Feld der Haarinformation 117 gleich A(x, y) ist, A(x0, y0) das Attribut des Pixels des Punktes (x0, y0) des Bildes 115 des Kopfes ist. Die bei diesem Ausführungsbeispiel verwendeten Attribute und ihre Bedeutungen sind in Tabelle 1 zusammengestellt.
  • Figure 00260001
  • In Tabelle 1 und 12 bezeichnen Bezugszeichen 121 einen Bereich des Attributes 1, Bezugszeichen 122 einen Bereich des Attributes 2 und Bezugszeichen 123 einen Bereich des Attributes 3. Die Funktion des Ausführungsbeispieles wird nachstehend beschrieben.
  • Der Kopfbildregulierteil 111 reguliert das Bild 115 des Kopfes derart, dass die Frisur des Bildes 115 des Kopfes an das Gesicht des Bildes 113 der Vorderseite des Gesichtes, das abgebildet werden soll, angepasst werden kann. Bei diesem Ausführungsbeispiel werden als Beispiel für die Regulierung des Bildes 115 des Kopfes jeweils die Größe und die Position der horizontalen und vertikalen Richtung in der Kopfkontur in dem Bild 115 des Kopfes auf die Größe und die Position der horizontalen und vertikalen Richtung in der Kopfkontur in dem Bild 113 der Vorderseite des Gesichtes angepasst.
  • 13 ist ein Strukturdiagramm des Kopfbildregulierteiles 111. Ein Größenreguliermittel 131 wandelt das Bild 115 des Kopfes, das Modell 116 der Gesichtsinformation und die Haarinformation 117 derart um, dass die Größe des Gesichtes des Bildes 115 des Kopfes mit der Größe des Gesichtes des Bildes 113 der Vorderseite des Gesichtes zusammenfällt. Ein Bild 133 des Kopfes stellt das Bild 115 des Kopfes gemäß Umwandlung durch das Größenreguliermittel 131 dar. Ein Modell 134 der Gesichtsinformation ist das Modell 116 der Gesichtsinformation gemäß Umwandlung durch das Größenreguliermittel 131. Die Haarinformation 135 ist die Haarinformation 117 gemäß Umwandlung durch das Größenreguliermittel 131.
  • Das Positionsreguliermittel 132 nimmt eine Umwandlung des Bildes 133 des Kopfes, des Modells 134 der Gesichtsinformation und der Haarinformation 135 derart vor, dass die Position der Kopfkontur in dem Bild 133 des Kopfes mit der Position der Kopfkontur in dem Bild 113 der Vorderseite des Kopfes zusammenfallen kann.
  • Das Bearbeiten mittels des Größenreguliermittels 131 wird nachstehend beschrieben. Das Größenreguliermittel 131 bestimmt die Größen dv und dh der Kopfkontur gemäß 14 aus dem Modell 114 der Oberfläche des Gesichtes. Insbesondere ist dv die Maximalhöhe in Vertikalrichtung (Richtung der y-Achse) der Kopfkontur, während dh die Länge des Liniensegmentes derjenigen Sektion ist, die die Kopfkontur in der horizontalen Linie schneidet, die durch den Mittelpunkt der Augen und die Nasenspitze läuft. Die Länge des Liniensegmentes ist die Größe der horizontalen Richtung (Richtung der x-Achse) der Kopfkontur.
  • Auf ähnliche Weise bestimmt das Größenreguliermittel 131 die vertikale Größe dv' und die horizontale Größe dh' der Kopfkontur in dem Bild 115 des Kopfes.
  • Das Größenreguliermittel 131 reguliert diese Größen durch Skalieren mit einem unabhängigen Skalierungsfaktor in horizontaler Richtung und vertikaler Richtung. Unter der Annahme, dass die horizontale Skalierung gleich Sh und die vertikale Skalierung gleich Sv sind, sind Sh und Sv durch Beziehung 21 gegeben.
  • Figure 00280001
  • Das Größenreguliermittel 131 skaliert die Bilder 115 des Kopfes mit Sh in Richtung der x-Achse und mit Sv in Richtung der y-Achse entsprechend Sh und Sv gemäß Berechnung in Beziehung 21 und ermittelt so das Bild 133 des Kopfes.
  • Die Haarinformation 117 wird in Haarinformation 135 mittels derselben Bearbeitung wie bei der Größenregulierung des Bildes 115 des Kopfes umgewandelt.
  • Der Algorithmus des nächsten Nachbarn ist unter den herkömmlichen Verfahren als Verfahren bekannt, das zum Skalieren eingesetzt werden kann. Es reguliert das Größenreguliermittel 131 zudem die Größe durch Multiplizieren der x-Koordinate mit Sh und der y-Koordinate mit Sv, da das Modell 116 der Gesichtsinformation eine x-Koordinate und eine y-Koordinate in jedem Merkmalspunkt aufweist. Dies bedeutet, dass ein willkürlicher Kennpunkt (Vertex) P(x, y) des Modells 116 der Gesichtsinformation in einen Kennpunkt P'(x', y') des Modells 134 der Gesichtsinformation mittels der nachfolgenden Beziehung 22 umgewandelt wird. x' = x·Sh, y' = y·Sv (B. 22)
  • Nachstehend wird die Funktion des Positionsreguliermittels 132 erläutert. Die Positionsregulierung ist eine Versetzung um einen unabhängigen Versetzungsbetrag jeweils in horizontaler Richtung und in vertikaler Richtung. Es werde davon ausgegangen, dass die Versetzung in der horizontalen Richtung gleich Δh und die Versetzung in vertikaler Richtung gleich Δv ist. Die Werte für Δh und Δv werden folgendermaßen bestimmt.
  • 15 ist ein Diagramm zur Erläuterung der Funktion des Positionsreguliermittels 132. Das Gesicht in 15 ist das Gesicht des Bildes 113 der Vorderseite des Gesichtes. Der Punkt Pn beschreibt einen Mittelpunkt des Liniensegmentes derjenigen Sektion, die die Kopfkontur an der Position der Nasenspitze in horizontaler Richtung schneidet. Der Punkt Pe zeigt den Mittelpunkt des Liniensegmentes in der höchsten Position des Augenbereiches des Liniensegmentes derjenigen Sektion, die die Kopfkontur in horizontaler Richtung schneidet. Der Punkt Pm zeigt den Mittelpunkt desjenigen Liniensegmentes, das den Punkt Pn und den Punkt Pe verbindet.
  • Auf ähnliche Weise bestimmt das Positionsreguliermittel 132 den Mittelpunkt Pn', den Mittelpunkt Pe' und den Mittelpunkt Pm' auch für das Bild 133 des Kopfes. Der Punkt Pn' ist der Mittelpunkt des Liniensegmentes derjenigen Sektion, die die Kopfkontur in der Position der Nasenspitze in horizontaler Richtung schneidet. Der Punkt Pe' ist der Mittelpunkt des Liniensegmentes in der höchsten Position des Augenbereiches des Liniensegmentes derjenigen Sektion, die die Kopfkontur in horizontaler Richtung scheidet. Der Punkt Pm' ist der Mittelpunkt desjenigen Liniensegmentes, das den Punkt Pn' und den Punkt Pe' verbindet.
  • Unter der Annahme, dass die Mittelpunkte gleich Pm(xf, yf) und Pm'(xh, yh) sind, ergeben sich die Größen Δh und Δv aus Beziehung 23. Δh = xf-xh, Δv = yf-yh (B. 23)
  • Ein beliebiger Punkt P(x, y) in dem Bild 133 des Kopfes wird mittels Beziehung 24 in einen Punkt P'(x, y) umgewandelt, und das Bild 118 des Kopfes wird erzeugt. X = x + Δh, Y = y + Δv (B. 24)
  • Auf ähnliche Weise wird ein beliebiges Element A(x, y) der Haarinformation 135 in A'(x, y) umgewandelt, und es wird die Haarinformation 1110 erzeugt. Ein beliebiger Kennpunkt Pf(x, y) in dem Modell 134 der Gesichtsinformation wird in Pf(X, Y) umgewandelt, und es wird ein Modell 119 der Gesichtsinformation erzeugt.
  • Eine Bearbeitung an dem Modell 116 der Gesichtsinformation und dem Modell 134 der Gesichtsinformation kann bezüglich aller Kennpunkte in dem Modell 116 der Gesichtsinformation vorgenommen werden, kann jedoch auch nur an denjenigen Kennpunkten vorgenommen werden, die in der nachfolgenden Bearbeitung verwendet werden, so beispielsweise als Merkmalspunkte.
  • Die Funktion des Kopfsynthesebearbeitungsteiles 112 wird nachstehend beschrieben. Der Kopfsynthesebearbeitungsteil 112 funktioniert auf die gleiche Weise wie beim ersten Ausführungsbeispiel, wandelt unter Nichtverwendung der Farbinformationen bezüglich R, G, B den Pixelwert in Farbton, Helligkeit und Sättigung um und verwendet diese durch Normieren auf ganzzahlige Zahlen zwischen 0 und 255.
  • 16 ist ein strukturelles Diagramm des Kopfsynthesebearbeitungsteiles 112. In 16 bezeichnen Bezugszeichen 161 einen Syntheseinformationserzeugungsteil; Bezugszeichen 162 einen Farbtonsyntheseteil zum Erzeugen eines Farbtones unter Verwendung der Farbtones des Bildes 113 der Vorderseite des Gesichtes und des Farbtones des Bildes 118 des Kopfes; Bezugszeichen 163 einen Helligkeitssyntheseteil zum Erzeugen einer Helligkeit unter Verwendung der Helligkeit des Bildes 113 der Vorderseite des Gesichtes und der Helligkeit des Bildes 118 des Kopfes entsprechend dem Attribut der Haarinformation 167; Bezugszeichen 164 einen Sättigungssyntheseteil zum Erzeugen einer Sättigung unter Verwendung der Sättigung des Bildes 113 der Vorderseite des Gesichtes und der Sättigung des Bildes 118 des Kopfes entsprechend dem Attribut der Haarinformation 167; Bezugszeichen 165 einen Abbildungsbearbeitungsteil zum Empfangen des in dem Farbtonsyntheseteil 162 erzeugten Farbtones, der in dem Helligkeitssyntheseteil 163 erzeugten Helligkeit und der in dem Sättigungssyntheseteil 164 erzeugten Sättigung, Bestimmen der Farbe aus diesen, Abbilden in dem Bild 113 der Vorderseite des Gesichtes und Erzeugen eines Kopfsynthesebildes 1111; Bezugszeichen 166 diejenige Syntheseinformation, die durch den Syntheseinformationserzeugungsteil 161 erzeugt worden ist; und Bezugszeichen 167 diejenige Haarinformation, die von dem Syntheseinformationserzeugungsteil 161 berichtigt worden ist.
  • Der Syntheseinformationserzeugungsteil 161 erzeugt die Syntheseinformation 166, die bei der Vornahme der Bearbeitung des Farbtonsyntheseteiles 162, des Helligkeitssyntheseteiles 163 und des Sättigungssyntheseteiles 164 verwendet werden soll, aus der Farbinformation des Bildes 113 der Vorderseite des Gesichtes und dem Bild 118 des Kopfes. Gleichzeitig untersucht der Syntheseinformationserzeugungsteil 161 die Farbinformation der Pixel des Bildes 113 der Vorderseite des Gesichtes am Abbildungszielort, berichtigt die Haarinformation 1110 und gibt die Haarinformation 167 aus. Bei diesem Ausführungsbeispiel wird als Beispiel für die Syntheseinformation 166 der Durchschnitt der Helligkeit verwendet. Die Berichtigung der Haarinformation 1110 ist beispielsweise dem Zweck gewidmet, die Abbildung an dem Pixel mit geringer Helligkeit des Bildes 113 der Vorderseite des Gesichtes in die Abbildung des Attributes 2 zu ändern.
  • Zunächst wird die Funktion des Syntheseinformationserzeugungsteiles 161 beschrieben. Der Syntheseinformationserzeugungsteil 161 bestimmt den Durchschnitt Lha der Hellig keit mit dem Attribut 3 gemäß Vorgabe durch die Haarinformation 1110 der Pixel in dem Bereich oberhalb der Augenbrauen in der Kopfkontur des Bildes 118 des Kopfes. Der Syntheseinformationserzeugungsteil 161 sucht zudem diejenigen Pixel, deren Helligkeit L des Punktes P(x, y) in dem Abschnitt oberhalb der Augenbrauen in der Kopfkontur in dem Bild 113 der Vorderseite des Kopfes Beziehung 25 erfüllt. L < θ 1 (B. 25)
  • In Beziehung 25 ist θ 1 die Schwelle. So gilt beispielsweise θ 1 = 95. Dieses Pixel ist ein dunkles Pixel, und die Wahrscheinlichkeit ist hoch, dass es sich hierbei um ein Haar handelt. Entsprechend stellt, damit die Beziehung 25 erfüllenden Pixel in dem Kopfsynthesebild 1111 nicht übrigbleiben, der Syntheseinformationserzeugungsteil 161 A(x, y) der Haarinformation mit dem Attribut 2 bereit und erzeugt die Haarinformation 167. Darüber hinaus bestimmt der Syntheseinformationserzeugungsteil 161 zudem den Durchschnitt Lfa der Helligkeit der Pixel, die Beziehung 25 nicht erfüllen.
  • Es wird die Bearbeitung in dem Farbtonsyntheseteil 162, dem Helligkeitssyntheseteil 163 und dem Sättigungssyntheseteil 164 durch das Attribut des Pixels der Haarinformation 167 bestimmt. Das Pixel des Attributes 3 ist kein Haar und wird daher auch nicht abgebildet. Das Pixel des Attributes 1 ist ein Pixel in dem Abschnitt des vorderen Haares, der Haarlinie und des Schattens durch das vordere Haar, und der synthetisierte Wert dieses Pixelwertes und der Pixelwert am Abbildungszielort in dem Bild 113 der Vorderseite des Gesichtes wird abgebildet. Das Pixel des Attributes 2 das Pixelelement, das direkt in dem Bild 113 der Vorderseite des Gesichtes abgebildet wird.
  • Die Funktion des Farbtonsyntheseteiles 162 wird nachstehend beschrieben. Unter der Annahme, dass der Farbton eines beliebigen Pixels Ph(x, y) des Bildes 118 des Kopfes gleich Hh, das Attribut des Pixels Ph gemäß Ermittlung aus der Haarinformation 167 gleich A(x, y) und der Farbton des Pixels Pf(x, y) in dem Bild 113 der Vorderseite des Gesichtes zum Abbilden des Pixels Ph gleich Hf ist, erzeugt der Farbtonsyntheseteil 162 die Größe H entsprechend Beziehung 26 unter Verwendung von Hf und Hh entsprechend A(x, y).
  • Figure 00320001
  • Der Farbtonsyntheseteil 162 nimmt den Mittelwert von Hf und Hh für den Fall des Attributes 1. Wird demgegenüber der Farbton durch den Winkel, wie in 17 gezeigt ist, ausgedrückt, so werden Hf und Hh entsprechend Beziehung 27 berichtigt und verwendet.
  • Figure 00320002
  • Zudem wird H in Beziehung 28 berichtigt und verwendet.
  • Figure 00320003
  • Nachstehend wird die Funktion des Helligkeitssyntheseteiles 163 beschrieben. Man geht davon aus, dass die Helligkeit des Pixels Ph(x, y) gleich Lh und die Helligkeit von Pf(x, y) gleich Lf ist. Der Helligkeitssyntheseteil 163 synthetisiert L aus Lh und Lf mittels Beziehung 29 unter Verwendung der Durchschnitte Lfa und Lha der Helligkeit gemäß Ermittlung aus der Syntheseinformation 166.
  • Figure 00320004
  • Der Helligkeitssyntheseteil 163 synthetisiert unter Verwendung der Differenz aus dem Durchschnitt für den Fall des Attributes 1.
  • Die Funktion des Sättigungssyntheseteiles 164 wird nachstehend beschrieben. Es wird davon ausgegangen, dass die Sättigung des vorgenannten Pixels Ph(x, y) gleich Sh und die Sättigung von Pf(x, y) gleich Sf ist. Entsprechend Beziehung 30 werden Sf und Sh zu S synthetisiert.
  • Figure 00330001
  • Der Abbildungsbearbeitungsteil 165 wandelt die synthetisierten Größen H, L und S in RGB-Farben um und bildet die Farben in dem Pixel Pf des Bildes 113 der Vorderseite des Gesichtes ab.
  • Bei einem 32-Bit-Personalcomputer mit einem Media Processing Board mit DSP betrug die Arbeitszeit für diese Bearbeitung ungefähr 5 Sekunden.
  • Bei diesem Ausführungsbeispiel sind sowohl das Bild 113 der Vorderseite des Gesichtes wie auch das Bild 115 des Kopfes digitale Bilder in einer Größe von 256 mal 256. Es können auch andere Größen möglich sein.
  • Bei diesem Ausführungsbeispiel ist das Modell der Gesichtsinformation mit Blick auf die Zusammensetzung gleich dem Modell der Oberfläche des Gesichtes. Die Zusammensetzung kann jedoch auch, soweit die Augen, die Nase, die Augenbrauen und die Kopfkontur ermittelt werden, anders sein.
  • Bei dem Ausführungsbeispiel wird in der Synthese bei der Abbildung dieselbe Funktion für den Farbton und die Sättigung verwendet. Es können jedoch auch unabhängige Funktionen verwendet werden.
  • Als Syntheseinformation können zudem die Durchschnittswerte von Farbton und Helligkeit des Bildes der Vorderseite des Gesichtes hinzugefügt werden, und die Durchschnittswerte können in dem Ergebnis der Synthese für den Fall des Attributes 1 mit dem Farbtonsyntheseteil und dem Sättigungssyntheseteil verwendet werden.
  • Ausführungsbeispiel 7
  • Unter Bezugnahme auf 18 wird eine Bildbearbeitungsvorrichtung entsprechend einem siebten Ausführungsbeispiel der vorliegenden Erfindung beschrieben. In 18 bezeichnen Bezugszeichen 181 einen Synthesebildberichtigungsteil zum Berichtigen mittels Interpolation, wenn eine Lücke zwischen dem Gesichtsbereich und dem Haarbereich in dem Abbildungsergebnisbereich auftritt, und Bezugszeichen 152 ein Kopfsynthesebild, das die Ausgabe der Bildbearbeitungsvorrichtung darstellt. Die Bearbeitung des Haarbereichsauswählteiles 11 und des Entfernungsbereichsauswählteiles 12 ist die gleiche wie beim ersten Ausführungsbeispiel, beim zweiten Ausführungsbeispiel, beim dritten Ausführungsbeispiel oder beim vierten Ausführungsbeispiel. Die Bearbeitung des Kopfbildregulierteiles 111 ist dieselbe wie im sechsten Ausführungsbeispiel.
  • Die Funktion des Kopfsynthesebearbeitungsteiles 112 kann sich teilweise von der Bearbeitung bei dem Syntheseinformationserzeugungsteil beim sechsten Ausführungsbeispiel unterscheiden. Dieser Punkt wird nachstehend noch beschrieben. In der Bildbearbeitungsvorrichtung des Ausführungsbeispieles wird in dem Kopfsynthesebearbeitungsteil 112 das Bild 118 des Kopfes in dem haarfreien Bild 16 abgebildet. Das haarfreie Bild 16 ist ein Bild, in dem das Haar und der Schatten des Haares entfernt sind, weshalb die Haarinformation 1110 nicht berichtigt ist. Damit ist in diesem Ausführungsbeispiel die Bearbeitung in dem Syntheseinformationserzeugungsteil 161 nicht vorgenommen. Durch Eingabe des Entfernungsbereiches 115 wird die Schwellenbearbeitung in Beziehung 25 nicht vorgenommen, und der Durchschnitt Lfa der Helligkeit des Pixels, der nicht in dem Entfernungsbereich 15 enthalten ist, wird bestimmt.
  • Der Synthesebildberichtigungsteil 181 untersucht das Abbildungsergebnisbild in jeder horizontalen Abtastlinie und nimmt eine Interpolation vor, wenn eine Lücke zwischen dem Gesichtsbereich und dem Haarbereich vorhanden ist. Eine Interpolation wird jedoch nicht vorgenommen, wenn sich das Pixel des Bildes 118 des Kopfes, das an dem Endpunkt des Haarbereiches abgebildet worden ist, nicht angrenzend an einen Punkt in der Gesichtskontur in dem Bild 118 des Kopfes oder einem Punkt in der Kontur befindet. Die Kontur des Gesichtes in dem Bereich 118 des Kopfes erhält man aus dem Gesichtsinformationsmodell 119. Die Interpolationsbearbeitung wird in der Farbe des Pixels des letzten Gesichtsbereiches vorgenommen, wenn die Interpolationsposition oberhalb der mittleren Position der Nase und des Mundes befindlich ist, sowie in der Farbe des Pixels des letzten Haarbereiches, wenn diese unterhalb befindlich ist. Ist eine Lücke zu dem Haarbereich in dem oberen Teil der Stirn gegeben, so wird dieser Bereich in der Farbe der Haut der Stirn interpoliert. Nach der Interpolation der Lücke werden der Ansatz des Haares oder der Schattenbereich und der Gesichtsbereich geglättet. Das Verfahren des Glättens ist das gleiche wie im Zusammenhang mit dem ersten Ausführungsbeispiel und den anderen Ausführungsbeispielen beschrieben worden ist.
  • Ausführungsbeispiel 8
  • Ein achtes Ausführungsbeispiel der Erfindung wird nachstehend beschrieben. Bei diesem Ausführungsbeispiel wird aus dem eingegebenen Bild der Vorderseite des Gesichtes der Bereich des Haares und der Schatten des Haares mittels der Bildbearbeitungsvorrichtung entsprechend dem ersten Ausführungsbeispiel, dem zweiten Ausführungsbeispiel, dem dritten Ausführungsbeispiel und dem vierten Ausführungsbeispiel entfernt, und es wird das vorbereitete Haar in dem haarfreien Bild, in dem der Entfernungsbereich geändert worden ist, synthetisiert. Der Kopfbildregulierteil wird durch sämtliche oder Teile der Positionen der Augen, der Nase, des Mundes und der Augenbrauen gemäß Ermittlung aus dem Modell der Oberfläche des Gesichtes und dem Modell der Gesichtsinformation ermittelt, sowie des Abstandes von der Kopfkontur und der Position und Größe der Kopfkontur, und der Kopfsynthesebearbeitungsteil umfasst einen Syntheseinformationserzeugungsteil zum Erzeugen der Information, die bei der Synthese des haarfreien Bildes und des Bildes des Kopfes verwendet wird, einen Textursyntheseteil zum Synthetisieren der Textur in einem Verfahren gemäß Spezifizierung durch das Attribut des Pixels gemäß Ermittlung aus der Haarinformation, einen Abbildungsbearbeitungsteil zum Abbilden des Pixelwertes gemäß Synthetisierung in dem Textursyntheseteil in das haarfreie Bild und einen Synthesebildberichtigungsteil zur Berichtigung des Abbildungsergebnisbildes. Darüber hinaus setzt sich der Textursyntheseteil aus einem Farbtonsyntheseteil, einem Helligkeitssyntheseteil und einem Sättigungssyntheseteil zusammen.
  • 19 ist ein Blockdiagramm der Bildbearbeitungsvorrichtung dieses Ausführungsbeispieles. In 19 bezeichnen Bezugszeichen 191 einen Kopfinformationsregulierteil, Bezugszeichen 192 einen Kopfsynthesebearbeitungsteil, Bezugszeichen 193 ein Bild des Kopfes, Bezugszeichen 194 ein Modell der Gesichtsinformation, das die strukturelle Informationen des Gesichtes des Bildes 193 des Kopfes ausdrückt, Bezugszeichen 195 die Haarinformation, die das Attribut jedes Pixels der Kopfinformation 193 ausdrückt, Bezugszeichen 196 das Bild des Kopfes nach Umwandlung des Bildes 193 des Kopfes mittels des Kopfbildregulierteiles 191, Bezugszeichen 197 das Modell der Gesichtsinformation nach Umwandlung des Modells 194 der Gesichtsinformation mittels des Kopfbildregulierteiles 191, Bezugszeichen 198 die Haarinformation nach Umwandlung der Haarinformation 195 mittels des Kopfbildregulierteiles 191 und Bezugszeichen 199 das Kopfsynthesebild nach Synthese der Frisur des Bildes 196 des Kopfes in dem haarfreien Bild 16.
  • Das eingegebene Bild 13 der Vorderseite des Gesichtes ist ein farbiges digitales Bild mit einer Breite von 8 Bit jeweils für R, G, B pro Pixel in einer Größe von 256 mal 256 Pixel, wobei dieses Bild mittels der Gesichtsbildaufnahmevorrichtung von 2 aufgenommen worden ist, die dieselbe wie beim ersten Ausführungsbeispiel und den anderen Ausführungsbeispielen ist. Das Gesicht blickt nach vorne, und die Mittellinie des Kopfes steht nahezu senkrecht. Das Modell 14 der Oberfläche des Gesichtes entspricht ebenfalls demjenigen des ersten Ausführungsbeispieles und der anderen Ausführungsbeispiele. Das Bild 193 des Kopfes ist ein digitales Bild, das von einem nach vorne blickenden Gesicht aufgenommen worden ist. Es ist ein Farbbild mit einer Breite von 8 Bit jeweils für R, G, B in einem Pixel mit einer Größe von 256 mal 256 Pixel. Das Gesicht in dem Bild 193 des Kopfes blickt ebenfalls nach vorne, wobei die Mittellinie des Kopfes nahezu senkrecht steht. Das Modell 194 der Gesichtsinformation entspricht der Zusammensetzung nach dem Modell 14 der Oberfläche des Gesichtes.
  • Die Haarinformation 195 dient dem Spezifizieren des Attributes zum Bestimmen der Methode der Synthese, damit das synthetisierte Bild natürlicher aussieht, wenn die Pixel des Bildes 193 des Kopfes mit dem haarfreien Bild 16 synthetisiert werden. Die Haarinformation 195 ist der Größe nach dieselbe wie die Haarinformation 193, und es handelt sich um ein zweidimensionales Feld mit einer Bitbreite von 8 Bit pro Element. Wie in 20 gezeigt ist, entspricht ein Element dieses Feldes einem Pixel des Bildes 193 des Kopfes. Dies bedeutet, dass unter der Annahme, dass das Feld der Haarinformation 195 gleich A(x, y) ist, A(x0, y0) das Attribut des Pixels des Punktes (x0, y0) des Bildes 193 des Kopfes ist.
  • Die bei diesem Ausführungsbeispiel verwendeten Attribute und deren Bedeutungen sind in Tabelle 2 gezeigt.
  • Figure 00360001
  • Figure 00370001
  • Tabelle 2 ist derart ausgestaltet, dass das synthetisierte Bild wirklichkeitsnäher aussieht, wenn eine Schattierung mit dem Haar oder einem überlappenden feinen vorderen Haar auf natürliche Weise vorgenommen wird.
  • In Tabelle 2 und in 20 bezeichnen Bezugszeichen 201 einen Bereich des Attributes 1, Bezugszeichen 2 einen Bereich des Attributes 2, Bezugszeichen 203 einen Bereich des Attributes 3, und Bezugszeichen 204 einen Bereich des Attributes 4.
  • Der Kopfbildregulierteil 191 reguliert das Bild 193 des Kopfes, sodass die Frisur des Bildes 193 des Kopfes an das Gesicht des haarfreien Bildes 16, das abgebildet werden soll, angepasst werden kann. Bei diesem Ausführungsbeispiel fallen jeweils als Beispiel für die Regulierung des Kopfes und des Bildes 193 des Kopfes die Größe und die Position in den horizontalen und vertikalen Richtungen der Kopfkontur in dem Bild 193 des Kopfes mit der Größe und der Position in den horizontalen und vertikalen Richtungen der Kopfkontur in dem haarfreien Bild 16 zusammen.
  • Die Funktion des Kopfbildregulierteiles 116, der derartige Regulierungen vornimmt, wird nachstehend unter Bezugnahme auf 21 beschrieben. In 21 bezeichnen Bezugszeichen 211 ein Größenreguliermittel zum Umwandeln des Bildes 193 des Kopfes, des Modells 194 der Gesichtsinformation und der Haarinformation 195 derart, dass die Größe des Gesichtes des Bildes 193 des Kopfes mit der Größe des Gesichtes des haarfreien Bildes 16 zusammenfällt, Bezugszeichen 213 ein Bild des Kopfes gemäß Umwandlung durch das Größenreguliermittel 211, Bezugszeichen 214 ein Modell der Gesichtsinformation gemäß Umwandlung durch das Größenreguliermittel 211, Bezugszeichen 215 Haarinformation gemäß Umwandlung durch das Größenreguliermittel 211 und Bezugszeichen 212 ein Positionsreguliermittel zum Umwandeln des Bildes 213 des Kopfes, des Modells 214 der Gesichtsinformation und der Haarinformation 215 derart, dass die Position des Gesichtes des Bildes 213 des Kopfes in dem Bild 213 des Kopfes mit der Position des Gesichtes des haarfreien Bildes 16 in dem haarfreien Bild 16 zusammenfallen kann.
  • Die Funktion des Größenreguliermittels 211 wird nachstehend beschrieben. Zunächst ermittelt man aus dem Modell 14 der Oberfläche des Gesichtes die Größen dv1, dv2, dh der Kopfkontur, wie in 22 gezeigt ist. Insbesondere ist dv1 der Abstand in vertikaler Richtung (Richtung der x-Achse) desjenigen Liniensegmentes, das die Kopfkontur horizontal an der Position der Nasenspitze und dem höchsten Punkt der Kopfkontur schneidet, dv2 ist der Abstand in vertikaler Richtung desjenigen Liniensegmentes, das die Kopfkontur horizontal an der Position der Nasenspitze und dem niedrigsten Punkt der Kopfkontur schneidet, und dh ist die Länge des Liniensegmentes derjenigen Sektion, die die Kopfkontur bezüglich der horizontalen Linie, die durch den Punkt der Nasenspitze läuft, was der Größe der Kopfkontur in horizontaler Richtung (Richtung der x-Achse) entspricht, schneidet.
  • Auf ähnliche Weise ermittelt man aus dem Modell 194 der Gesichtsinformation die Größen dv1', dv2' der Kopfkontur des Gesichtes des Bildes 193 des Kopfes in vertikaler Richtung, und es wird die Größe dh' in horizontaler Richtung ermittelt. Was die Größenregulierung angeht, so werden das Bild 193 des Kopfes und die Haarinformation jeweils mit unabhängigen Skalierungsfaktoren in horizontaler Richtung und vertikaler Richtung skaliert. Darüber hinaus wird eine Skalierung in vertikaler Richtung mit unabhängigen Skalierungsfaktoren oberhalb und unterhalb der Position der Nasenspitze vorgenommen. Unter der Annahme, dass die horizontale Skala gleich Sh und die vertikale Skala gleich Sv1, Sv2 oberhalb und unterhalb der Position der Nasenspitze sind, werden die Skalierungsfaktoren gemäß Beziehung 31 berechnet.
  • Figure 00380001
  • Das Größenreguliermittel 211 skaliert das Bild 193 des Kopfes bezüglich Sh in Richtung der x-Achse, skaliert mittels Sv1 und Sv2 in Richtung der y-Achse und erzeugt dadurch ein Bild 213 des Kopfes. Mittels derselben Bearbeitung wie bei der Größenregulierung des Bildes 193 des Kopfes wird die Haarinformation 195 in Haarinformation 215 umgewandelt. Es kann irgendein Verfahren (beispielsweise der Algorithmus des nächsten Nachbarn) unter den herkömmlichen Verfahren für die Skalierung verwendet werden.
  • Aufgrund der Tatsache, dass das Modell 194 der Gesichtsinformation eine x-Koordinate und eine y-Koordinate entsprechend dem jeweiligen Merkmalspunkt aufweist, erfolgt eine Umwandlung in das Modell 214 der Gesichtsinformation mittels Beziehung 32.
  • Figure 00390001
  • Hierbei geht man davon aus, dass die y-Koordinate der Position der Nasenspitze gleich yn ist.
  • Die Funktion des Positionsreguliermittels 212 wird nachstehend beschrieben. Die Positionsregulierung stellt eine Versetzung um einen unabhängigen Versetzungsbetrag einzeln in horizontaler Richtung und vertikaler Richtung dar. Man geht davon aus, dass die Versetzung in horizontaler Richtung gleich Δh und die Versetzung in vertikaler Richtung gleich Δv ist. Die Werte von Δh und Δv werden folgendermaßen bestimmt.
  • 23 ist ein Diagramm zur Erläuterung der Funktion des Positionsreguliermittels 212. Das Gesicht gemäß 23 ist das Gesicht des haarfreien Bildes 16. Der Punkt Pn bezeichnet den Mittelpunkt des Liniensegmentes derjenigen Sektion, die die Kopfkontur an der Position der Nasenspitze in horizontaler Richtung schneidet, der Punkt Pe bezeichnet den Mittelpunkt des Liniensegmentes derjenigen Sektion, die die Kopfkontur an dem höchsten Punkt des Augenbereiches in horizontaler Richtung schneidet, und der Punkt Pm bezeichnet den Mittelpunkt desjenigen Liniensegmentes, das die Punkte Pn und Pe verbindet. Das Positionsreguliermittel 212 bestimmt ähnlich auf dem Bild 213 des Kopfes den Mittelpunkt Pn' des Liniensegmentes derjenigen Sektion, die die Kopfkontur an der Position der Nasenspitze in horizontaler Richtung schneidet, den Mittelpunkt Pe' des Liniensegmentes derjenigen Sektion, die die Kopfkontur in der höchsten Position des Augenbereiches in horizontaler Richtung schneidet, und den Mittelpunkt Pm' des Liniensegmentes, das den Punkt Pn' und den Pe' verbindet.
  • Nunmehr werden unter der Annahme, dass die Mittelpunkte Pm(xf, yf) beziehungsweise Pm'(xh, yh) sind, die Werte von Δh und Δv gemäß Beziehung 33 berechnet. Δh = xf-xh, Δv = yf-yh (B. 33)
  • Ein beliebiger Punkt P(x, y) in dem Bild 23 des Kopfes wird in den Punkt P'(X, Y) gemäß Beziehung 34 abgebildet, und es wird ein Bild 196 des Kopfes erzeugt. X = x + Δh, Y = y + Δv (B. 34)
  • Auf gleiche Weise wird ein beliebiges Element A(x, y) der Haarinformation 214 in A'(X, Y) umgewandelt, und es wird Haarinformation 198 erzeugt. Ein beliebiger Kennpunkt Pf(x, y) des Modells 214 der Gesichtsinformation wird ebenfalls in Pf(X, Y) umgewandelt, und es wird ein Modell 196 der Gesichtsinformation erzeugt.
  • Das Bearbeiten an dem Modell 194 der Gesichtsinformation und dem Modell 214 der Gesichtsinformation erfolgt bezüglich aller Kennpunkte in dem Modell 194 der Gesichtsinformation, kann jedoch auch nur an Kennpunkten erfolgen, die in der nachfolgenden Bearbeitung verwendet werden, so beispielsweise an Merkmalspunkten.
  • Die Funktion des Kopfsynthesebearbeitungsteiles 192 wird nachstehend beschrieben. Die Bearbeitung in dem Kopfsynthesebearbeitungsteil 192 erfolgt auf gleiche Weise wie beim ersten Ausführungsbeispiel und den anderen Ausführungsbeispielen, anstatt der Verwendung der Farbinformationen R, G, B erfolgt eine Umwandlung des Pixelwertes in Farbton, Helligkeit und Sättigung, und es erfolgt zudem eine Normierung auf ganzzahlige Werte zwischen 0 und 255.
  • 24 ist ein strukturelles Diagramm des Kopfsynthesebearbeitungsteiles 192. In 24 bezeichnen Bezugszeichen 241 einen Syntheseinformationserzeugungsteil; Bezugszeichen 242 einen Farbtonsyntheseteil zum Erzeugen eines Farbtones unter Verwendung des Farbtones des haarfreien Bildes 116 und des Farbtones des Bildes 196 des Kopfes in Entsprechung zu dem Attribut der Haarinformation 198; Bezugszeichen 243 einen Helligkeitserzeugungsteil zum Erzeugen einer Helligkeit unter Verwendung der Helligkeit des haarfreien Bildes 16 und der Helligkeit des Bildes 196 des Kopfes in Entsprechung zu dem Attribut der Haarinformation 198; Bezugszeichen 244 einen Sättigungssyntheseteil zum Erzeugen einer Sättigung unter Verwendung der Sättigung des haarfreien Bildes 16 und der Sättigung des Bildes 196 des Kopfes in Entsprechung zu dem Attribut der Haarinformation 198; Bezugszeichen 245 einen Abbildungsbearbeitungsteil zum Empfangen des Farbtones gemäß Erzeugung durch den Farbtonsyntheseteil 242, der Helligkeit gemäß Erzeugung durch den Helligkeitssyntheseteil 243 und der Sättigung gemäß Erzeugung durch den Sättigungssyntheseteil 244, mit einer Umwandlung in RGB-Farben und einer Abbildung in das haarfreie Bild 16, wodurch ein Kopfsynthesebild 199 erzeugt wird; Bezugszeichen 246 eine Syntheseinformation gemäß Erzeugung durch den Syntheseinformationserzeugungsteil 243; Bezugszeichen 247 einen Synthesebildberichtigungsteil zum Berichtigen mittels Interpolation, wenn eine Lücke zwischen dem Gesichtsbereich und dem Kopfbereich in dem Abbildungsergebnisbild vorhanden ist. Der Syntheseinformationserzeugungsteil 241 erzeugt die Syntheseinformation 246, die in der Synthesebearbeitung in dem Farbtonsyntheseteil 242, dem Helligkeitssyntheseteil 243 und dem Sättigungssyntheseteil 244 verwendet wird, aus der Haarinformation des haarfreien Bildes 16 und des Bildes 196 des Kopfes und gibt dies aus. Bei diesem Ausführungsbeispiel werden als Beispiel für die Syntheseinformation 246 die Durchschnittswerte von Helligkeit und Sättigung verwendet.
  • Zunächst wird die Funktion des Syntheseinformationserzeugungsteiles 241 beschrieben. Der Syntheseinformationserzeugungsteil 241 bestimmt den Durchschnitt Lha der Helligkeit und den Durchschnitt Sha der Sättigung mit dem Attribut 3 oder 4 gemäß Vorgabe durch die Haarinformation 198 aus den Pixeln in dem Bereich unterhalb der Augen in der Kopfkontur in dem Bild 196 des Kopfes. Zudem ermittelt der Syntheseinformationserzeugungsteil 241 den Durchschnitt La der Helligkeit und den Durchschnitt Sa der Sättigung bei dem dritten Ausführungsbeispiel als Syntheseinformation 246.
  • Nach erfolgter Bearbeitung in dem Farbtonsyntheseteil 242, dem Helligkeitssyntheseteil 243 und dem Sättigungssyntheseteil 244 erfolgt eine Bestimmung bezüglich des Attributes der Haarinformation 198. Aufgrund der Tatsache, dass das Pixel des Attributes 4 kein Haar ist, erfolgt keine Abbildung. Das Pixel das Attributes 1 ist ein Pixel des vorderen Haares und der Haarlinie, und der synthetisierte Wert dieses Pixelwertes und der Pixelwert am Abbildungszielort des haarfreien Bildes 16 wird abgebildet. Das Pixel das Attributes 2 ist der Pixelwert, der direkt auf den haarfreien Bereich 16 abgebildet wird. Das Pixel des Attributes 3 ist der Schatten des Haares, weshalb er dadurch bearbeitet wird, dass die Helligkeit und die Sättigung des Pixels am Abbildungszielort geringfügig gesenkt werden.
  • Der Betrieb des Farbtonsyntheseteiles 242 wird nachstehend beschrieben. Unter der Annahme, dass der Farbton eines beliebigen Punktes Ph(x, y) des Bildes 196 des Kopfes gleich Hh, das Attribut des Pixels Ph gemäß Ermittlung aus der Haarinformation 198 gleich A(x, y) und der Farbton des Pixels Pf(x, y) des haarfreien Bildes 16, in dem das Pixel Ph abgebildet ist, gleich Hf ist, erzeugt der Farbtonsyntheseteil 242 die Größe H aus Beziehung 35 unter Verwendung von Hf und Hh entsprechend A(x, y).
  • Figure 00420001
  • Die Funktion mod(a, b) in Beziehung 35 dient dem Zweck, den Rest der Teilung der ganzen Zahl „a" durch die ganze Zahl „b" anzugeben. Für den Fall des Attributes 1 ist der Farbton des synthetisierten Bildes abwechselnd der Farbton des Bildes 196 des Kopfes und des haarfreien Bildes 16.
  • Die Funktion des Helligkeitssyntheseteiles 243 wird nachstehend beschrieben. Es wird davon ausgegangen, dass die Helligkeit des Pixels Ph(x, y) gleich Lh und die Helligkeit von Pf(x, y) gleich Lf ist. Der Helligkeitssyntheseteil 243 synthetisiert L aus Lh und Lf entsprechend Beziehung 36 unter Verwendung der Durchschnittswerte La, Lha der Helligkeit gemäß Ermittlung aus der Syntheseinformation 246.
  • Figure 00420002
  • Der Helligkeitssyntheseteil 243 synthetisiert unter Verwendung der Differenz der Durchschnittswerte in dem Fall des Attributes 1. Der Helligkeitssyntheseteil 243 senkt die Helligkeit der Haut für den Fall des Attributes 3. Hierbei ist σ eine bestimmte reelle Zahl, beispielsweise La/Lh. Die Funktion min(a, b) dient dem Zweck, entweder die reelle Zahl „a" oder „b" auszugeben, je nachdem, welche der beiden nicht größer ist.
  • Die Funktion des Sättigungssyntheseteiles 244 wird nachstehend beschrieben. Es wird davon ausgegangen, dass die Sättigung des Pixels Ph(x, y) gleich Sh und die Sättigung von Pf(x, y) gleich Sf ist. Der Sättigungssyntheseteil 244 synthetisiert S aus Sf und Sh entsprechend Beziehung 47 unter Verwendung der Durchschnittswerte Sa, Sha der Sättigung gemäß Ermittlung aus der Syntheseinformation 246.
  • Gemäß Beziehung 37 sind a, b, c und d reelle Zahlen, die a + b = 1 und c + d = 1 erfüllen, so beispielsweise a = 0,3, b = 0,7, c = 0,4, d = 0,6.
  • Figure 00430001
  • Der Abbildungsbearbeitungsteil 245 wandelt die synthetisierten Größen H, L und S in RGB-Farben um und bildet die Farben in die Pixel Pf in dem haarfreien Bild 16 ab.
  • Der Synthesebildberichtigungsteil 247 untersucht das Abbildungsergebnisbild in jeder horizontalen Abtastlinie und nimmt eine Interpolation vor, wenn eine Lücke zwischen dem Haarbereich und dem Gesichtsbereich auftritt, der den Haarbereich nicht enthält. Es wird demgegenüber keine Interpolation vorgenommen, wenn sich das Pixel des Bereiches 196 des Kopfes, das an dem Endpunkt des Haarbereiches abgebildet worden ist, nicht angrenzend an den Punkt der Kopfkontur des Bildes 196 des Kopfes oder den Punkt in der Kopfkontur befindet.
  • Die Kopfkontur des Bildes 196 des Kopfes erhält man aus dem Modell 197 der Gesichtsinformation. Die Interpolationsbearbeitung wird in der Farbe des Pixels in dem nächsten Gesichtsbereich vorgenommen, wenn die Interpolationsposition oberhalb der Mittelposition der Nase und des Mundes befindlich ist, oder in der Farbe des Pixels in dem nächsten Haarbereich, wenn es darunter befindlich ist. Besteht eine Lücke gegen den Haarbereich in dem oberen Teil der Stirn, so wird dieser Bereich in der Farbe der Haut der Stirn interpoliert. Nach Interpolieren der Lücke werden der Ansatz des Kopfes und der Schattenbereich sowie der Gesichtsbereich geglättet. Das Glättungsverfahren ist dasselbe wie im Zusammenhang mit dem ersten Ausführungsbeispiel und den anderen Ausführungsbeispielen beschrieben worden ist.
  • Mittels eines 32-Bit-Personalcomputersystems mit Media Processing Board mit DSP konnte die entsprechende Bearbeitung in einer Zeit von ungefähr 8 Sekunden vorgenommen werden.
  • Bei diesem Ausführungsbeispiel waren sowohl das Bild 13 der Vorderseite des Gesichtes wie auch das Bild 193 des Kopfes digitale Bilder in einer Größe von 256 mal 256. Die Größe kann jedoch auch eine andere sein.
  • Ebenfalls bei diesem Ausführungsbeispiel ist das Modell der Gesichtsinformation der Zusammensetzung nach das gleiche wie das Modell der Oberfläche des Gesichtes. Die Zusammensetzung kann jedoch, so lange die Augen, die Nase, die Augenbrauen und die Kopfkontur ermittelt werden, auch anders sein.
  • Als Syntheseinformation kann darüber hinaus der Durchschnittswert des Farbtones und des Bildes der Vorderseite des Gesichtes addiert werden, und der Durchschnittswert kann in dem Ergebnis der Synthese für den Fall des Attributes 1 in dem Farbtonsyntheseteil verwendet werden.
  • Bei diesem Ausführungsbeispiel synthetisierte der Helligkeitssyntheseteil 243 unter Verwendung der Differenz der Durchschnittswerte für den Fall des Attributes 1. Die Synthese des Attributes 1 und des Attributes 3 kann jedoch auch durch Bestimmen der Helligkeitswerte durch das Verhältnis der Durchschnittswerte und Abbilden vorgenommen werden. Dies bedeutet, dass anstelle von Beziehung 36 die nachfolgende Beziehung 38 zum Einsatz kommt.
  • Figure 00440001
  • Ausführungsbeispiel 9
  • In 25 wird eine Bildbearbeitungsvorrichtung entsprechend einem neunten Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Dieses Ausführungsbeispiel ähnelt dem siebten oder achten Ausführungsbeispiel, mit der Ausnahme, dass das Modell 14 der Oberfläche des Gesichtes gemäß Erzeugung durch den Gesichtsoberflächenmodellerzeugungsteil 101 dem Haarbereichsauswählteil 11, dem Entfernungsbereichsänderungsteil 12, dem Kopfbildregulierteil 191 und dem Kopfbildsyntheseteil 192 zugeführt wird.
  • Ausführungsbeispiel 10
  • 26 ist ein Blockdiagramm eines zehnten Ausführungsbeispieles der Erfindung. Das Ausführungsbeispiel betrifft eine Gesichtsbildanzeigevorrichtung, die aus der Bildbearbeitungsvorrichtung des achten Ausführungsbeispieles und einer Bildanzeigevorrichtung besteht. In 26 bezeichnen Bezugszeichen 261 eine Kopfbilddatenbank, Bezugszeichen 262 eine Kopfbildauswählvorrichtung und Bezugszeichen 263 eine Bildanzeigevorrichtung. Die Kopfbilddatenbank 261 enthält eine Anzahl zu synthetisierender Kopfbilder, Modelle der Gesichtsinformation sowie Haarinformation, die Kopfbildauswählvorrichtung 262 wählt ein bestimmtes Kopfbild, ein Modell der Gesichtsinformation und die Haarinformation aus der Kopfbilddatenbank 261 aus und gibt dies aus. Die Bildanzeigevorrichtung 263 zeigt gleichzeitig das Bild 13 der Vorderseite des Gesichtes, das haarfreie Bild 16, das Haarsynthesebild 199 und mehrere Kopfbilder gemäß Ermittlung aus der Kopfbilddatenbank 262 an. Da das Modell 14 der Vorderseite des Gesichtes und das Modell 194 der Gesichtsinformation der Zusammensetzung nach ähnlich sind, kann das Kopfbild auch dem Bild 13 der Vorderseite des Gesichtes zugeführt werden.
  • Mittels der Gesichtsbildanzeigevorrichtung dieses Ausführungsbeispieles können mehrere Gesichtsbilder gleichzeitig angezeigt werden, und die Frisuren können ausgetauscht und angezeigt werden. Entsprechend kann die Figur eines Objektes gegen die Frisur eines anderen Objektes ausgetauscht und angezeigt werden. Alternativ können mehrere Bilder des Kopfes angezeigt werden, und die Frisuren können ausgetauscht werden. Mittels einer derartigen Gesichtsbildanzeigevorrichtung ist es einfacher, ein Bild durch Auswählen der Frisur einer bestimmten Person zu zeichnen, als nur aus den Bildern der Frisuren beim Ersetzen der Frisuren auszuwählen.
  • Die vorgenannten Ausführungsbeispiele betreffen die Synthese der Frisur. Dasselbe Verfahren kann jedoch auch bei der Synthese von Gesichtsbildern angewandt werden, so beispielsweise mit Bezug auf Bart, Ohren, Hals, Schmuckstücke oder Kleidung. Derartige Fälle werden nachstehend beschrieben.
  • Zunächst wird die Bearbeitung bei der Synthese eines Bartes beschrieben. In diesem Fall geht man davon aus, dass das Attribut 1 oder das Attribut 2 in der Haarinformation der Bereich des Bartes in dem Bild des Kopfes ist. In 27 bezeichnen dm die Breite des Mundes in horizontaler Richtung und dn den Abstand zwischen der geraden Linie in horizontaler Richtung, die durch die höchste Position des Mundbereiches läuft, und der geraden Linie in horizontaler Richtung, die durch die Nasenspitze läuft. Dieser Abstand ist der Abstand des Mundes und der Nase. Die Größe wird derart reguliert, dass dm und dn in dem Bild des Kopfes mit dm und dn in dem Bild der Vorderseite des Gesichtes zusammenfallen. Dies bedeutet, dass der Skalierfaktor Sh in horizontaler Richtung gemäß Beziehung 39 mit Blick auf die Breite dm des Mundes in horizontaler Richtung in dem Bild der Vorderseite des Gesichtes und die Breite dm' des Mundes in horizontaler Richtung des Bildes des Kopfes bestimmt wird.
  • Figure 00460001
  • Der Skalierfaktor Sv in vertikaler Richtung wird in Beziehung 39 in Bezug auf den Abstand dn von Mund und Nase in dem Bild der Vorderseite des Gesichtes bestimmt, und der Abstand dn' des Mundes und der Nase in dem Bild des Kopfes. Unter Verwendung von Sh und Sv wird das Bild des Kopfes mit dem Skalierfaktor Sh in horizontaler Richtung und dem Skalierfaktor Sv in vertikaler Richtung skaliert, und es wird die Größe reguliert.
  • Die Regulierung der Position bei der Synthese des Bartes wird nachstehend beschrieben. In 28 bezeichnet Pn den Mittelpunkt des Liniensegmentes derjenigen Sektion, die die Kopfkontur bezüglich der geraden Linie in horizontaler Richtung bei Passieren der Nasenspitze schneidet. Darüber hinaus bezeichnet Pm den Mittelpunkt des Liniensegmentes derjenigen Sektion, die die Kopfkontur bezüglich der geraden Linie in horizontaler Richtung schneidet, die durch den höchsten Punkt des Mundbereiches läuft. Darüber hinaus ist Pc der Mittelpunkt des Liniensegmentes, das Pn und Pm verbindet, was den Bezugspunkt der Positionsregulierung darstellt. Zum Zwecke der Positionsregulierung wird das Bild des Kopfes parallel derart versetzt, dass der Bezugspunkt Pc in dem Bild der Vorderseite des Gesichtes und der Bezugspunkt Pc' in dem Bild des Kopfes auf dem Bildschirm in derselben Position befindlich sind. Unter der Annahme, dass die Bezugspositionen Pc(xf, yf) beziehungsweise Pc'(xh, yh) sind, ermittelt man den horizontalen Bewegungsabstand Δh und den vertikalen Bewegungsabstand Δv aus Beziehung 23. Die Position wird reguliert, indem X und Y gemäß Ermittlung durch Einsetzen von Δh und Δv in Beziehung 24 als Position des Bildes des Kopfes gesetzt werden. In dem Kopfsynthesebearbeitungsteil wird dasselbe Verfahren wie bei der Synthese der Frisur ausgeführt.
  • Nachstehend wird die Bearbeitung bei der Synthese von Ohren beschrieben. Zunächst wird über die Attribute gemäß Tabelle 2 hinausgehend ein Attribut 5 im Zusammenhang mit den Ohren hinzugefügt. Mit Blick auf die Haarinformation wird der Ohrbereich in dem Bild des Kopfes in Attribut 5 gesetzt. Die Größenregulierung und die Positionsregulierung erfolgen auf dieselbe Weise wie für den Fall der Synthese einer Frisur. Der Kopfsynthesebearbeitungsteil nimmt die Bearbeitung durch Ersetzen von Beziehung 35 für den Fall der Frisursynthese durch Beziehung 40, von Beziehung 36 durch Beziehung 41 und von Beziehung 37 durch Beziehung 42 vor.
  • Figure 00470001
  • Hierbei ist HO in Beziehung 40 der Farbton des Pixels in einer geeigneten Position in dem Gesichtsbereich. In diesem Fall werden die Pixel zwischen den Augenbrauen verwendet.
  • Nachstehend wird die Bearbeitung für die Synthese von Schmuckstücken erläutert. In diesem Fall ist jedes Attribut für den Bereich des Schmuckstückes in dem Bild des Kopfes derart gegeben, dass die Haarinformation konstruiert ist. Durch Skalieren des Bildes des Kopfes entsprechend Beziehung 43 unter Verwendung des Skalierungsfaktors Sh von Beziehung 21 wird die Größe reguliert. x' = x·Sh, y' = y·Sh (B. 43)
  • Als Skalierungsfaktor werden neben Sh, Sv von Beziehung 21 auch Sv1 oder Sv2 von Beziehung 31 verwendet.
  • Der Kopfsynthesebearbeitungsteil funktioniert auf dieselbe Weise wie bei der Synthese der Frisur.
  • Nachstehend wird die Synthese des Halses und von Kleidungsstücken beschrieben. Die Kleidungsstücke werden hierbei als an dem Hals angebracht bearbeitet. In diesem Fall ist das Attribut 5 in der Haarinformation der Bereich der freiliegenden Haut des Halses in dem Bild des Kopfes. Das Attribut 2 bezeichnet den Bereich des Abschnittes der Kleidungsstücke. Die Größenregulierung und die Positionsregulierung sind dieselben wie beim Verfahren zur Synthese der Frisur. Der Kopfsynthesebearbeitungsteil arbeitet auf dieselbe Weise wie bei der Synthese der Ohren.
  • Entsprechend kann gemäß der vorliegenden Erfindung ein synthetisiertes Frisurbild automatisch erzeugt werden, ohne dass dies eigenartig aussieht.
  • Entsprechend der vorliegenden Erfindung kann darüber hinaus unter Verwendung eines 32-Bit-Personalcomputers mit einem Media Processing Board mit DSP die Zeitspanne zwischen der Aufnahme des Bildes und der Beendigung der Frisursynthese bei etwa zehn Sekunden liegen.

Claims (13)

  1. Bildbearbeitungsvorrichtung, die umfasst: einen Bereich-Auswählteil (11) zum Auswählen eines Bereiches eines bestimmten Abschnitts in einem Bild der Vorderseite einer Person, und einen Bereich-Änderungsteil (12) zum Ändern des Pixel-Wertes in dem gesamten Teil oder einem Bereich des bestimmten Abschnitts oder einem Teil desselben, dadurch gekennzeichnet, dass der Bereich-Auswählteil (11) einen Bereich auf Basis jedes Pixel-Wertes in dem gesamten Bild der Vorderseite oder einem Teil desselben auswählt und ein Oberflächenmodell strukturelle Informationen bezüglich einer Oberfläche der Person in dem Bild der Vorderseite zeigt, und der Bereich-Änderungsteil (12) die Pixel-Werte auf Basis der strukturellen Informationen in dem Oberflächenmodell und wenigstens eines Pixel-Wertes in dem Bild der Vorderseite ändert.
  2. Bildbearbeitungsvorrichtung nach Anspruch 1, wobei das Bild der Vorderseite ein Bild der Vorderseite des Gesichtes ist, das ein Bild der Vorderseite eines Gesichtes der Person ist, das Oberflächenmodell ein Oberflächenmodell des Gesichtes ist, das strukturelle Informationen bezüglich einer Oberfläche des Gesichtes der Person in dem Bild der Vorderseite des Gesichtes zeigt, der Bereich-Auswählteil (11) ein Haarbereich-Auswählteil (11) zum Auswählen eines Haarbereiches der Person in dem Bild der Vorderseite des Gesichtes in einem Entfernungsbereich ist, und der Bereich-Änderungsteil (12) ein Entfernungsbereich-Änderungsteil (12) zum Ändern jedes Pixel-Wertes in dem gesamten Entfernungsbereich oder einem Teil desselben auf Basis der strukturellen Informationen in dem Oberflächenmodell des Gesichts und von Farbinformationen ist, die aus wenigstens einem Pixel-Wert in dem Bild der Vorderseite des Gesichtes gewonnen werden.
  3. Bildbearbeitungsvorrichtung nach Anspruch 2, wobei der Haarbereich-Auswählteil (11) das Haar der Person und den Farbton anhand des Haars in dem Bild der Vorderseite des Gewichtes als den Entfernungsbereich auswählt.
  4. Bildbearbeitungsvorrichtung nach Anspruch 2 oder 3, wobei der Haarbereich-Auswählteil (11) des Weiteren jeden Pixel-Bereich in dem Entfernungsbereich auf andere Werte als die Pixel-Werte in dem Bild der Vorderseite des Gesichtes entsprechend der Innenseite der Kopfkontur in dem Oberflächenmodell des Gesichtes ändert.
  5. Bildbearbeitungsvorrichtung nach Anspruch 2 oder 3, wobei, wenn Pixel-Werte in einem Teil des Entfernungsbereiches geändert werden, der Entfernungsbereich-Änderungsteil (12) des Weiteren die Pixel-Werte in einem verbleibenden Teil des Entfernungsbereiches auf andere Werte als die Pixel-Werte in dem Bild der Vorderfläche des Gesichtes entsprechend der Innenseite der Kopfkontur in dem Oberflächenmodell des Gesichtes ändert.
  6. Bildbearbeitungsvorrichtung nach Anspruch 3, wobei der Haarbereich-Auswählteil (11) das Haar und den Farbton des Haars in dem Entfernungsbereich auf Basis der Kopfkontur, der Augen und der Augenbrauen in dem Oberflächenmodell des Gesichtes auswählt.
  7. Bildbearbeitungsvorrichtung nach Anspruch 3, wobei der Haarbereich-Auswählteil (11) das Haar und den Farbton des Haars in dem Entfernungsbereich auf Basis der Helligkeit jedes Pixels in dem Bild der Vorderseite des Gewichtes auswählt.
  8. Bildbearbeitungsvorrichtung nach Anspruch 3, wobei der Haarbereich-Auswählteil (11) das Haar und den Farbton des Haars in dem Entfernungsbereich auf Basis der Helligkeit und der Sättigung jedes Pixels in dem Bild der Vorderseite des Gesichtes auswählt.
  9. Bildbearbeitungsvorrichtung nach einem der Ansprüche 3 bis 8, die des Weiteren einen Fluktuations-Erzeugungsteil zum Addieren einer spezifischen Fluktuations-Komponente zu jedem Pixel-Wert in dem Entfernungsbereich auf Basis von Farbinformationen wenigstens eines Pixels in dem Bild der Vorderseite des Gesichtes umfasst, wobei wenigstens ein Pixel in dem Bild der Vorderseite des Gesichtes nicht in dem Entfernungsbereich enthalten ist.
  10. Bildbearbeitungsvorrichtung nach einem der Ansprüche 3 bis 9, die des Weiteren einen Gesichts-Oberflächenmodell-Erzeugungsteil (101) zum Erzeugen des Oberflächenmodells des Gesichtes auf Basis des Bildes der Vorderseite des Gesichtes umfasst.
  11. Bildbearbeitungsvorrichtung nach einem der Ansprüche 1 bis 10, die des Weiteren umfasst: einen Bildregulierteil (191), der auf Basis des Oberflächenmodells und eines Informationsmodells, das strukturelle Informationen bezüglich einer Oberfläche einer anderen Person in einem Bezugsbild zeigt, das ein Bild der Vorderseite der anderen Person ist, eine bestimmte Umwandlung von Attributinformationen und des Bezugsbildes so durchführt, dass ein bestimmter Abschnitt der anderen Person an das Bild der Vorderseite angepasst werden kann, wobei die Attributinformationen Informationen sind, die in einem entsprechenden Attribut jedes Pixels in dem Bezugsbild zu dem Pixel enthalten sind, und einen Syntheseverarbeitungsteil (192), der das Bild der Vorderseite für einen bestimmten Abschnitt in dem Bezugsbild, in dem die bestimmte Umwandlung durchgeführt wird, entsprechend den Attributinformationen zuordnet, in denen die bestimmte Umwandlung durchgeführt wird.
  12. Bildbearbeitungsvorrichtung nach Anspruch 11, die des Weiteren einen Bildanzeigeteil (263) zum Anzeigen mehrerer Bilder der Vorderseite eines Gesichtes umfasst, die dem Kopfabschnitt durch den Kopf-Syntheseverarbeitungsteil (192) zugeordnet werden.
  13. Verfahren zum Bearbeiten von Bilddaten, das die folgenden Schritte umfasst: Auswählen eines Bereiches eines bestimmten Abschnitts in einem Bild einer Vorderseite einer Person, und Ändern jedes Pixel-Wertes in dem gesamten Bereich des bestimmten Abschnitts oder einem Teil desselben, dadurch gekennzeichnet, dass der Auswählschritt einen Bereich auf Basis jedes Pixel-Wertes in dem gesamten Bild der Vorderseite oder einem Teil derselben und ein Oberflächenmodell auswählt, das strukturelle Informationen bezüglich einer Oberfläche der Person in dem Bild der Vorderseite zeigt, und der Änderungsschritt einen Pixel-Wert auf Basis der strukturellen Informationen in dem Oberflächenmodell und wenigstens eines Pixel-Wertes in dem Bild der Vorderseite ändert.
DE69636695T 1995-02-02 1996-02-01 Bildverarbeitungsvorrichtung Expired - Lifetime DE69636695T2 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP1614395 1995-02-02
JP1614395 1995-02-02
JP7337195 1995-03-30
JP7337195 1995-03-30

Publications (2)

Publication Number Publication Date
DE69636695D1 DE69636695D1 (de) 2006-12-28
DE69636695T2 true DE69636695T2 (de) 2007-03-01

Family

ID=26352404

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69636695T Expired - Lifetime DE69636695T2 (de) 1995-02-02 1996-02-01 Bildverarbeitungsvorrichtung

Country Status (3)

Country Link
US (1) US6141431A (de)
EP (2) EP1501053A1 (de)
DE (1) DE69636695T2 (de)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5944530A (en) * 1996-08-13 1999-08-31 Ho; Chi Fai Learning method and system that consider a student's concentration level
AU5201698A (en) * 1996-11-12 1998-06-03 Mirror Software Corporation Imaging system for simulating hair styles
AUPO799197A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART01)
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6803989B2 (en) 1997-07-15 2004-10-12 Silverbrook Research Pty Ltd Image printing apparatus including a microcontroller
US7724282B2 (en) 1997-07-15 2010-05-25 Silverbrook Research Pty Ltd Method of processing digital image to correct for flash effects
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
AUPO850597A0 (en) 1997-08-11 1997-09-04 Silverbrook Research Pty Ltd Image processing method and apparatus (art01a)
SG129221A1 (en) * 1997-07-15 2007-02-26 Silverbrook Res Pty Ltd Digital image region detection method and apparatus
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
AUPO798697A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Data processing method and apparatus (ART51)
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
AUPO802797A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Image processing method and apparatus (ART54)
US6985207B2 (en) 1997-07-15 2006-01-10 Silverbrook Research Pty Ltd Photographic prints having magnetically recordable media
NL1007397C2 (nl) * 1997-10-30 1999-05-12 V O F Headscanning Werkwijze en inrichting voor het met een gewijzigd uiterlijk weergeven van tenminste een deel van het menselijk lichaam.
US7068835B1 (en) * 1997-11-28 2006-06-27 Minolta Co., Ltd. Data processing apparatus for processing a 3-dimensional data of an object and a method therefor
RU2000102890A (ru) * 1998-05-19 2002-03-27 Сони Компьютер Энтертейнмент Инк. (Jp) Устройство и способ обработки изображений и распространяемый носитель
WO1999060785A1 (fr) 1998-05-20 1999-11-25 Sony Computer Entertainment Inc. Dispositif et procede de traitement d'informations, et support de fourniture et d'enregistrement d'informations
US9792659B2 (en) * 1999-04-13 2017-10-17 Iplearn, Llc Computer-aided methods and apparatus to access materials in a network environment
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US6434269B1 (en) * 1999-04-26 2002-08-13 Adobe Systems Incorporated Smart erasure brush
AUPQ056099A0 (en) 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
FR2802678B1 (fr) 1999-12-21 2002-02-08 Oreal Systeme et procede d'analyse et de simulation previsionnelle de l'evolution temporelle d'une zone pileuse, et plus particulierement du cuir chevelu humain
FR2802679B1 (fr) * 1999-12-21 2002-02-08 Oreal Systeme et procede d'analyse et de simulation previsionnelle de l'evolution d'une zone pileuse, et plus particulierement du cuir chevelu humain
JP3542958B2 (ja) * 2000-07-03 2004-07-14 ファイルド株式会社 ヘアーデザインシステム及びその利用
US20030007700A1 (en) * 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Method and apparatus for interleaving a user image in an original image sequence
DE10142526C5 (de) * 2001-08-30 2006-02-16 Wella Ag Verfahren für eine Haarfarbberatung
US6977659B2 (en) * 2001-10-11 2005-12-20 At & T Corp. Texture replacement in video sequences and images
US7606435B1 (en) 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
EP1374720A1 (de) * 2002-06-26 2004-01-02 The Procter & Gamble Company Verfahren und Vorrichtung zum Vorhersagen des Ergebnisses einer Haarfärbung
SG120940A1 (en) * 2003-06-30 2006-04-26 Nanyang Polytechnic A method for displaying and modifying images of hair color
US20050133367A1 (en) * 2003-12-19 2005-06-23 Hsiung Shen K. Electrical urea biosensors and its manufacturing method
US7450122B2 (en) * 2004-03-25 2008-11-11 Pixar Volumetric hair rendering
JP4683200B2 (ja) * 2004-04-30 2011-05-11 花王株式会社 髪領域の自動抽出方法
US7483763B2 (en) * 2005-11-17 2009-01-27 Centertrak, Llc System and method for the digital specification of head shape data for use in developing custom hair pieces
KR100813168B1 (ko) * 2006-06-08 2008-03-17 삼성전자주식회사 사전 모양 정보를 이용한 디지털 영상에서의 물체를추출하기 위한 방법 및 상기 방법을 수행하는 시스템
JP4396692B2 (ja) * 2006-11-27 2010-01-13 セイコーエプソン株式会社 色変換装置、色変換方法、色変換プログラム、色変換プログラムを記録した記録媒体、及び画像処理装置、並びに画像表示装置
JP5290585B2 (ja) * 2008-01-17 2013-09-18 株式会社 資生堂 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体
CN101873465A (zh) * 2009-04-23 2010-10-27 鸿富锦精密工业（深圳）有限公司 影像加载***及方法
US8498456B2 (en) * 2009-07-13 2013-07-30 Stylecaster, Inc. Method and system for applying cosmetic and/or accessorial enhancements to digital images
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
JP5408037B2 (ja) * 2010-05-28 2014-02-05 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
US9025030B2 (en) 2010-06-08 2015-05-05 Cheryl Garcia Video system
US8983157B2 (en) * 2013-03-13 2015-03-17 Restoration Robotics, Inc. System and method for determining the position of a hair tail on a body surface
CN104484664B (zh) * 2014-12-31 2018-03-20 小米科技有限责任公司 人脸图片处理方法和装置
JP6458569B2 (ja) 2015-03-12 2019-01-30 オムロン株式会社 画像処理装置および画像処理方法
CN107016365A (zh) * 2017-04-01 2017-08-04 深圳天珑无线科技有限公司 图像处理方法及装置
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US4393394A (en) * 1981-08-17 1983-07-12 Mccoy Reginald F H Television image positioning and combining system
US4823476A (en) * 1986-08-12 1989-04-25 Curtin Marilyn A Method and apparatus for measuring physical attributes of a human body
US4872056A (en) * 1987-02-05 1989-10-03 Video Graphic Styling, Inc. Method for displaying selected hairstyles in video form
US5060171A (en) * 1989-07-27 1991-10-22 Clearpoint Research Corporation A system and method for superimposing images
JPH04199474A (ja) * 1990-11-29 1992-07-20 Matsushita Electric Ind Co Ltd 顔画像合成装置
EP0595808B1 (de) * 1991-07-19 1999-06-23 Princeton Video Image, Inc. Fernsehanzeigen mit ausgewählten eingeblendeten zeichen
JPH05196425A (ja) * 1992-01-21 1993-08-06 Ezel Inc 人間の３次元位置検出方法
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
US5577179A (en) * 1992-02-25 1996-11-19 Imageware Software, Inc. Image editing system
JP2751145B2 (ja) * 1993-12-15 1998-05-18 株式会社三城 眼鏡形状デザイン設計システム

Also Published As

Publication number Publication date
US6141431A (en) 2000-10-31
EP1501053A1 (de) 2005-01-26
EP0725364A2 (de) 1996-08-07
EP0725364B1 (de) 2006-11-15
DE69636695D1 (de) 2006-12-28
EP0725364A3 (de) 1996-08-14

Similar Documents

Publication Publication Date Title
DE69636695T2 (de) Bildverarbeitungsvorrichtung
DE69922898T2 (de) Verfahren zur dreidimensionalen Gesichtsmodellerzeugung aus Gesichtsbildern
DE69832663T2 (de) Verfahren zum Erstellen von photo-realistischen beweglichen Figuren
DE69800839T2 (de) Verfahren und vorrichtung zur darstellung mindestens eines teils des menschlichen körpers mit einem modifizierten aussehen
DE69807479T2 (de) Erzeugung eines Bildes eines dreidimensionalen Objekts
DE69430496T2 (de) Gesichtsbilddatenverarbeitungseinrichtung und Verfahren
DE69303468T2 (de) Speicherbasierte verfahren und geraet fuer rechnergraphik
DE3689851T2 (de) Verfahren und Gerät zur gekrümmten Oberflächenerzeugung.
DE69815155T2 (de) Virtuelle orthodontische zahnbehandlung
KR100327541B1 (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
DE60101540T2 (de) Verfahren zur Animation eines künstlichen Modells eines menschlichen Gesichts unter Verwendung akustischer Signale
DE69833999T2 (de) Verfahren zur automatischen erkennung menschlicher augen in digitalbildern
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE69802802T2 (de) Verfahren und vorrichtung zum ändern der farbe eines bildes
DE69815687T2 (de) Verfahren und vorrichtung zur texturabbildung und andere anwendungen von skalarfeldern auf unterteilungsoberflächen in rechnergraphik und animation
DE60211789T2 (de) Verfahren zum Messen volumetrischer Veränderungen an menschlichen Körperteilen
DE69830767T2 (de) Verfahren und Vorrichtung zum Zusammensetzen geschichteter synthetischer graphischer Filter
DE3750784T2 (de) Generation eines intrapolierten charakteristischen Wertes zur Anzeige.
DE69428239T2 (de) Verfahren und Vorrichtung zum Extrahieren bestimmter Gebiete
DE69531316T2 (de) Vorrichtung zur Erzeugung eines Bildes durch Kombination von Teilbildern
DE69222099T2 (de) Verfahren und Gerät zur Identifizierung und Klassifikation
DE69521155T2 (de) Bildanzeigeverfahren und -gerät
DE112017007303B4 (de) Gesichtserkennungsvorrichtung
DE60207367T2 (de) Verfahren und Vorrichtung zur Texturerzeugung für ein 3-D Gesichtsmodell
DE19827017A1 (de) Digitales Fotografie-Bearbeitungssystem

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: PANASONIC CORP., KADOMA, OSAKA, JP