TWI727065B - 臉部影像處理系統、臉部影像處理方法、及臉部影像處理程式 - Google Patents

臉部影像處理系統、臉部影像處理方法、及臉部影像處理程式 Download PDF

Info

Publication number
TWI727065B
TWI727065B TW106121716A TW106121716A TWI727065B TW I727065 B TWI727065 B TW I727065B TW 106121716 A TW106121716 A TW 106121716A TW 106121716 A TW106121716 A TW 106121716A TW I727065 B TWI727065 B TW I727065B
Authority
TW
Taiwan
Prior art keywords
component
aforementioned
facial image
removal rate
facial
Prior art date
Application number
TW106121716A
Other languages
English (en)
Other versions
TW201810178A (zh
Inventor
荒川薰
築山文彥
Original Assignee
學校法人明治大學
日商高絲股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 學校法人明治大學, 日商高絲股份有限公司 filed Critical 學校法人明治大學
Publication of TW201810178A publication Critical patent/TW201810178A/zh
Application granted granted Critical
Publication of TWI727065B publication Critical patent/TWI727065B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

臉部影像處理系統係具備：成分抽出手段，輸入表現臉部影像的臉部影像資訊，並自前述臉部影像資訊抽出前述臉部影像的皺紋成分、斑點成分及毛孔成分；去除率調整手段，對於以此成分抽出手段抽出之皺紋成分、斑點成分及毛孔成分調整各自的去除率；儲存手段，儲存前述去除率；合成手段，將藉由以前述去除率調整手段調整的去除率各自增減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像；及輸出手段，輸出藉由前述合成手段合成的臉部影像資訊。

Description

臉部影像處理系統、臉部影像處理方法、及臉部影像處理程式
本發明係關於輸入臉部影像資訊並實施影像處理再輸出的臉部影像處理系統、臉部影像處理方法及臉部影像處理程式。
已知有臉部影像合成裝置，其係輸入表現人的臉部影像的臉部影像資訊，並對於此臉部影像資訊實施影像處理，輸出經處理成看起來與實際的臉部影像不同的臉部影像（例如，參照專利文獻1）。此臉部影像合成裝置係例如進行如下的影像處理。
臉部影像合成裝置係自多個人的臉部影像檢測出斑點或皺紋，生成對應年齡或年齡層的年齡形狀特徵，並自多個人的斑點或皺紋製作對應年齡或年齡層的斑點模型或皺紋模型。另一方面，自對象者的臉部影像抽出無斑點或皺紋的臉部形狀，並且此臉部形狀係根據年齡形狀特徵被變形。
此外，斑點模型或皺紋模型中對應被指定之年齡或年齡層的斑點模型或皺紋模型以符合被變形之臉部形狀的方式被變形，此被變形之斑點模型或皺紋模型被適用於對象者的臉部影像。藉由如此處理，可將對象者的臉部形狀進行年齡操作變成對應被指定年齡或年齡層的臉部形狀，而可將對象者的臉部影像進行年齡操作變成對應所期望年齡或年齡層之自然的臉部影像。 先行技術文獻 專利文獻
專利文獻1：日本國專利第4682373號公報
發明欲解決的課題
然而，在上述之先前技術的臉部影像合成裝置中，係將根據多個人的臉部影像製作的年齡形狀特徵或者斑點模型或皺紋模型，藉由適用於抽出自對象者臉部影像的無斑點或皺紋的臉部形狀來合成臉部影像。因此，很難稱得上是提供了對象者所尋求之理想中的自然臉部影像。
本發明係有鑑於上述情況而得者，目的在於提供一種臉部影像處理系統、臉部影像處理方法及臉部影像處理程式，可自由生成對對象者而言符合理想之較自然的臉部影像。
用以解決課題的手段
本發明之臉部影像處理系統係具備：成分抽出手段，輸入表現臉部影像的臉部影像資訊，並自前述臉部影像資訊抽出前述臉部影像的皺紋成分、斑點成分及毛孔成分；去除率調整手段，對於以此成分抽出手段抽出之皺紋成分、斑點成分及毛孔成分調整各自的去除率；儲存手段，儲存前述去除率；合成手段，將藉由以前述去除率調整手段調整的去除率各自增減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像；及輸出手段，輸出藉由前述合成手段合成的臉部影像資訊。
在本發明的實施形態之一中，設有臉部區域抽出手段，抽出表示有被輸入的影像資訊所包含之輸入臉部影像的眼區域、鼻區域及口區域中至少一個區域被排除的前述臉部影像。
在本發明另外的實施形態中，前述成分抽出手段係具備：濾波器手段，將表現前述被輸入之前述臉部影像的臉部影像資訊，在振幅-頻率空間中分割成第一成分、第二成分、第三成分、第四成分及第五成分，並抽出前述第四成分；及成分辨識手段，根據藉由前述濾波器手段抽出的前述第四成分，辨識前述臉部影像內的皺紋成分、斑點成分及毛孔成分，並判別各成分在前述臉部影像內的出現位置及形狀。
在本發明另外的實施形態中，前述去除率調整手段係對前述皺紋成分、斑點成分及毛孔成分進行加權來調整前述各成分在前述臉部影像內的去除率。
本發明另外的實施形態中，前述合成手段係根據前述儲存手段所儲存之去除率，將對應前述皺紋成分、斑點成分及毛孔成分的第四成分，與藉由前述濾波器手段分割出來的前述第一成分、第二成分、第三成分及第五成分與被輸入的前述臉部影像資訊（輸入臉部影像資訊x（n））進行合成。
在本發明另外的實施形態中，在前述合成手段的後段具備：膚色抽出手段，抽出前述臉部影像資訊之明亮度及顏色資訊中至少一個為指定範圍的膚色區域；臉色處理手段，具有使藉由前述膚色抽出手段抽出之膚色區域內的膚色色調產生變化的色調調整手段。
在本發明另外的實施形態中，自前述輸出手段輸出的臉部影像資訊係生成多個，並且前述輸出手段係具備：輸入手段，根據所生成之多個臉部影像資訊，將多個候補臉部影像顯示在顯示手段的顯示畫面上，並自前述顯示的多個候補臉部影像中，受理由使用者指定之期望的候補臉部影像選擇指示及最終的候補臉部影像決定指示中的任一者；及演算手段，在藉由前述輸入手段受理前述候補臉部影像選擇指示的情況下，根據表現被選擇之候補臉部影像的臉部影像資訊，將前述成分抽出手段、前述去除率調整手段及前述臉色處理手段中各處理的參數，根據遺傳演算法進行交叉處理及突變處理再藉由互動演化式計算 來設定；其中前述成分抽出手段、前述去除率調整手段及前述臉色處理手段係在到藉由前述輸入手段受理前述候補臉部影像的決定指示為止，重複進行根據藉由前述演算手段設定之參數生成臉部影像資訊的動作。
在本發明另外的實施形態中，在藉由前述輸入手段受理前述候補臉部影像決定指示的情況下，前述儲存手段將用以生成表現已決定之候補臉部影像的臉部影像資訊的前述參數儲存為基準參數。
本發明之臉部影像處理方法，為具備成分抽出手段、去除率調整手段、儲存手段、合成手段及輸出手段之臉部影像處理系統中的臉部影像處理方法，其係具備：藉由前述成分抽出手段，自表現被輸入之臉部影像的臉部影像資訊抽出前述臉部影像之皺紋成分、斑點成分及毛孔成分的程序；藉由前述去除率調整手段，對於被抽出之皺紋成分、斑點成分及毛孔成分調整各自之去除率的程序；藉由前述儲存手段，儲存前述去除率的程序；藉由前述合成手段，將藉由調整前述去除率的程序所調整的去除率而各自増減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像的程序；及藉由前述輸出手段，將所合成之臉部影像資訊輸出的程序。
本發明之臉部影像處理程式，為用以在具有具備成分抽出手段、去除率調整手段、儲存手段、合成手段及輸出手段之電腦的臉部影像處理系統中執行臉部影像處理的臉部影像處理程式，其係使前述電腦執行以下步驟：藉由前述成分抽出手段，自表現被輸入之臉部影像的臉部影像資訊抽出前述臉部影像之皺紋成分、斑點成分及毛孔成分的步驟；藉由前述去除率調整手段，對於被抽出之皺紋成分、斑點成分及毛孔成分調整各自之去除率的步驟；將前述去除率儲存至前述儲存手段的步驟；藉由前述合成手段，將藉由調整前述去除率的步驟所調整的去除率而各自増減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像的步驟；及藉由前述輸出手段，將所合成之臉部影像資訊輸出的步驟。
發明效果
根據本發明可自由生成對對象者而言符合理想之較自然的臉部影像。
以下參照附圖，詳細說明本發明之實施形態的臉部影像處理系統、臉部影像處理方法及臉部影像處理程式。但以下的實施形態，非限定各申請專利範圍的發明者，此外，在實施形態中說明之特徵的所有組合非發明之解決手段所必須，在該領域具有通常知識者可在本發明的技術思想範圍內做出許多變形。
圖1係表示本發明第一實施形態之臉部影像處理系統的整體結構的方塊圖。此外，圖2係表示此臉部影像處理系統之演算手段的結構的方塊圖。再者，圖3係表示此臉部影像處理系統之臉部影像處理部的內部結構的方塊圖，圖4係表示此臉部影像處理部中的非線性函數例的圖。
如圖1所示，第一實施形態之臉部影像處理系統係在電腦或工作站等硬體的演算手段2上被實現者。此外，臉部影像處理系統具備輸入手段1、輸出手段3、及儲存手段4。輸入手段1係由可使用於數值、文字或各種指示等之操作輸入的具有多個操作鍵的鍵盤、滑鼠、觸控面板、及遙控器等輸入裝置；以及數位相機或掃描器等取得影像資訊並輸入的影像輸入裝置等構成。
輸出手段3係由與各種資訊一起將基於臉部影像資訊的臉部影像顯示在顯示畫面上的顯示器等影像輸出裝置、或將基於臉部影像資訊之臉部影像印刷輸出到媒體上的影像印刷裝置等構成。儲存手段4係與儲存各種資訊或參數等的RAM或ROM一起由SSD、磁碟機、光碟機、記憶卡等儲存裝置及儲存媒體構成。
另一方面，演算手段2係如圖2所示，例如可發揮臉部區域抽出部5的功能，其係自表現包含在被輸入之輸入臉部影像資訊x（n）的對象者（使用者）的臉部影像（以下稱為「對象臉部影像」）的輸入臉部影像，抽出表示其眼區域、鼻（或鼻孔）區域及口區域中至少一個區域（以下稱為「排除區域」）被排除之臉部區域的臉部影像（以下稱為「臉部區域影像」）。此外，演算手段2亦可發揮臉部影像處理部10的功能，其係與輸入臉部影像一起輸入表現此臉部區域影像或排除區域的排除區域影像（影像資料），並進行基於此等的各種影像處理。
首先，臉部區域抽出部5係自輸入臉部影像資訊x（n）的輸入臉部影像，辨識此臉部影像所包含之對象者的對象臉部影像。輸入臉部影像資訊x（n）例如由BMP、JPEG、GIF、PNG、RAW等影像格式構成。在對象臉部影像的辨識中，例如可使用拉普拉斯濾波器等的輪廓檢測濾波器。
接著，臉部區域抽出部5係藉由公知的臉部部分特徵點抽出法等，辨識表現已辨識對象臉部影像之輸入臉部影像的排除區域，並抽出將此排除區域排除的臉部區域影像。另外，在本實施形態中，欲將眼區域、鼻區域及口區域全部定為排除區域。如此的排除區域係由於雖可抽出皺紋、斑點及毛孔等成分，但預先自輸入臉部影像排除的話，便可減輕臉部影像處理負荷。此外，排除區域係除了上述部分以外亦可任意設定。而且，臉部區域抽出部5係例如與臉部區域影像一起將排除區域影像輸出至臉部影像處理部10。
另外，由於臉部區域抽出部5並非臉部影像處理系統所必須的結構，因此亦可省略。但，在省略臉部區域抽出部5的情況，在後段的臉部影像處理部10中關於臉部影像之處理的工作會増加而有負荷增加的情況。此外，即使在臉部區域抽出部5將排除區域排除的情況，如圖2及圖3所示，亦可在臉部影像處理部10中使排除區域影像與臉部區域影像一起被處理。
臉部影像處理部10係如圖3所示具備成分抽出部16，與被輸入之輸入臉部影像一起，基於來自臉部區域抽出部5的臉部區域影像（及排除區域影像），抽出對象臉部影像的皺紋成分、斑點成分及毛孔成分。此外，具備成分調整部13，其係具有對於在此成分抽出部16被抽出的皺紋成分、斑點成分及毛孔成分調整各自之去除率的去除率調整部13a、13b、13c。
此外，臉部影像處理部10係具備合成部14，其係生成將輸入臉部影像、或其結構成分或指定成分、臉部區域影像、排除區域影像等與藉由在成分調整部13中的各去除率調整部13a至13c中所調整的去除率而各自增幅或衰減的皺紋成分、斑點成分及毛孔成分一起合成並輸出的臉部影像（以下稱為「輸出臉部影像」）。另外，成分調整部13中之各去除率調整部13a至13c的去除率係透過輸入手段1儲存在由對象者選擇或指定的儲存手段4。此去除率係表示例如在正的值為増幅方向之各成分的表現（附加或去除）比例，此外在負的值為衰減方向之各成分的表現比例。此外，表現藉由合成部14合成之輸出臉部影像的輸出臉部影像資訊y（n）係藉由輸出手段3輸出。
臉部影像處理部10的成分抽出部16係具備：ε-濾波器組A11a及ε-濾波器組B11b（以下若無特別說明則將此等一併稱為「ε-濾波器組11」），將被輸入之輸入臉部影像資訊（x（n））在振幅-頻率空間中分割成指定成分並抽出的濾波器手段；及成分辨識部A12a及成分辨識部B12b（以下若無特別說明則將此等一併稱為「成分辨識部12」），根據藉由此ε-濾波器組11抽出之指定成分，判別並辨識對象臉部影像的皺紋成分、斑點成分及毛孔成分。
ε-濾波器組11係發揮濾波器手段的功能，具體而言，將輸入臉部影像資訊x（n）在振幅-頻率空間分割為例如表示臉部影像之結構成分的第一成分（y1（n））及第二成分（y2（n））；表示臉部影像之皮膚的指定成分的第三成分（y3（n））、第四成分（y4（n））、以及第五成分（y5（n））。
然後，在本實施形態中，ε-濾波器組11在抽出第四成分並輸出至成分辨識部12的同時，將第一成分、第二成分、第三成分及第五成分輸出至合成部14。成分辨識部12係根據被抽出之被輸入的第四成分，辨識對象臉部影像內的皺紋成分、斑點成分及毛孔成分，並判別此等各成分在對象臉部影像內的出現位置及形狀。
具體而言，ε-濾波器組A11a係自輸入臉部影像資訊x（n）抽出第四成分並輸出至成分辨識部A12a。成分辨識部A12a係將臉部區域影像與第四成分一起輸入，以上述方式辨識並判別皺紋成分，將此皺紋成分輸出。此外，ε-濾波器組B11b係自被輸入至加減器6的輸入臉部影像資訊x（n）減去來自成分辨識部A12a之皺紋成分，然後自前者進一步抽出第四成分並輸出至成分辨識部B12b。成分辨識部B12b係將臉部區域影像與第四成分一起輸入，以上述方式辨識並判別斑點成分與毛孔成分，並將此等斑點成分及毛孔成分輸出。
然後，後段的成分調整部13的去除率調整部13a係對自成分辨識部A12a輸出的皺紋成分進行加權，調整皺紋成分在臉部影像內的去除率。此外，去除率調整部13b係對自成分辨識部B12b輸出的斑點成分進行加權，調整斑點成分在臉部影像內的去除率。再者，去除率調整部13c係對自成分辨識部B12b輸出的毛孔成分進行加權，調整毛孔成分在臉部影像內的去除率。另外，加權為去除率調整方式的一例，並非被限定為此者。此外，在成分調整部13調整之各自的去除率被儲存在儲存手段4。
然後，合成部14係在輸入作為自ε-濾波器組11輸出的臉部影像之結構成分的第一及第二成分（y1（n）、y2（n））、第三成分（y3（n））以及第五成分（y5（n））及／或輸入臉部影像情報x（n）的同時，根據被儲存在儲存手段4的去除率，輸入在成分調整部13的各去除率調整部13a至13c中，例如藉由去除率各自増減而被調整的皺紋成分、斑點成分及毛孔成分。如此，合成部14在可將被輸入之第一、第二、第三、第五成分、及／或輸入臉部影像資訊x（n），加上（合成）皺紋成分、斑點成分及毛孔成分的同時，加上（合成）臉部區域抽出部5被抽出之臉部區域影像或被排除的排除區域影像而生成輸出臉部影像，並輸出表現此臉部影像的輸出臉部影像資訊y（n）。
另外，ε-濾波器組11更具體而言，係由ε-分離型非線性濾波器組構成。然後，濾波器手段係除了ε-濾波器組11之外，亦可藉由使用了各種非線性濾波器的濾波器組來構成。在此，首先說明關於ε-濾波器組11所使用之ε-濾波器的原理。
在本實施形態之臉部影像處理系統的臉部影像處理部10中，首先，例如將分別於第n時間點下被輸入之輸入臉部影像資訊定義為輸入訊號x（n），並將被輸出之輸出臉部影像資訊定義為輸出訊號y（n）。然後，ε-濾波器係藉由將非線性函數F導入至由下式（1）構成的非遞迴型低通濾波器而被實現，並表現成如下式（2）。
[數1]
Figure 02_image001
[數2]
Figure 02_image003
另外，在上述的式（1）、（2）中，ai係總和會為1的非遞迴型低通濾波器係數，F為如圖4所示的非線性函數，其絕對值被限制為在某值ε以下。此時，輸入訊號x（n）與輸出訊號y（n）之間的差，被限制為如下式（3）的某值ε’以下。
[數3]
Figure 02_image005
此外，在此時，尤其若所有的ai為正值，則ε’=ε。在輸入訊號包含振幅夠小之可加性高頻率噪音的情況下，若將ε設定成約為噪音的振幅峰間值，則其噪音在藉由上述式（1）表現的低通濾波器中被變得平滑。此外，由於輸出訊號會變成輸入訊號±ε以內，因此可在保持大的振幅變化的同時排除噪音。
圖5係表示臉部影像處理系統之臉部影像處理部中的ε-濾波器及線性低通濾波器之振幅-頻率空間的分割例的圖。在如此的ε-濾波器中，如圖示，可獲得輸入時之低頻率成分或大振幅成分為輸出訊號y（n），相對於此，可獲得振幅ε以下的小振幅高頻率成分為x（n）-y（n）。
藉此，若將x（n）-y（n）表現為u（n），則此ε-濾波器係對於輸入訊號x（n），將其振幅-頻率空間以如圖5（a）所示的方式分割。另外，一般的線性低通濾波器係相當於將其振幅-頻率空間以如圖5（b）所示的方式分割者。
圖6係表示臉部影像處理系統之臉部影像處理部中的ε-濾波器組的結構的圖。若如上述將ε-濾波器組合成濾波器組，則可因應其振幅-頻率將其輸入訊號x（n）分割成多個區域。在此，如圖6所示，ε-濾波器組11（11a，11b）係由線性低通濾波器與ε-濾波器組合而成的結構所構成。
在此ε-濾波器組11中，圖6所示之L係線性低通濾波器，E1、E2、E3為ε-濾波器。此等各濾波器為二維濾波器，或為水平、垂直方向一維濾波器的組合，令n為表現二維平面的像素位置（i，j）者。
另外，各輸出訊號y1（n）、y2（n）、y3（n）、y4（n）、y5（n）的總和係等於輸入訊號x（n），可令線性低通濾波器L與ε-濾波器E2的視窗尺寸皆為w0，進一步可令ε-濾波器E1、E3的視窗尺寸亦等於w1。此外，各ε-濾波器E1、E2、E3的值ε（依此順序定義為ε1、ε2、ε3），可使其關係為ε1＞ε2＞ε3。
圖7係表示相同臉部影像處理系統之臉部影像處理部中，ε-濾波器組之振幅-頻率空間中，臉部影像資訊各成分之分割例的圖。此外，圖8係表示在藉由被輸入至臉部影像處理系統之臉部影像處理部的臉部影像資訊所表現的臉部影像處理之前的臉部影像例的圖。
另外，在圖8以後的臉部影像中，影像內的兩眼部分被顯示成隱藏起來的狀態，但實際上亦可將兩眼部分顯示出來，再者在圖示例為以上述之排除區域的部分亦全部包含在內的狀態顯示者。如上述方式所構成的ε-濾波器組11係將輸入訊號x（n）的振幅-頻率空間分割成例如如圖7所示的各區域。
此外，在表現如圖8所示之輸入臉部影像30的臉部影像資訊中，例如眼、鼻、口、眉等臉部的主要部分（亦即，眼區域、鼻區域及口區域等）係已知一般會以大振幅訊號的方式表現。此外，臉部的基礎（結構）部分（例如，臉頰等）係以低頻率訊號的方式表現。
再者，臉部的皮膚皺紋（尤其是小皺紋）部分或斑點部分等可能成為損害皮膚美觀因素的部分係以較小振幅而頻率高之訊號的方式表現。再者還有，臉部皮膚之自然凹凸的毛孔成分係以振幅更小之高頻率訊號的方式表現。在此，在本實施形態之臉部影像處理系統的臉部影像處理部10中，ε-濾波器組11係將輸入訊號x（n）例如在如圖7所示的振幅-頻率空間進行分割。
亦即，ε-濾波器組11係將輸入訊號x（n）分割成表示臉部影像之結構成分的第一成分y1（n）及第二成分y2（n）；及表示臉部影像之皮膚指定成分的第三成分y3（n）、第四成分y4（n）、第五成分y5（n）。
然後，抽出表示臉部影像之皮膚指定成分的第四成分y4（n）。另外，根據抽出出的第四成分y4（n），例如可在通過ε-濾波器組A11a的階段構成（生成）可自原本的輸入臉部影像30抽出皮膚皺紋成分並顯示的皺紋成分抽出顯示臉部影像。此外，可在通過ε-濾波器組B11b的階段構築（生成）分別表現可自原本的輸入臉部影像30分別抽出皮膚的斑點成分及毛孔成分並顯示的斑點成分抽出顯示臉部影像及毛孔成分抽出顯示臉部影像的臉部影像資訊。
具體而言，在圖6所示之ε-濾波器組11中，將線性低通濾波器L及ε-濾波器E1、E2、E3的視窗尺寸w0、w1，及ε-濾波器E1、E2、E3的值ε1、ε2、ε3分別設定成適當的值。如此一來，如圖7所示，可令第一及第二成分y1（n）、y2（n）為臉部的主要部分及基礎（結構）部分，第三成分y3（n）、第四成分y4（n）、第五成分y5（n）為皮膚指定成分。
在此，視窗尺寸w0為畫分第三成分y3（n）與第一成分y1（n）的頻率帶者，視窗尺寸w1為畫分第三成分y3（n）與第五成分y5（n）的頻率帶者。此外，令ε-濾波器E1的ε值ε1大約為第四成分y4（n）之振幅（峰間值）的最大值，ε-濾波器E2的ε值ε2大約為第三成分y3（n）之振幅（峰間值）的最大值，ε-濾波器E3的ε值ε3大約為第五成分y5（n）之振幅（峰間值）的最大值。
在如此構成的ε-濾波器組A11a中，如上述方式表示來自輸入訊號x（n）之臉部影像的主要部分及基礎（結構）部分的第一及第二成分y1（n）、y2（n）係在被分割後輸入至合成部14。此外，在ε-濾波器組A11a中，表示來自輸入訊號x（n）之臉部影像的皮膚指定成分的第三、第四及第五成分y3（n）、y4（n）、y5（n）係被分割，第三及第五成分y3（n）、y5（n）在第四成分y4（n）被抽出並輸入至成分抽出部16之成分辨識部A12a的同時，被輸入至合成部14。
此外，在ε-濾波器組B11b中，如上述方式在加減器6中來自從輸入臉部影像減去皺紋成分之輸入訊號x（n）的臉部影像的第一至第五成分y1（n）至y5（n）係在被分割後，第四成分y4（n）在第一、第二、第三、第五成分y1（n）、y2（n）、y3（n）、y5（n）被輸入至合成部14的同時，被抽出並輸入至成分抽出部16的成分辨識部B12b。
成分辨識部A12a係先根據被輸入之第四成分y4（n），辨識臉部影像內的皺紋成分。接著，成分辨識部B12b根據被輸入之第四成分y4（n），辨識臉部影像內的斑點成分及毛孔成分。
亦即，此等各成分係在成分辨識部12中、例如掃描第四成分y4（n）及臉部區域影像所構成之臉部影像的所有像素，並將明亮度值為負值辨識為黑色部分。然後，被辨識為各成分的部分，例如依據其部分之像素數團塊的像素集團（像素群）的面積及像素的分散分布，被分為毛孔成分、斑點成分、及皺紋成分，並判別此等各成分在臉部影像內的出現位置及形狀。
圖9係用以說明臉部影像處理系統之臉部影像處理部中，在成分辨識部的皺紋成分、斑點成分及毛孔成分的辨識判別方法的圖。如圖9所示，例如毛孔成分與斑點成分的判別係根據像素群的面積來進行。亦即，被辨識成黑色部分的各成分中，在將毛孔成分與皺紋成分進行比較的情況，像素群的面積如圖示之較小者被判別成毛孔成分，像素群的面積如圖示之較大者被判別成斑點成分。
另一方面，例如斑點成分與皺紋成分的判別，係根據自像素群中心點的分散分布的大小來進行。亦即，被辨識成黑色部分的各成分中，在比較斑點成分與皺紋成分的情況，自像素群中心點P2的分散分布為較小者被判別成斑點成分，自像素群中心點P1的分散分布為較大者被判別成皺紋成分。
另外，關於被判別成斑點成分的部分，藉由進一步與指定的閾值等進行比較，例如亦可分割成大的斑點成分及小的斑點成分。各成分在臉部影像內的出現位置及形狀係在判別時自動辨識。抽出並顯示如此被辨識判別之各成分的抽出顯示臉部影像係如以下所述。
圖10係表示臉部影像處理系統之臉部影像處理部中，抽出並顯示在成分辨識部被判別之各成分的臉部影像的圖。若將在成分辨識部12分別抽出並顯示各成分的臉部影像，顯示在例如輸出手段3之一的顯示器的顯示畫面上，則各臉部影像會以以下方式顯示。
亦即，相當於將皺紋成分抽出並顯示之「皺紋影像」的皺紋成分抽出顯示臉部影像30a係變成如圖10（a）所示。此外，相當於將毛孔成分抽出並顯示之「毛孔影像」的毛孔成分抽出顯示臉部影像30b係變成如圖10（b）所示。再者，相當於將斑點成分抽出並顯示之「斑點影像」的斑點成分抽出顯示臉部影像30c係變成如圖10（c）所示。
另外，雖然省略圖示，但在本實施形態的臉部影像處理系統中，可採用如以下的方法，作為在辨識判別上述各成分時提高精度的方法。首先，令ε-濾波器組A11a與ε-濾波器組B11b的參數不同，接著令藉由ε-濾波器組B11b抽出的第四成分y4（n）包含有較低的頻率。然後，在成分辨識部A12a與成分辨識部B12b進行如下的處理。
亦即，首先在成分辨識部A12a，在臉部區域影像中的處理對象區域中，（1）將第四成分y4（n）為指定的閾值TH1 以下的像素變成黑色，其他的像素變成白色。接著，（2）標記黑色的像素塊。然後，（3）將標籤L的塊的像素數定為nL ，並將空間分散定為vL 。最後，若vL /nL 較指定的閾值TH2 大的話，則將對應標籤L的第四成分y4（n）的訊號辨識為皺紋成分，並判別出現位置及形狀抽出皺紋成分。藉此，可生成自輸入臉部影像完全抽出出皺紋成分的皺紋成分抽出顯示臉部影像。
然後，藉由自輸入臉部影像資訊x（n）扣除抽出出皺紋成分的臉部影像可生成皺紋成分排除顯示臉部影像，例如將此輸入至ε-濾波器組B11b進行再解析。之後，在成分辨識部B12b，在臉部區域影像中的處理對象區域中，（1）將第四成分y4（n）為指定的閾值TH3 以下的像素變成黑色，其他的像素變成白色。接著，（2）標記黑色的像素塊。然後，（3）將標籤L的塊的像素數定為nL ，並將空間分散定為vL 。
再者，若（4-1）nL 較指定的閾值TH4 大，且vL /nL 較指定的閾值TH5 小的話，則將對應標籤L的第四成分y4（n）的訊號辨識為斑點成分，並判別出現位置及形狀，抽出斑點成分。藉此，可生成自輸入臉部影像完全抽出出斑點成分的斑點成分抽出顯示臉部影像。此外，藉由自輸入臉部影像資訊x（n）扣除抽出出斑點成分的臉部影像，可生成斑點成分排除顯示臉部影像。
另一方面，若（4-2）nL 為1以上且較指定的閾值TH6 小，且vL /nL 較指定的閾值TH7 小的話，則將對應標籤L的第四成分y4（n）的訊號辨識為毛孔成分，並判別出現位置及形狀，抽出毛孔成分。藉此，可生成自輸入臉部影像完全抽出出毛孔成分的毛孔成分抽出顯示臉部影像。此外，藉由自輸入臉部影像資訊x（n）扣除抽出出毛孔成分的臉部影像，可生成毛孔成分排除顯示臉部影像。
如此方式，只要以先抽出出皺紋成分後，再抽出斑點成分及毛孔成分的方式來處理，便可更提高各成分的辨識判別精度，而可生成以更高精度抽出並顯示各成分的各抽出顯示臉部影像30a至30c等。但，如上述的皺紋成分、斑點成分及毛孔成分的辨識、抽出順序為舉例，各成分的辨識、抽出順序可適當變更。
如此一來，在成分辨識部12被辨識判別為臉部影像內成分的皺紋成分、斑點成分及毛孔成分係被輸出至成分調整部13，且在各去除率調整部13a至13c中進行例如加權，分別調整臉部影像內的去除率。在成分調整部13中，例如任意或隨機地調整各成分的去除率，其去除率被儲存在儲存手段4。
然後，經調整去除率的皺紋成分、斑點成分及毛孔成分係被輸入至合成部14，在此合成部14中藉由各成分的去除率而各自増減的皺紋成分、斑點成分、毛孔成分係與輸入臉部影像資訊x（n）或第一、第二、第三及第五成分一起被合成。藉此，生成在最後任意或隨機地依照去除率表現（排除或附加）皺紋成分、斑點成分及毛孔成分的各成分的多個候補臉部影像。另外，在開始臉部影像處理時最早生成的多個候補臉部影像，係可在顯示器的顯示畫面上顯示為例如第一世代的候補臉部影像。
圖11係表示臉部影像處理系統中，被顯示在顯示畫面上之候補臉部影像的顯示態樣的圖。如圖11所示，在顯示畫面上的窗格20內，顯示有隨機表現例如皺紋、斑點及毛孔之各成分的第一世代的多個（在此為十個）候補臉部影像31、32、33、34、35、36、37、38、39、40。此外，在窗格20的右端部，顯示有面板顯示部20a。在此面板顯示部20a，顯示有例如OK鍵21、22；選擇訊息顯示欄23a、23b；候補臉部影像號碼顯示欄25；及返回鍵26、27。在候補臉部影像號碼顯示欄25，顯示有對應候補臉部影像31至40的號碼1至10。此外，在選擇訊息顯示欄23a，顯示有「請從十張之中選出三張」的文字訊息。再者，在選擇訊息顯示欄23b，顯示有「決定最終候補？」的文字訊息。
另外，使用者使用輸入手段1之一的鍵盤或滑鼠等經由選擇框24或候補臉部影像號碼顯示欄25而選擇的候補臉部影像，係例如在以被選擇框24圍住的狀態顯示的同時，在候補臉部影像號碼顯示欄25中以所述候補臉部影像號碼被圈起來的狀態顯示。亦即，候補臉部影像的選擇係使用者藉由滑鼠等移動選擇框24來選擇，或是藉由選擇候補臉部影像號碼顯示欄25內的候補臉部影像號碼的方式來進行。在圖11所示的例子中，藉由選擇框24及候補臉部影像號碼顯示欄25，表示候補臉部影像33、38、39的三張影像被使用者選擇的狀態。在此狀態下，若選擇並按下OK鍵21，便會選出三張候補臉部影像。另一方面，若在以選擇框24等選擇例如一張最終候補臉部影像的狀態選擇並按下OK鍵22，便會選擇並決定最終候補臉部影像。另外，返回鍵26、27係在要回到上個畫面或上個處理時選擇並按下。
然後，若選擇並按下OK鍵21而進行了候補臉部影像的選擇，根據使用者所選擇的候補臉部影像33、38、39，進行次世代之候補臉部影像的生成動作。另外，在此情況下，在成分抽出部16中的成分抽出處理、成分調整部13中的去除率調整處理等各處理中所使用的上述去除率參數、視窗尺寸w0、w1或ε值ε1、ε2、ε3等各種參數，係可藉由例如使用了公知的遺傳演算法（Genetic Algorithm；GA）的互動演化式計算（Interactive Evolutionary Computation；IEC）來設定最佳值。
另外，如此的最佳值設定係非被限定為藉由使用遺傳演算法的互動演化式計算而得者，亦可藉由其他各種計算方式來設定。在此，簡單說明關於根據使用公知的遺傳演算法的互動演化式計算來進行的交叉處理及突變處理。
在本實施形態之臉部影像處理系統中，在使用GA的IEC中，首先作為前提，例如將上述去除率的參數；視窗尺寸w0、w1；ε值ε1、ε2、ε3；或其他的各種參數連結起來成為二進制表達式。然後，將已連結者定義為一個染色，並將其染色體定義為表現一個個體者。
接著，將GA適用於如此表現的個體。首先，關於交叉處理，關於被選擇的三個候補臉部影像33、38、39，例如將隨機交叉兩個影像的動作進行多次（在此為兩次），結果會生成多個（在此為四個）交叉後的候補臉部影像。藉此，生成將各個影像的嗜好性（喜好）雜交後的交叉後的候補臉部影像。另外，交叉後的候補臉部影像在本實施形態中為第二世代（次世代）。
接著，關於突變處理，為了從與如上述方式選擇的三個候補臉部影像33、38、39一起進行交叉處理所生成的四個候補臉部影像中，湊齊顯示於窗格20內的十個候補臉部影像，例如執行讓隨機選擇的三個候補臉部影像中各自的基因序列的一點產生變化的動作，生成三個突變後的候補臉部影像。
另外，突變處理亦需要回應如以下的要求。亦即，在僅進行交叉處理而沒有進行突變處理，只有其結果的候補臉部影像顯示於窗格20內的情況下，假設若在第一世代的候補臉部影像31至40之中不存在符合使用者之嗜好性（喜好）的臉部影像，則在第二世代會變成在非喜好之臉部影像的組合下的基因交叉。在如此情況下，會變成無法選擇接近使用者嗜好性的臉部影像而造成問題。因此，為了防止如此的問題，在進行交叉處理的同時也應該進行突變處理。
然後，以如此方式透過交叉處理及突變處理而生成的多個候補臉部影像係作為第二世代（次世代）的候補臉部影像，與自第一世代（前世代）之的中選擇出來的三個候補臉部影像33、38、39，一起顯示在輸出手段3之一的顯示器的顯示畫面上的窗格20內。
像這樣在顯示第二世代的候補臉部影像後，例如只要使用者藉由選擇框24選擇一個候補臉部影像，再選擇並按下選擇訊息顯示欄23b下方的OK鍵22，便可決定最終候補。此外，在自第二世代的候補臉部影像中，以上述方式再次選擇三張候補臉部影像再選擇並按下選擇訊息顯示欄23a下方之OK鍵21的情況，會進一步生成並顯示次世代的候補臉部影像。如此，在使用者從顯示畫面上的窗格20內所顯示的候補臉部影像中，決定一個符合嗜好性者的情況，其決定之候補臉部影像會成為在最後被輸出的輸出臉部影像。
另外，在此情況，由使用者最終決定的一個候補臉部影像，例如亦可在畫面上別的窗格內，與皺紋、斑點及毛孔各成分的去除率一起顯示。此時，用以生成表現最後所決定之候補臉部影像的臉部影像資訊的各種參數，係可與各成分的去除率一起作為使用者的基準參數儲存在儲存手段4。另一方面，在使用者沒有決定一個符合嗜好性者的情況下，可如上述方式重複進行第三世代、第四世代，直到最後決定出候補臉部影像為止，重複進行多個候補臉部影像的生成。
如此，根據第一實施形態之臉部影像處理系統，可調整使用者的臉部影像本身所包含的皺紋成分、斑點成分及毛孔成分在臉部影像處理中的去除率來生成臉部影像。藉此，可自由生成對對象者而言符合理想之較自然的臉部影像。
另外，作為如此之本實施形態之臉部影像處理系統的活用法，例如可舉出如以下者。亦即，作為一例，將本臉部影像處理系統導入化妝品販賣店。然後，將表現光顧店家之使用者的本來面貌影像的臉部影像資訊輸入至臉部影像處理系統。
之後，例如（1）藉由臉部影像處理部10生成使用者所喜好之粉底的已塗布臉部影像，比較此等之臉部影像來評價粉底對皺紋成分、斑點成分及毛孔成分之各成分的遮蓋効果。或者，（2）生成不同粉底的已塗布臉部影像，評價此等粉底的不同所造成之各成分的遮蓋効果或遮蓋性能。
此外，（3）確認在粉底的已塗布臉部影像中各成分的遮蓋効果或遮蓋性能伴隨時間變化的變化，並評價隨時間經過的化妝持久性。更進一步，根據此等的評價結果及伴隨於其之臉部影像資訊或基準參數等，進行（4）新化妝製品（粉底、BB（Blemish Balm）霜、遮瑕膏等化妝製品）的開發。
然後，除了粉底等之外，（5）評價各種護膚製品對皺紋、斑點、毛孔等各成分的改善効果等。如此，本臉部影像處理系統係例如亦可有效活用在上述（1）至（5）等。接著，說明在本臉部影像處理系統中，關於所實施之臉部影像處理方法的影像處理順序。
圖12係表示本發明第二實施形態之臉部影像處理方法的影像處理順序的流程圖。此外，圖13係表示此臉部影像處理方法之影像處理順序的部分處理内容的流程圖。另外，在以下內容中，關於與已說明的部分或構成要素相同或相當的部分或構成要素，有賦予相同的符號而省略說明的情形。
本實施形態之臉部影像處理方法，例如藉由將預先準備的臉部影像處理程式安裝至臉部影像處理系統的電腦（演算手段2）並執行的方式來實現。另外，此電腦藉由一般的結構被實現，其係具備本體，具備CPU、RAM、ROM、HDD、SSD等各種演算裝置或儲存裝置（儲存手段4）；顯示器（輸出手段4），將各種資訊顯示在顯示畫面上；輸入介面（輸入I/F），將所接收的資訊輸入至CPU等；及輸入裝置（輸入手段1），鍵盤或滑鼠等。以下，只要沒有特別標明處理的主體便為電腦。
如圖12所示，首先透過輸入I/F將如圖8所示的包含使用者的對象臉部影像之輸入臉部影像的影像資訊（影像資料）輸入（步驟S100）。然後，根據被輸入的影像資訊，藉由電腦進行如上述的臉部區域抽出處理（步驟S101A）。藉此，生成用以表現排除區域被排除之臉部區域影像的臉部影像資訊。另外，在沒有進行臉部區域之抽出的情況，省略此步驟S101A的臉部區域抽出處理。
接著，藉由電腦進行上述的成分抽出辨識處理（步驟S101B）及成分去除率調整處理（步驟S101C），生成初期（第一世代）的多個候補臉部影像（步驟S102），並將此等候補臉部影像顯示在顯示器上（步驟S104）。
在此，初期的候補臉部影像係可藉由以下方式獲得，例如隨機製作M種如上述之各成分的去除率或w0、w1、ε1、ε2、ε3等參數之類的各種參數值或數值組，藉由在各種參數值或數值組各求得一個處理影像的方式，就結果而言生成M個輸出影像（候補臉部影像）。若將此等顯示在顯示器上，則使用者可識別皺紋成分、斑點成分及毛孔成分的去除率各自不同的M個候補臉部影像。
在從像這樣顯示的多個候補臉部影像中，例如使用者於主觀上找不到認為最符合期望的皺紋、斑點及毛孔之顯示態樣的最終臉部影像的情況，使用者利用滑鼠等輸入裝置，例如藉由選擇被顯示在窗格20內之選擇框24等的候補臉部影像，進行期望的S個候補臉部影像的選擇指示。
藉此，電腦係根據來自輸入裝置的資訊，判斷最終臉部影像是否已被決定（步驟S106）。在接收最終臉部影像之決定指示並決定輸出之臉部影像的情況（步驟S106的是），決定在電腦上生成表現其臉部影像之臉部影像資訊的去除率或包含資料之參數的各種參數（步驟S108），並將此被決定之參數作為基準參數儲存在儲存裝置（步驟S109）。然後，輸出表現最終臉部影像的臉部影像資訊（步驟S110），結束依據本流程圖之一連串的臉部影像處理。
另外，在上述步驟S110中，臉部影像資訊的輸出係包含將影像資料對其他電腦等的資料輸出、顯示輸出至顯示器上、或印刷輸出至紙面上的各種輸出形態。此外，在將上述的各種參數或基準參數儲存在儲存裝置時，只要與表現最終臉部影像的臉部影像資訊賦予關聯並進行儲存，便可將此等參數與表現最終臉部影像的臉部影像資訊一起輸出。
另一方面，在上述步驟S106中，無法決定最終臉部影像的情況（步驟S106的否），進行使用GA的IEC（步驟S120），生成多個次世代的候補臉部影像。之後，將所生成的多個候補臉部影像的各種參數暫時儲存至儲存裝置（步驟S130），並在生成次世代的候補臉部影像之後（步驟S132）顯示進入到上述步驟S104的次世代候補臉部影像，重複進行以下的處理。
在此，在上述步驟S120中的IEC係例如以如圖13所示的方式進行。亦即，在沒有於上述步驟S106決定最終臉部影像的情況，會變成已經由使用者作出期望之候補臉部影像的選擇指示，因此電腦會受理由使用者指定之候補臉部影像的選擇（步驟S122）。然後，根據適用於已接收之候補臉部影像的各種參數值或數值進行交叉處理（步驟S124）及突變處理（步驟S126）。
亦即，在使用了GA的IEC中，電腦係例如自如上述顯示在顯示器上之初期（前世代）的M個候補臉部影像（步驟S104）中，將適用於用以表現由使用者選擇的S個候補臉部影像（例如，步驟S106的No及S122）的臉部影像資訊的各種參數值再次連結起來當成二進制表達式的染色體，亦即，將各成分的去除率、視窗尺寸w0、w1或ε值ε1、ε2、ε3等再次連結起來當成二進制表達式的染色體。
像這樣，對於被選擇的S個個體進行如上述的交叉處理（步驟S124），生成新的T1個個體。此外，對於被選擇的S個個體與所生成的T1個個體，進行突變處理（步驟S126），生成新的T2個個體。此等T1個及T2個個體係成為下期（次世代）的候補臉部影像。另外，S個+T1個+T2個係等於例如M個。
使用在此等交叉處理及突變處理所獲得之S個+T1個+T2個的個體所分別顯示的各種參數值、視窗尺寸w0、w1或ε值ε1、ε2、ε3等，生成表現候補臉部影像的臉部影像資訊。亦即，可藉此輸出S個＋T1個＋T2個的臉部影像（候補臉部影像）。
將如此獲得的S個＋T1個＋T2個候補臉部影像再次顯示在顯示器上（步驟S130及S132之後的步驟S104），如果有在使用者主觀上覺得最符合期望的臉部影像便將其決定為最終臉部影像，如果沒有則再次選擇S個期望的臉部影像。
之後，電腦再次根據S個的個體進行交叉處理或突變處理。重複進行如此處理，直到決定能滿足使用者的最終臉部影像（步驟S106的是）。藉由以如此方式進行臉部影像處理，可以生成讓皺紋成分、斑點成分及毛孔成分的顯示態樣接近使用者喜好的臉部影像，亦即可以生成對使用者而言符合理想之較自然的臉部影像。此外，可將表現所生成之臉部影像的臉部影像資訊與各種參數值、數值或基準參數一起有效利用在各種領域。
圖14係表示本發明第三實施形態之臉部影像處理系統的整體結構的方塊圖，圖15係表示此臉部影像處理系統之臉色處理部的内部結構的方塊圖。此外，圖16係表示此臉部影像處理系統之影像處理順序的流程圖。第三實施形態之臉部影像處理系統係從在上述之臉部影像處理部10的一部分結構具備臉色處理部15的點來看，與在結構上臉部影像處理部10不具備臉色處理部15的第一實施形態之臉部影像處理系統不同。
臉色處理部15係如圖14所示，被設置在合成部14的後段。此臉色處理部15係如圖15所示，例如具備以下的結構：膚色抽出部15a，自輸出臉部影像抽出來自合成部14用以表現輸出臉部影像的臉部影像資訊的明亮度及顏色資訊中至少一種在指定範圍內的膚色區域；及色調調整部15b，變化被抽出之膚色區域內的膚色色調。
在此，作為顏色資訊，例如可舉出RGB值、CMYK值、CIELAB（L*a*b*）值、孟氏色系值、CIEXYZ值、濾波器所獲得的濃度值；或分光影像、分光反射波形；或者反射透射率、紅外線波長、紫外線波長或X射線波長等。例如，在L*a*b*表色系中，亦可使用L*表示亮度，並使用a*b*將色相與彩度表現為色調。
另外，臉色處理部15，例如利用預先被儲存在儲存手段4的明亮度及顏色資訊中的至少一個參數值在指定範圍內的多個預設模式，或各種參數值。此等各預設模式或各種參數值亦可被儲存在臉色處理部15。
各預設模式係預先設定被分類為例如人種、性別、居住環境（緯度、經度、地區）、季節、時刻等。然後，膚色抽出部15a係例如根據使用者指定的預設模式抽出膚色區域，其中前述膚色區域的明亮度及顏色資訊中的至少一個參數值在其預設模式所指定的指定範圍內。另外，膚色抽出部15a例如抽出被輸入之輸出臉部影像的臉部區域整體的膚色區域。
此外，色調調整部15b係使用下式（4）及（5）來改變膚色抽出部15a所抽出之膚色區域內的顏色資訊，例如各像素的色相或明亮度。另外，式中的變數X、Y係分別可得到0≦X＜16、0≦Y＜16的值。
[數4]
Figure 02_image007
[數5]
Figure 02_image009
亦即，色調調整部15b係如圖15所示，例如將來自膚色抽出部15a之膚色區域的RGB顏色資訊展開至HLS（HSL）色彩空間，並藉由上述式（4）將色相（H）自hold 變更為hnew 。此外，並藉由上述式（5）將明亮度（L）自Lold 變更為Lnew 。然後，將此等經變更的色相（H）及明亮度（L）與未變更的彩度（S）合成後轉換為膚色區域的RGB顏色資訊，並在生成包含經調整色調之膚色區域的RGB顏色資訊的輸出臉部影像後，將輸出臉部影像資訊y（n）輸出。
另外，色調調整部15b亦可不使用上述式（4）及（5）來調整色調，但由於在該情況下會有臉色隨機變化的情況，而有確認到膚色區域的膚色變成不良膚色的案例，因此不適宜。然後，在臉色處理部15中臉色的資料或各處理的參數值係隨時被儲存在儲存手段4並可利用於臉色處理。
用以表現像這樣讓膚色區域內的膚色產生變化之輸出臉部影像的輸出臉部影像資訊y（n）係在顯示於圖14的情況下被輸出至未圖示的輸出手段3。另外，關於在候補臉部影像的生成、顯示中的膚色變化，例如亦可藉由經使用GA的IEC來決定最終候補。在此情況下，將使用者最終決定之候補臉部影像的膚色當成理想的臉色，並與決定膚色的各種參數值一起作為臉色資料儲存至儲存手段4。
此第三實施形態之臉部影像處理系統所進行的影像處理順序，例如如圖16所示。亦即，在上述之第二實施形態的影像處理順序中，在步驟S101C的去除率調整處理的後段，進行如上述之臉色處理部15所進行的臉色處理（步驟S101D）。藉此，在生成初期的候補臉部影像時（步驟S102），可生成臉色（膚色區域的膚色）也被變更的候補臉部影像，並顯示在接下來的步驟S104。
如此，根據第三實施形態之臉部影像處理系統，不僅可在臉部影像處理中調整皺紋、斑點及毛孔成分之各成分的去除率，亦可調整臉色生成臉部影像，因此可自由生成更接近使用者理想中之自然的臉部影像。另外，本實施形態之臉部影像處理系統係亦可將臉色處理部15的處理當成主流。亦即，亦可不進行關於第一實施形態中之皺紋成分、斑點成分及毛孔成分的處理，生成用以展現關於臉色之各種變化的候補臉部影像。
在特化成臉色處理的情況，本實施形態之臉部影像處理系統係可活用在以下情形，例如在化妝品販售店中，（1）自表現使用者認為臉色理想之輸出臉部影像的臉部影像資訊取得各種參數值或臉色資料，檢索或提供與此等相符的粉底。此外，只要利用如此的各種參數值或臉色資料，即使不經由例如（2）諮詢化妝品販售店的工作人員等，亦可讓使用者能夠直接在網際網路上檢索或購買符合自己嗜好的化妝品等。
然後，第三實施形態之臉部影像處理系統係除了上述（1）、（2）的活用方法之外，例如只要構建成可利用所有的功能，便可發揮美顏化系統的功能，生成並輸出在使用者的皺紋成分、斑點成分及毛孔成分的各成分或膚色的明亮度、顏色資訊方面對使用者而言為理想化的臉部影像。
例如，只要將如此的美顏化系統構建成可在網際網路上相互利用，則對於居住在無法接受如上述諮詢之地區的使用者、言語不同的使用者、發音上有困難的使用者等各種使用者，皆可提案符合使用者認為理想，經調整臉色、皺紋、斑點、毛孔等的臉部的各種化妝品。
再者，藉由利用各種參數值或資料，亦可藉由3D印表機列印用以塑造使用者理想之臉部的粉底，或將此等資料等利用在製作完全訂做的化粧品上，亦可適用於根據所生成之理想的臉部影像而實際在使用者的臉部上化妝的3D化妝裝置。
另外，在第二實施形態說明的臉部影像處理方法，不僅可藉由在電腦上執行如上述預先準備好的臉部影像處理程式來實現，亦可藉由用電腦讀取並執行被記錄在HD、CD-ROM、DVD、記憶卡等電腦可讀取之記錄媒體的臉部影像處理程式來實現。臉部影像處理程式亦可為可透過網際網路等網路來分配的傳輸媒體。
以上，說明了本發明的數個實施形態，但此等實施形態為舉例說明者，並沒有限定發明範圍的用意。此等新的實施形態係可用其他各式各樣的形態來實施，在不偏離發明主旨的範圍，可進行各種省略、替換、及變更。此等實施形態或其變形，在被包含在發明範圍或主旨的同時，亦被包含在申請專利範圍所記載的發明及與其相等的範圍。
例如，在上述的實施形態中，構建成在表示成分抽出部16的ε-濾波器組11中被抽出之皮膚指定成分的第三、第四及第五成分y3（n）、y4（n）、y5（n）中，僅根據第四成分y4（n）來辨識、判別皺紋成分、斑點成分及毛孔成分，但並非被此所限定者。
亦即，可以調整濾波器的視窗尺寸或濾波器值，使用表示臉部影像之皮膚指定成分的第三至第五成分y3（n）至y5（n）的所有成分用以下方式構成，例如以第三成分y3（n）表現皮膚斑點成分，以第四成分y4（n）表現皮膚皺紋成分，再以第五成分y5（n）表現作為皮膚自然凹凸的毛孔成分。
此情況係將輸入臉部影像資訊x（n）於ε-濾波器組11分割為第一至第五成分y1（n）至y5（n）後，在將表示臉部影像之結構成分的第一及第二成分y1（n）、y2（n）輸出至合成部14的同時，將第三至第五成分y3（n）至y5（n）輸出至成分辨識部12。
然後，在成分辨識部12中，只要根據第三至第五成分y3（n）至y5（n）來辨識、判別斑點成分、皺紋成分及毛孔成分，並於成分調整部13調整各成分的去除率即可。即使藉由如此的構成，亦可發揮與上述之實施形態相同的作用効果，自由生成對使用者而言符合理想之較自然的臉部影像。
1‧‧‧輸入手段2‧‧‧演算手段3‧‧‧輸出手段4‧‧‧儲存手段5‧‧‧臉部區域抽出部6‧‧‧加減器10‧‧‧臉部影像處理部11‧‧‧ε-濾波器組11a‧‧‧ε-濾波器組A11b‧‧‧ε-濾波器組B12‧‧‧成分辨識部12a‧‧‧成分辨識部A12b‧‧‧成分辨識部B13‧‧‧成分調整部13a、13b、13c‧‧‧去除率調整部14‧‧‧合成部15‧‧‧臉色處理部16‧‧‧成分抽出部20‧‧‧窗格20a‧‧‧面板顯示部21、22‧‧‧OK鍵23a、23b‧‧‧選擇訊息顯示欄24‧‧‧選擇框25‧‧‧候補臉部影像號碼顯示欄26、27‧‧‧返回鍵30a‧‧‧皺紋成分抽出顯示臉部影像30b‧‧‧毛孔成分抽出顯示臉部影像30c‧‧‧斑點成分抽出顯示臉部影像31、32、33、34、35、36、37、38、39、40‧‧‧候補臉部影像L‧‧‧線性低通濾波器E1、E2、E3‧‧‧ε-濾波器P1‧‧‧像素群中心點u（n）‧‧‧小振幅高頻率成分w0、w1‧‧‧視窗尺寸x（n）‧‧‧輸入臉部影像資訊y（n）、y1（n）、y2（n）、y3（n）、y4（n）、y5（n）‧‧‧輸出臉部影像資訊
圖1係表示本發明第一實施形態之臉部影像處理系統的整體結構的方塊圖。 圖2係表示相同臉部影像處理系統之演算手段的結構的方塊圖。 圖3係表示相同臉部影像處理系統之臉部影像處理部的內部結構的方塊圖。 圖4係表示相同臉部影像處理系統之臉部影像處理部中的非線性函數例的圖。 圖5係表示相同臉部影像處理系統之臉部影像處理部中的ε-濾波器及線性低通濾波器之振幅-頻率空間的分割例的圖。 圖6係表示相同臉部影像處理系統之臉部影像處理部中的ε-濾波器組的結構的圖。 圖7係表示相同臉部影像處理系統之臉部影像處理部中，ε-濾波器組之振幅-頻率空間中，臉部影像資訊各成分之分割例的圖。 圖8係表示在藉由被輸入至相同臉部影像處理系統之臉部影像處理部的臉部影像資訊所表現的臉部影像處理之前的臉部影像例的圖。 圖9係用以說明相同臉部影像處理系統之臉部影像處理部中，在成分辨識部的皺紋成分、斑點成分及毛孔成分的辨識判別方法的圖。 圖10係表示相同臉部影像處理系統之臉部影像處理部中，抽出並顯示在成分辨識部被判別之各成分的臉部影像的圖。 圖11係表示相同臉部影像處理系統中，被顯示在顯示畫面上之候補臉部影像的顯示態樣的圖。 圖12係表示本發明第二實施形態之臉部影像處理方法的影像處理順序的流程圖。 圖13係表示相同臉部影像處理方法之影像處理順序的部分處理內容的流程圖。 圖14係表示本發明第三實施形態之臉部影像處理系統的整體結構的方塊圖。 圖15係表示相同臉部影像處理系統之臉色處理部的內部結構的方塊圖。 圖16係表示相同臉部影像處理系統之影像處理順序的流程圖。
1‧‧‧輸入手段
2‧‧‧演算手段
3‧‧‧輸出手段
4‧‧‧儲存手段

Claims (10)

  1. 一種臉部影像處理系統，係具備：成分抽出手段，輸入表現臉部影像的臉部影像資訊，並自前述臉部影像資訊分別抽出前述臉部影像的皺紋成分、斑點成分及毛孔成分；去除率調整手段，對於以前述成分抽出手段抽出的皺紋成分、斑點成分及毛孔成分分別調整各自的去除率；儲存手段，儲存藉由以前述去除率調整手段調整的前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率；合成手段，將藉由以前述去除率調整手段調整的前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率各自增減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像；及輸出手段，輸出藉由前述合成手段合成的臉部影像資訊，自前述輸出手段輸出的臉部影像資訊係使前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率分別不同而生成多個，並且前述輸出手段係具備：輸入手段，根據所生成之多個臉部影像資訊，將多個候補臉部影像顯示在顯示手段的顯示畫面上，並自前述顯示的多個候補臉部影像中，受理由使用者指定之期望的候補臉部影像選擇指示及最終的候補臉部影像決定指示中的任一者，在藉由前述輸入手段受理前述候補臉部影像決定指示的情況下，與最終臉部影像資訊一起將前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率顯示在前述顯示手段上。
  2. 如申請專利範圍第1項之臉部影像處理系統，其係設有臉部區域抽出手段，抽出表示有被輸入的影像資訊所包含之輸入臉部影像的眼區域、鼻區域及口區域中至少一個區域被排除的前述臉部影像。
  3. 如申請專利範圍第1項之臉部影像處理系統，其中前述成分抽出手段係具備：濾波器手段，將表現前述被輸入之前述臉部影像的臉部影像資訊，在振幅-頻率空間中分割成第一成分、第二成分、第三成分、第四成分及第五成分，並抽出前述第四成分；及成分辨識手段，根據藉由前述濾波器手段抽出的前述第四成分，辨識前述臉部影像內的皺紋成分、斑點成分及毛孔成分，並判別各成分在前述臉部影像內的出現位置及形狀。
  4. 如申請專利範圍第3項之臉部影像處理系統，其中前述去除率調整手段係對前述皺紋成分、斑點成分及毛孔成分進行加權來調整前述各成分在前述臉部影像內的去除率。
  5. 如申請專利範圍第3項之臉部影像處理系統，其中前述合成手段係將對應於根據前述儲存手段所儲存之去除率的前述皺紋成分、斑點成分及毛孔成分的第四成分、與藉由前述濾波器手段分割出來的前述第一成分、第二成分、第三成分及第五成分或被輸入的前述臉部影像資訊進行合成。
  6. 如申請專利範圍第1至5項中任一項之臉部影像處理系統，其中在前述合成手段的後段係具備：膚色抽出手段，抽出前述臉部影像資訊之明亮度及顏色資訊中至少一個為指定範圍的膚色區域；及 臉色處理手段，具有使藉由前述膚色抽出手段抽出之膚色區域內的膚色色調產生變化的色調調整手段。
  7. 如申請專利範圍第6項之臉部影像處理系統，更具備：演算手段，在藉由前述輸入手段受理前述候補臉部影像選擇指示的情況下，根據表現被選擇之候補臉部影像的臉部影像資訊，將前述成分抽出手段、前述去除率調整手段及前述臉色處理手段中各處理的參數，根據遺傳演算法進行交叉處理及突變處理再藉由互動演化式計算來設定；其中前述成分抽出手段、前述去除率調整手段及前述臉色處理手段係在到藉由前述輸入手段受理前述候補臉部影像的決定指示為止，重複進行根據藉由前述演算手段設定之參數生成臉部影像資訊的動作。
  8. 如申請專利範圍第7項之臉部影像處理系統，其中在藉由前述輸入手段受理前述候補臉部影像決定指示的情況下，前述儲存手段將用以生成表現已決定之候補臉部影像的臉部影像資訊的前述參數儲存為基準參數。
  9. 一種臉部影像處理方法，為具備成分抽出手段、去除率調整手段、儲存手段、合成手段及輸出手段之臉部影像處理系統中的臉部影像處理方法，其係具備：藉由前述成分抽出手段，自表現被輸入之臉部影像的臉部影像資訊分別抽出前述臉部影像之皺紋成分、斑點成分及毛孔成分的程序；藉由前述去除率調整手段，對於被抽出之皺紋成分、斑點成分及毛孔成分分別調整各自之去除率的程序； 藉由前述儲存手段，儲存前述皺紋成分的去除率、前述斑點成分去的除率及前述毛孔成分的去除率的程序；藉由前述合成手段，將藉由調整前述皺紋成分的去除率、前述斑點成分去的除率及前述毛孔成分的去除率的程序所調整的去除率而各自增減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像的程序；及藉由前述輸出手段，將所合成之臉部影像資訊輸出的程序，在自前述輸出手段輸出的臉部影像資訊係使前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率分別不同而生成多個，根據所生成之多個臉部影像資訊，將多個候補臉部影像顯示在顯示手段的顯示畫面上，前述臉部影像處理系統更具備：輸入手段，自前述顯示的多個候補臉部影像中，受理由使用者指定之期望的候補臉部影像選擇指示及最終的候補臉部影像決定指示中的任一者，在藉由前述輸入手段受理前述候補臉部影像決定指示的情況下，與最終臉部影像資訊一起將前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率顯示在前述顯示手段上。
  10. 一種臉部影像處理程式，用以在具有具備成分抽出手段、去除率調整手段、儲存手段、合成手段及輸出手段之電腦的臉部影像處理系統中執行臉部影像處理，其係使前述電腦執行以下步驟：藉由前述成分抽出手段，自表現被輸入之臉部影像的臉部影像資訊分別抽出前述臉部影像之皺紋成分、斑點成分及毛孔成分的步驟； 藉由前述去除率分別調整手段，對於被抽出之皺紋成分、斑點成分及毛孔成分調整各自之去除率的步驟；將前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率儲存至前述儲存手段的步驟；藉由前述合成手段，將藉由調整前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率的步驟所調整的去除率而各自增減的皺紋成分、斑點成分及毛孔成分進行合成並生成臉部影像的步驟；及藉由前述輸出手段，將所合成之臉部影像資訊輸出的步驟，在自前述輸出手段輸出的臉部影像資訊係使前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率分別不同而生成多個，根據所生成之多個臉部影像資訊，將多個候補臉部影像顯示在顯示手段的顯示畫面上，前述臉部影像處理系統更具備：輸入手段，自前述顯示的多個候補臉部影像中，受理由使用者指定之期望的候補臉部影像選擇指示及最終的候補臉部影像決定指示中的任一者，在藉由前述輸入手段受理前述候補臉部影像決定指示的情況下，與最終臉部影像資訊一起將前述皺紋成分的去除率、前述斑點成分的去除率及前述毛孔成分的去除率顯示在前述顯示手段上。
TW106121716A 2016-06-30 2017-06-29 臉部影像處理系統、臉部影像處理方法、及臉部影像處理程式 TWI727065B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-129615 2016-06-30
JP2016129615A JP6872742B2 (ja) 2016-06-30 2016-06-30 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

Publications (2)

Publication Number Publication Date
TW201810178A TW201810178A (zh) 2018-03-16
TWI727065B true TWI727065B (zh) 2021-05-11

Family

ID=60786991

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106121716A TWI727065B (zh) 2016-06-30 2017-06-29 臉部影像處理系統、臉部影像處理方法、及臉部影像處理程式

Country Status (6)

Country Link
US (1) US10810719B2 (zh)
JP (1) JP6872742B2 (zh)
KR (1) KR102411237B1 (zh)
CN (1) CN109416827A (zh)
TW (1) TWI727065B (zh)
WO (1) WO2018003711A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203969A1 (de) * 2018-03-15 2019-09-19 Conti Temic Microelectronic Gmbh Automobile Kamera mit Rohbildsignalschnittstelle
JP2019208906A (ja) * 2018-06-05 2019-12-12 カシオ計算機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7108127B2 (ja) 2018-08-21 2022-07-27 ザ プロクター アンド ギャンブル カンパニー 毛穴の色を特定する方法
CN110349079B (zh) * 2019-06-04 2023-04-18 南京掌心互动网络科技有限公司 一种基于用户习惯及大数据的影像修正方法及其***
US11216922B2 (en) * 2019-12-17 2022-01-04 Capital One Services, Llc Systems and methods for recognition of user-provided images
CN113536871A (zh) * 2020-04-17 2021-10-22 纽顿医学美容集团有限公司 图像预处理方法、面部皮肤年龄估计方法及电子设备
JP7436708B2 (ja) 2020-05-08 2024-02-22 ザ プロクター アンド ギャンブル カンパニー 樹状毛穴を識別するための方法
CN113808027B (zh) 2020-06-16 2023-10-17 北京达佳互联信息技术有限公司 一种人体图像处理方法、装置、电子设备及存储介质
CN111767846A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
KR102445257B1 (ko) 2022-02-23 2022-09-23 주식회사 룰루랩 인공신경망에 기반하여 모공을 검출하고 검출된 모공을 시각화하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001118064A (ja) * 1999-10-20 2001-04-27 Nippon Hoso Kyokai <Nhk> 画像処理装置
TW200428231A (en) * 2003-06-11 2004-12-16 Kose Corp Skin evaluation method and image simulation method
JP2005196270A (ja) * 2003-12-26 2005-07-21 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
US20130329079A1 (en) * 2008-07-30 2013-12-12 DigitalOptics Corporation Europe Limited Eye Beautification Under Inaccurate Localization
US20150049111A1 (en) * 2013-02-01 2015-02-19 Panasonic Corporation Makeup application assistance device, makeup application assistance method, and makeup application assistance program
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4682373A (en) 1982-08-23 1987-07-28 Abram Baran Collapsible hat construction
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US20030063102A1 (en) * 2001-10-01 2003-04-03 Gilles Rubinstenn Body image enhancement
US7324668B2 (en) * 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
JP2004000341A (ja) * 2002-05-31 2004-01-08 Omron Corp 相性判定方法、相性判定サーバ、相性判定プログラム、および該プログラムを記録した記録媒体
DE10309873A1 (de) * 2002-07-09 2004-01-29 RIC Co. Ltd. Digitale-Zoom-Hautdiagnosevorrichtung
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8254674B2 (en) * 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US9692964B2 (en) * 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
WO2005008593A1 (ja) * 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
JP2005084980A (ja) * 2003-09-09 2005-03-31 Fuji Photo Film Co Ltd 顔画像付きカード用データ生成装置および方法並びにプログラム
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
US7376270B2 (en) * 2003-12-29 2008-05-20 Canon Kabushiki Kaisha Detecting human faces and detecting red eyes
US20080270175A1 (en) * 2003-12-31 2008-10-30 Klinger Advanced Aesthetics, Inc. Systems and methods using a dynamic expert system to provide patients with aesthetic improvement procedures
JP4396387B2 (ja) * 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP2006053821A (ja) * 2004-08-13 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP4585253B2 (ja) * 2004-08-16 2010-11-24 富士フイルム株式会社 認証システム
EP1813189B1 (en) * 2004-10-22 2010-03-03 Shiseido Company, Ltd. Skin condition diagnostic system and beauty counseling system
JP4459788B2 (ja) * 2004-11-16 2010-04-28 パナソニック株式会社 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8131029B2 (en) * 2005-09-20 2012-03-06 Brightex Bio-Photonics Llc Systems and methods for automatic skin-based identification of people using digital images
JP4682373B2 (ja) 2005-11-01 2011-05-11 株式会社国際電気通信基礎技術研究所 顔画像合成装置、顔画像合成方法および顔画像合成プログラム
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
WO2007086057A1 (en) * 2006-01-26 2007-08-02 Power Paper Ltd Power source electrode treatment device
US7653221B2 (en) * 2006-01-31 2010-01-26 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection and removal
US8620038B2 (en) * 2006-05-05 2013-12-31 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
FR2913128B1 (fr) * 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
US8073287B1 (en) * 2007-02-26 2011-12-06 George Mason Intellectual Properties, Inc. Recognition by parts using adaptive and robust correlation filters
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009059257A (ja) * 2007-09-03 2009-03-19 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8211477B2 (en) * 2007-10-17 2012-07-03 Biova, L.L.C. Solubilized protein composition obtained from eggshell membrane
US20090132371A1 (en) * 2007-11-20 2009-05-21 Big Stage Entertainment, Inc. Systems and methods for interactive advertising using personalized head models
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
US8597667B2 (en) * 2008-05-09 2013-12-03 Elc Management Llc Targeted and individualized cosmetic delivery
US8520089B2 (en) * 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
GB0817936D0 (en) * 2008-09-30 2008-11-05 Intrinsiq Materials Global Ltd Porous materials
TWI417811B (zh) * 2008-12-31 2013-12-01 Altek Corp The Method of Face Beautification in Digital Image
US20100233128A1 (en) * 2009-03-13 2010-09-16 Mci Media Capital Inc. Natural Skin Products Containing Dairy and Processes
JP5544764B2 (ja) * 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011090466A (ja) * 2009-10-21 2011-05-06 Sony Corp 情報処理装置及び方法、並びにプログラム
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
US9317970B2 (en) * 2010-01-18 2016-04-19 Disney Enterprises, Inc. Coupled reconstruction of hair and skin
JP2011221812A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置及び方法、並びにプログラム
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP4768869B1 (ja) 2010-08-25 2011-09-07 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
CN101916370B (zh) * 2010-08-31 2012-04-25 上海交通大学 人脸检测中非特征区域图像处理的方法
EP2453383A1 (en) * 2010-11-12 2012-05-16 ST-Ericsson SA Facial features detection
JP5810384B2 (ja) * 2011-05-11 2015-11-11 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP4998637B1 (ja) * 2011-06-07 2012-08-15 オムロン株式会社 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
JP5755046B2 (ja) * 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
KR101874494B1 (ko) * 2011-11-25 2018-07-06 삼성전자주식회사 특징점의 삼차원 위치 계산 장치 및 방법
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US9842358B1 (en) * 2012-06-19 2017-12-12 Brightex Bio-Photonics Llc Method for providing personalized recommendations
US20140079319A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for enhancing images and apparatuses using the same
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CA2893487A1 (en) * 2012-12-02 2014-06-05 Rodan & Fields, Llc Tools and methods for interactive professional-level, at-home skin care
US9235782B1 (en) * 2012-12-24 2016-01-12 Google Inc. Searching images and identifying images with similar facial features
JP2014140097A (ja) * 2013-01-21 2014-07-31 Sony Corp 画像表示装置及び画像表示方法
JP6026655B2 (ja) * 2013-06-07 2016-11-16 富士フイルム株式会社 透明感評価装置、透明感評価装置の作動方法、透明感評価方法および透明感評価プログラム
CN105338887B (zh) * 2013-06-28 2019-10-25 松下电器（美国）知识产权公司 肌肤的感官评价装置以及肌肤的评价方法
WO2015011898A1 (ja) * 2013-07-22 2015-01-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置および情報処理装置の制御方法
JP6343612B2 (ja) * 2013-07-31 2018-06-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 肌分析方法、肌分析装置および肌分析装置の制御方法
US9105088B1 (en) * 2013-10-04 2015-08-11 Google Inc. Image blur with preservation of detail
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及***
EP3017755A1 (en) * 2014-11-04 2016-05-11 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
EP3278721B1 (en) * 2015-03-31 2020-11-04 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
KR102507567B1 (ko) * 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN105069007B (zh) * 2015-07-02 2018-01-19 广东欧珀移动通信有限公司 一种建立美颜数据库的方法及装置
CN105354810B (zh) * 2015-12-07 2019-02-12 厦门美图之家科技有限公司 一种图像祛斑处理的方法、***及拍摄终端
KR20170095632A (ko) * 2016-02-15 2017-08-23 한국전자통신연구원 얼굴인식방법
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
US20190340780A1 (en) * 2016-06-23 2019-11-07 Gaia System Solutions Inc. Engagement value processing system and engagement value processing apparatus
JP6868831B2 (ja) * 2016-06-30 2021-05-12 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
TWI657799B (zh) * 2016-09-29 2019-05-01 麗寶大數據股份有限公司 電子裝置與其提供膚質檢測資訊的方法
CN109890245A (zh) * 2016-10-24 2019-06-14 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理程序
WO2018096661A1 (ja) * 2016-11-25 2018-05-31 日本電気株式会社 画像生成装置、顔照合装置、画像生成方法、およびプログラムを記憶した記憶媒体
US10842242B2 (en) * 2016-12-22 2020-11-24 Johnson & Johnson Consumer Inc. System for targeted application of topical agents to an isolated body part
CN108229279B (zh) * 2017-04-14 2020-06-02 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108229278B (zh) * 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
WO2018195485A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
CA3062635A1 (en) * 2017-05-12 2018-11-15 Shaklee Corporation Topical muscadine formulation for cosmetic use
US10664716B2 (en) * 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence
US10896318B2 (en) * 2017-09-09 2021-01-19 Apple Inc. Occlusion detection for facial recognition processes
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
US10503970B1 (en) * 2017-12-11 2019-12-10 State Farm Mutual Automobile Insurance Company Method and system for identifying biometric characteristics using machine learning techniques
US10943156B2 (en) * 2018-01-05 2021-03-09 L'oreal Machine-implemented facial health and beauty assistant
JP6981277B2 (ja) * 2018-01-26 2021-12-15 富士フイルムビジネスイノベーション株式会社 検出装置、及び検出プログラム
TWI711980B (zh) * 2018-02-09 2020-12-01 國立交通大學 表情辨識訓練系統及表情辨識訓練方法
US11062494B2 (en) * 2018-03-06 2021-07-13 Didimo, Inc. Electronic messaging utilizing animatable 3D models
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
JP7199849B2 (ja) * 2018-06-27 2023-01-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20200020173A1 (en) * 2018-07-16 2020-01-16 Zohirul Sharif Methods and systems for constructing an animated 3d facial model from a 2d facial image
RU2697627C1 (ru) * 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
TWI676136B (zh) * 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
US20200082158A1 (en) * 2018-09-10 2020-03-12 Algomus, Inc. Facial image makeup transfer system
US11042726B2 (en) * 2018-11-05 2021-06-22 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
KR102321851B1 (ko) * 2019-07-11 2021-11-05 엘지전자 주식회사 인공 지능을 이용하여, 사용자의 피부를 관리하는 광 출력 기기 및 그의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001118064A (ja) * 1999-10-20 2001-04-27 Nippon Hoso Kyokai <Nhk> 画像処理装置
TW200428231A (en) * 2003-06-11 2004-12-16 Kose Corp Skin evaluation method and image simulation method
JP2005196270A (ja) * 2003-12-26 2005-07-21 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
US20130329079A1 (en) * 2008-07-30 2013-12-12 DigitalOptics Corporation Europe Limited Eye Beautification Under Inaccurate Localization
US20150049111A1 (en) * 2013-02-01 2015-02-19 Panasonic Corporation Makeup application assistance device, makeup application assistance method, and makeup application assistance program
JP2015080647A (ja) * 2013-10-23 2015-04-27 パナソニックＩｐマネジメント株式会社 撮影画像表示装置

Also Published As

Publication number Publication date
TW201810178A (zh) 2018-03-16
KR20190021360A (ko) 2019-03-05
WO2018003711A1 (ja) 2018-01-04
JP6872742B2 (ja) 2021-05-19
CN109416827A (zh) 2019-03-01
JP2018005434A (ja) 2018-01-11
US20190244334A1 (en) 2019-08-08
US10810719B2 (en) 2020-10-20
KR102411237B1 (ko) 2022-06-21

Similar Documents

Publication Publication Date Title
TWI727065B (zh) 臉部影像處理系統、臉部影像處理方法、及臉部影像處理程式
Lajevardi et al. Facial expression recognition in perceptual color space
Rahman et al. Retinex processing for automatic image enhancement
CN106682632B (zh) 用于处理人脸图像的方法和装置
Gerstner et al. Pixelated image abstraction
Gerstner et al. Pixelated image abstraction with integrated user constraints
JPWO2006082979A1 (ja) 画像処理装置および画像処理方法
CN108024719B (zh) 肌肤的光泽评价装置、光泽评价方法及记录介质
CN112614060A (zh) 人脸图像头发渲染方法、装置、电子设备和介质
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
Gritzman et al. Comparison of colour transforms used in lip segmentation algorithms
JP6357881B2 (ja) 画像処理装置及びプログラム
Cai et al. Perception preserving decolorization
US9595082B2 (en) Image processor and non-transitory computer readable medium for generating a reproduction image which is reproduced so that visibility of an original image is enhanced
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
Solli et al. Color harmony for image indexing
Ayunts et al. No-Reference Quality Metrics for Image Decolorization
JP2001195579A (ja) 画像評価装置
JP7467247B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11250632B2 (en) High quality AR cosmetics simulation via image filtering techniques
Wang et al. Automatic hazy image enhancement via haze distribution estimation
KR20090024375A (ko) 질감 속성에 따른 질감의 시각적 촉감 향상 시스템 및 방법
KR101024954B1 (ko) 색채와 감정 간의 관계에 기초한 영상의 색 변환 방법
JP6287102B2 (ja) 画像調整装置
US12039675B2 (en) High quality AR cosmetics simulation via image filtering techniques