TW201610866A - 影像處理方法以及電子裝置 - Google Patents

影像處理方法以及電子裝置 Download PDF

Info

Publication number
TW201610866A
TW201610866A TW104107217A TW104107217A TW201610866A TW 201610866 A TW201610866 A TW 201610866A TW 104107217 A TW104107217 A TW 104107217A TW 104107217 A TW104107217 A TW 104107217A TW 201610866 A TW201610866 A TW 201610866A
Authority
TW
Taiwan
Prior art keywords
facial
image
facial image
source
target
Prior art date
Application number
TW104107217A
Other languages
English (en)
Other versions
TWI544426B (zh
Inventor
戴伯靈
武景龍
闕鑫地
陳立承
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201610866A publication Critical patent/TW201610866A/zh
Application granted granted Critical
Publication of TWI544426B publication Critical patent/TWI544426B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一種影像處理方法以及電子裝置。影像處理方法包含下列步驟：提供來源臉部影像以及目標臉部影像；由來源臉部影像以及目標臉部影像分別擷取複數個人臉特徵；根據來源臉部影像以及目標臉部影像的該些人臉特徵分別產生複數個特徵維度；將來源臉部影像的該些人臉特徵匹配至目標臉部影像的該些人臉特徵；以及，在該些特徵維度至少一者上調整來源臉部影像的該些人臉特徵以形成輸出臉部影像。基於本揭示文件的實施例，影像處理方法可用來調整來源臉部影像，使其在多個特徵維度上趨向使用者偏好的目標臉部影像。

Description

影像處理方法以及電子裝置
本揭示文件係有關影像處理方法，特別是一種用來將來源影像趨近至目標影像的影像處理方法。
近來，人們逐漸習慣用拍攝影像來記錄自己的日常生活，並且人們可以非常方便地透過電子裝置上的數位相本來回顧這些影像。當影像拍攝完成後，使用者可以對這些影像進行某些後製處理，例如濾鏡(filtering)處理、扭曲(warping)處理以及套用各種參數轉換(parametric transformation)處理。
部分影像效果應用程式主要被用在處理人臉部份，像是臉部扭曲效果、魚眼效果、臉部平滑效果、臉部變形(face-morphing)效果等。上述影像效果應用程式基本的操作程序包括手動設定欲使用的效果、偵測來源的臉部範圍並且將影像處理技術套用至特定的臉部範圍。使用者需要手動選擇一些效果，並將效果套用到相片的特定區域上。因此，大概需要幾分鐘的時間才能完成一張相片的修改。若使用者打算將整個相簿中的相片都進行修改，則可能需要數分鐘甚至數小時才能完成影像效果的套用。
本揭示文件內容之一態樣係關於一種影像處理方法。影像處理方法包含下列步驟：提供來源臉部影像以及目標臉部影像；由來源臉部影像以及目標臉部影像分別擷取複數個人臉特徵；根據來源臉部影像以及目標臉部影像的該些人臉特徵分別產生複數個特徵維度；將來源臉部影像的該些人臉特徵匹配至目標臉部影像的該些人臉特徵；以及，在該些特徵維度至少一者上調整來源臉部影像的該些人臉特徵以形成輸出臉部影像，來源臉部影像的該些人臉特徵之調整是根據在相對應之特徵維度上目標臉部影像中相匹配之該些人臉特徵。
根據本揭示文件之一實施例，該些人臉特徵包含由來源臉部影像以及目標臉部影像擷取到的複數個特徵點、複數個色彩值或複數個亮度值。
根據本揭示文件之一實施例，該些特徵維度包含由來源臉部影像以及目標臉部影像之該些人臉特徵所分析得到的臉孔邊界、臉部區域輪廓、臉部區域比例/位置、臉部紋理或皮膚色調。
根據本揭示文件之一實施例，來源臉部影像以及目標臉部影像由相異的相片檔案提供或是由同一個相片檔案中相異的部份提供。
根據本揭示文件之一實施例，形成輸出臉部影像之步驟包含：指定輸出臉部影像以及目標臉部影像之間的相似強度；以及，在全部該些特徵維度上，根據相似強度調整來源 臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上目標臉部影像中相匹配之該些人臉特徵。
根據本揭示文件之一實施例，形成輸出臉部影像之步驟包含：對於該些特徵維度每一者，各自指定輸出臉部影像以及目標臉部影像之間的複數個獨立相似強度；以及，在該些特徵維度每一者上，分別根據該些獨立相似強度調整來源臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上目標臉部影像中相匹配之該些人臉特徵。
根據本揭示文件之一實施例，影像處理方法更包含下列步驟：由該些特徵維度中選擇欲調整之特徵維度的一組合。當形成輸出臉部影像時，屬於欲調整之特徵維度的該組合中的該些人臉特徵進行調整，未被選為特徵維度組合中的該些人臉特徵保持與來源臉部影像相同。
根據本揭示文件之一實施例，形成該輸出臉部影像之步驟包含：在一系列的複數個漸進相似強度下，漸進地形成一系列的複數個輸出臉部影像，其中，該些輸出臉部影像每一者是分別根據該些漸進相似強度每一者各自調整該來源臉部影像的該些人臉特徵，使其趨近該目標臉部影像中相匹配之該些人臉特徵。
本揭示文件內容之另一態樣係關於一種電子裝置，包含儲存單元以及處理單元。儲存單元用以儲存來源臉部影像以及目標臉部影像。處理單元用以根據該目標臉部影像處理該來源臉部影像，其中該處理單元包含複數個電腦可執行指令以執行一方法，其包含：由來源臉部影像以及目標臉部影像 分別擷取複數個人臉特徵；根據來源臉部影像以及目標臉部影像的該些人臉特徵分別產生複數個特徵維度；將來源臉部影像的該些人臉特徵匹配至目標臉部影像的該些人臉特徵；以及，在該些特徵維度至少一者上調整該來源臉部影像的該些人臉特徵以形成一輸出臉部影像，該來源臉部影像的該些人臉特徵之調整是根據在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
此揭示文件提供一種影像處理方法的應用，其可用來調整來源臉部影像使其趨近目標臉部影像。於一實施例中，來源臉部影像是由一原始相片中偵測得到，並根據一個使用者偏好的臉部模型(例如電影明星、名人、具有有趣臉部表情的人等)進行調整，藉此創造出好看或是有趣的相片(例如包含目標臉部影像)。基於本揭示文件的實施例，影像處理方法可用來調整來源臉部影像，使其在多個特徵維度(例如兩張影像之間的比例、形狀、顏色、材質與髮型等)上趨向使用者偏好的目標臉部影像。
此外，來源臉部影像可以在不同的相似強度下漸進地調整/改變/替換，以漸進地趨近偏好的臉部影像。基於本揭示文件，使用者可以簡易地調整原始相片中的來源臉部影像，並且在不同的相似強度下自動地產生趨近目標臉部影像的調整結果。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：
100、300、500、700‧‧‧影像處理方法
600‧‧‧使用者介面
S102~S110‧‧‧步驟
S110a、S110b、S110c、S110d、S110e、S110f‧‧‧步驟
Dim1~Dim5、Dim1a、Dim1b‧‧‧特徵維度
FP‧‧‧人臉特徵點
IMGs‧‧‧來源臉部影像
IMGs‧‧‧目標臉部影像
IMGo、IMGo1~IMGo5‧‧‧輸出臉部影像
為讓本揭示內容之上述和其他目的、特徵、優 點與實施例能更明顯易懂，所附圖式之說明如下：第1圖繪示根據本揭示文件之一實施例中一種影像處理方法的方法流程圖；第2A圖繪示根據本揭示文件之一實施例中一張臉部影像的示意圖；第2B圖繪示由第2A圖的臉部影像中所偵測到的一種特徵維度的示意圖；第2C圖繪示由第2A圖的臉部影像中所偵測到的另一種特徵維度的示意圖；第2D圖繪示由第2A圖的臉部影像中所偵測到的再一種特徵維度的示意圖；第3圖是根據本揭示文件之一實施例中一種影像處理方法的方法流程圖；第4A圖繪示一實作範例中的來源臉部影像的示意圖；第4B圖繪示一實作範例中的目標臉部影像的示意圖；第4C圖繪示一實作範例中根據影像處理方法所產生的輸出臉部影像的示意圖；第5圖繪示根據本揭示文件之一實施例中影像處理方法的方法流程圖；第6圖繪示根據一實作範例中的用來指定多個特徵維度之相似強度的使用者介面的示意圖；第7圖繪示根據本揭示文件之一實施例中一種影像處理方法的方法流程圖；以及第8圖繪示根據一實作範例中根據影像處理方法在複數個 漸進相似強度下所形成一系列的輸出臉部影像的示意圖。
下文係舉實施例配合所附圖式作詳細說明，但所提供之實施例並非用以限制本發明所涵蓋的範圍，而結構運作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本發明所涵蓋的範圍。此外，圖式僅以說明為目的，並未依照原尺寸作圖。
關於本文中所使用之『第一』、『第二』、...等，並非特別指稱次序或順位的意思，亦非用以限定本發明，其僅僅是為了區別以相同技術用語描述的元件或操作而已。
其次，在本文中所使用的用詞「包含」、「包括」、「具有、「含有」等等，均為開放性的用語，即意指包含但不限於此。
請參閱第1圖，其繪示根據本揭示文件之一實施例中一種影像處理方法100的方法流程圖。影像處理方法100可用於智慧型手機、相機、具有影像擷取元件的手機、個人電腦或影像處理系統等。
如第1圖所示，影像處理方法100執行步驟S102以提供來源臉部影像以及目標臉部影像。於部分實施例中，來源臉部影像為來自一張原始相片(例如使用者想要調整/修改/美化的相片檔案)的一個臉部區域影像，目標臉部影像則是來自一偏好臉部模型(例如來自電影明星、名 人、具有有趣表情的人物或是使用者想要變成的任意人物等)的另一個臉部區域影像。來源臉部影像以及目標臉部影像可由相異的相片檔案提供或是由同一個相片檔案中相異的部份提供。
舉例來說，原始相片中的來源臉部影像可先被偵測並決定(根據預存的設定而決定，或者根據使用者的選擇而決定)。接著，目標臉部影像可由任意的出處提供，例如同一張原始影像中不同的人物、由預存的臉孔範本中選取的另一個人物、下載影像中的另一個人物或甚至式不同相片中的同一個人物。
隨後，影像處理方法100執行步驟S104用以由來源臉部影像以及目標臉部影像分別擷取複數個人臉特徵。請一併參閱第2A圖，第2A圖繪示根據本揭示文件之一實施例中一張臉部影像IMG(可以是來源臉部影像或是目標臉部影像)的示意圖。
第2A圖所示的臉部影像IMG是用來例示性說明來源臉部影像或是目標臉部影像的例子，可以從臉部影像IMG(來源/目標臉部影像)中偵測到一些人臉特徵。於部分實施例中，人臉特徵包含來源/目標臉部影像當中的人臉特徵點FP(例如第2A圖中物件的轉折點、終點、尖端以及邊緣)。此外，人臉特徵也可以包含由來源/目標臉部影像中提取到的色彩值(例如各像素的R/G/B、Y/Cb/Cr、YUV、HSV值或是其他具相等性的色域代表數值)、亮度值或是紋理/樣式。
為了說明上的簡潔性，第2A圖僅繪示中來源臉部影像與目標臉部影像其中一者，而這並非表示來源臉部影像與目標臉部影像中的人臉特徵會完全相同。實際上，來源臉部影像與目標臉部影像將具有本身各自的人臉特徵，一般來說，上述各自的人臉特徵相異。
隨後，影像處理方法100執行步驟S106以根據來源臉部影像以及目標臉部影像的該些人臉特徵(例如第2A圖中人臉特徵點FP、色彩值、亮度值等)分別產生多個特徵維度。於部分實施例中，特徵維度可以是來源臉部影像以及目標臉部影像之人臉特徵所分析得到的臉孔邊界、臉部區域輪廓、臉部區域比例/位置、臉部紋理或皮膚色調。
請一併參閱第2B圖、第2C圖以及第2D圖。第2B圖繪示由第2A圖的臉部影像IMG中所偵測到的一種特徵維度Dim1的示意圖。第2C圖繪示由第2A圖的臉部影像IMG中所偵測到的另一種特徵維度Dim2的示意圖。第2D圖繪示由第2A圖的臉部影像IMG中所偵測到的再一種特徵維度Dim3的示意圖。
如第2B圖所示，由臉部影像IMG中所偵測到的特徵維度Dim1為臉孔邊界。臉孔邊界可透過偵測根據第2A圖所示的人臉特徵點FP的位置分佈而得到。位於臉孔邊緣上的人臉特徵點FP被偵測並分析已產生特徵維度Dim1。特徵維度Dim1代表了來源/目標臉部影像中臉孔的尺寸與位置。於部分實施例中，特徵維度Dim1可以被定義為第2B圖所示的特徵維度Dim1a(包含臉部與頭髮的部分)。於其他部 分實施例中，特徵維度Dim1可以被定義為第2B圖所示的特徵維度Dim1b(包含臉部但不包含頭髮的部分)，如此一來，臉部與頭髮的部分可以分離並各自套用不同的特效。
如第2C圖所示，由臉部影像IMG中所偵測到的特徵維度Dim2為臉部區域輪廓，例如眼睛輪廓Con1、鼻子輪廓Con2、嘴唇輪廓Con3以及頭髮輪廓Con4等等。上述各種輪廓Con1~Con4可透過偵測根據第2A圖所示的人臉特徵點FP的位置分佈而得到。
如第2D圖所示，由臉部影像IMG中所偵測到的特徵維度Dim3為臉部區域比例/位置，例如兩眼間隙與鼻子長度的比例、嘴唇寬度與鼻子寬度的比例、眉毛的位置等等。上述特徵維度Dim3可透過偵測根據第2A圖所示的人臉特徵點FP的位置分佈(包含位置與相對距離等)而得到。
第2B圖至第2D圖所示的特徵維度Dim1~Dim3是根據第2A圖所示的人臉特徵點FP的位置分佈而產生。然而，特徵維度並不以此為限，於本揭示文件之實施例中，特徵維度更包含臉部紋理(例如，化妝、平滑程度/粗糙程度、膚質、痣或斑點等)以及色調(例如皮膚顏色為深色、白、黃或古銅色、臉頰顏色、頭髮顏色等)。如此一來，來源/目標臉部影像所提取到的人臉特徵可以分析得到多個特徵維度。
舉例來說，本揭示文件之一實施例中採用五個特徵維度(共包含臉孔邊界、臉部區域輪廓、臉部區域比例/位置、臉部紋理以及皮膚色調)。然而，影像處理方法100 並不限於採用這五種特徵維度，亦可以被替換為其他可能的特徵維度總數。於其他部分實施例中，影像處理方法採用N個特徵維度，而N為大於一的正整數。
於此實施例中，上述多個特徵維度與多個人臉特徵之間並非一對一的對應關係。部分的特徵維度可共用並基於相同的人臉特徵資訊。舉例來說，特徵維度Dim1~Dim3(包含臉孔邊界、臉部區域輪廓以及臉部區域比例/位置)是透過分析人臉特徵點FP的位置分佈而得到。其他的特徵維度(包含臉部紋理以及皮膚色調)是基於來源/目標臉部影像中所擷取到的色彩值、亮度值或紋理與樣式進行分析而得到。
隨後，影像處理方法100執行步驟S108將來源臉部影像的該些人臉特徵匹配至目標臉部影像的該些人臉特徵。舉例來說，來源臉部影像中關於嘴唇的人臉特徵點FP配對至目標臉部影像中關於嘴唇的相對應人臉特徵點FP；來源臉部影像中關於眼睛的人臉特徵點FP配對至目標臉部影像中關於眼睛的相對應人臉特徵點FP。如此一來，來源臉部影像中的各人臉特徵便能逐一配對至目標臉部影像中相對應的各人臉特徵。
隨後，影像處理方法100執行步驟S110，在該些特徵維度至少一者上調整來源臉部影像的該些人臉特徵以形成輸出臉部影像，來源臉部影像的該些人臉特徵之調整是根據在相對應之特徵維度上目標臉部影像中相匹配之該些人臉特徵。下列段落將提供第1圖中步驟S110的詳細說明 與進一步的實施例內容。
於一實施例中，上述步驟S110中的調整，可以套用至來源臉部影像整體(包含來源臉部影像的眼睛、鼻子、嘴巴、皮膚、頭髮、化妝等)使其趨近於目標臉部影像。然而，本揭示文件並不以此為限。於另一實施例中，使用者可以在來源臉部影像中指定一些選取部位(例如眼睛與嘴巴)，上述步驟S110中的調整僅套用至選取部位(包含眼睛與嘴巴)使其趨近於目標臉部影像的相對應部位。於又一實施例中，使用者可以在來源臉部影像中選取一張以上的目標臉部影像並指定一些選取部位(例如眼睛與嘴巴)，並使多個選取部位分別趨近於不同的目標臉部影像的個別部位，也就是說，上述步驟S110的調整，可使來源臉部影像的多個選取部位分別趨近不同的目標臉部影像中的相對應部位。
請參閱第3圖、第4A圖、第4B圖以及第4C圖。第3圖是根據本揭示文件之一實施例中一種影像處理方法300的方法流程圖。影像處理方法300的步驟S102至步驟S106與先前實施例中的影像處理方法100相似。如第3圖所示，步驟S110包含兩個子步驟S110a與S110b。第4A圖繪示一實作範例中的來源臉部影像IMGs的示意圖。第4B圖繪示一實作範例中的目標臉部影像IMGt的示意圖。第4C圖繪示一實作範例中根據影像處理方法300所產生的輸出臉部影像IMGo的示意圖。
於此實作範例中，第4A圖所示的來源臉部影像IMGs是使用者的自拍照，而第4B圖所示的目標臉部影像 IMGt是人氣模特兒的肖像照。
在步驟S108將來源臉部影像IMGs與目標臉部影像IMGt的人臉特徵配對之後，影像處理方法300執行步驟S110a以指定來源臉部影像IMGs以及(即將產生的)輸出臉部影像IMGo之間的相似強度。由於，在來源臉部影像IMGs與目標臉部影像IMGt存在一定程度上的差距，若指定的相似強度較高，則所形成的輸出臉部影像IMGo將較類似於目標臉部影像IMGt且較少相似於來源臉部影像IMGs；另一方面，若指定的相似強度較低，則所形成的輸出臉部影像IMGo將較少相似於目標臉部影像IMGt且較類似於來源臉部影像IMGs。
接著，影像處理方法300執行步驟S110b，在全部特徵維度上，根據該相似強度調整來源臉部影像IMGs的人臉特徵，使來源臉部影像IMGs的人臉特徵趨近在相對應之特徵維度上目標臉部影像IMGt中相匹配之人臉特徵。由來源臉部影像IMGs形成輸出臉部影像IMGo的調整計算可由變形演算法(morphing algorithm)完成。在執行變形演算法處理來源臉部影像IMGs的過程中，相似強度作為一個參數用以決定來源臉部影像IMGs與目標臉部影像IMGt之間的權重比例。
如第4C圖所示，輸出臉部影像IMGo是由來源臉部影像IMGs在全部特徵維度(臉孔邊界、臉部區域輪廓、臉部區域比例/位置、臉部紋理以及皮膚色調)上進行調整後的結果。需要特別注意的是，輸出臉部影像IMGo中呈現的 髮型、眼睛形狀、鼻子形狀、皮膚顏色(以及其他各人臉特徵)均是由來源臉部影像IMGs改變而來，並已被調整為較近似於目標臉部影像IMGt的結果。
根據上述實施例，使用者並不需要以多個操作一步步去調整來源臉部影像IMGs，以改變髮型、眼睛形狀、鼻子形狀、打亮膚色及其他處理。一但使用者指定了目標臉部影像IMGt以及特定的相似強度，便會調整來源臉部影像IMGs使其趨近目標臉部影像IMGt，進而自動形成輸出臉部影像IMGo。
此外，臉部區域的形狀(包含眼睛、鼻子、嘴巴或全臉)可透過一般的臉部變形特效進行手動調整。然而，一般的臉部變形特效並未涉及皮膚紋理與皮膚色調的調整。上述實施例中的影像處理方法100/300可以在多個特徵維度上美化來源臉部影像IMGs(不只是形狀，還包含顏色、紋理與比例)。
在上述第3圖與第4C圖之實施例中，影像處理方法300使用單一的相似強度在全部的特徵維度上調整來源臉部影像IMGs。然而，本揭示文件並不以此為限。於另一實施例中，影像處理方法更包含一步驟以由全部特徵維度中選擇欲調整之特徵維度的組合(包含一個、兩個、三個或更多個特徵維度)。當形成輸出臉部影像時(如第1圖及第3圖所示的步驟S110)，屬於欲調整之特徵維度的組合中的該些人臉特徵進行調整，未被選為特徵維度的組合中的人臉特徵保持與來源臉部影像相同。
藉此，用來調整人臉特徵的變形演算法只套用到多個特徵維度中的其中一個。舉例來說，調整只套用到臉孔邊界(或只是套用到眼睛形狀)而其他的人臉特徵而維持不變。
於另一實施例中，用來調整人臉特徵的變形演算法只套用到多個特徵維度中的一部份特徵維度的任意組合。舉例來說，調整只套用到瞳孔顏色、嘴巴形狀、臉部特徵區域的比例、臉頰色調以及髮色，而同時其他的人臉特徵而維持不變。
於前述實施例中，單一個相似強度被套用到所有的特徵維度之調整。然而，本揭示文件並不以此為限。
請參閱第5圖以及第6圖，第5圖繪示根據本揭示文件之一實施例中影像處理方法500的方法流程圖。影像處理方法500的步驟S102至S106與先前實施例中的影像處理方法100相似。如第5圖所示，影像處理方法500的步驟S110包含兩個子步驟S110c與S110d。第6圖繪示根據一實作範例中的用來指定多個特徵維度之相似強度的使用者介面600的示意圖。
如第5圖所示，子步驟S110c用以對於該些特徵維度每一者，各自指定該輸出臉部影像以及該目標臉部影像之間的複數個獨立相似強度。如第6圖所示，使用者介面600用以指定五個獨立相似強度分別對應五個不同的特徵維度Dim1~Dim5。於第6圖所示的例子中，特徵維度Dim5的獨立相似強度被設定為最高，而特徵維度Dim1的獨立相似強 度被設定為最低。
接著，子步驟S110d用以在該些特徵維度每一者上，分別根據該些獨立相似強度調整該來源臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。在第6圖所示的例子中，輸出臉部影像在特徵維度Dim5上相對地較類似於目標臉部影像而較不相似於來源臉部影像，相對地，輸出臉部影像在特徵維度Dim1上相對地較不相似於目標臉部影像而較類似於來源臉部影像。
基於第5圖所示實施例中的影像處理方法500，使用者可以自由地調控各個特徵維度上的獨立相似強度。舉例來說，輸出臉部影像的髮型可以設定為較類似目標臉部影像，而在此同時，輸出臉部影像的膚色可以設定為較類似來源臉部影像。
請一併參閱第7圖以及第8圖，第7圖繪示根據本揭示文件之一實施例中一種影像處理方法700的方法流程圖。影像處理方法700的步驟S102至S106與先前實施例中的影像處理方法100相似。如第7圖所示，影像處理方法700的步驟S110包含兩個子步驟S110e與S110f。第8圖繪示根據一實作範例中根據影像處理方法700在複數個漸進相似強度下所形成一系列的輸出臉部影像IMGo1~IMGo5的示意圖。
如第7圖所示，子步驟S110e用以指定一系列的複數個漸進相似強度，這個漸進相似強度分別代表輸出臉部 影像以及目標臉部影像之間的不同程度的相似性。於此實施例中，這一系列的漸進相似強度分別由低至高，且彼此各自相異。
接著，子步驟S110f用以在一系列的漸進相似強度下，漸進地形成一系列的複數個輸出臉部影像。其中，該些輸出臉部影像每一者是分別根據該些漸進相似強度每一者各自調整該來源臉部影像的該些人臉特徵，使其趨近該目標臉部影像中相匹配之該些人臉特徵。如第8圖所示，一系列的輸出臉部影像共包含五張輸出臉部影像IMGo1~IMGo5。輸出臉部影像IMGo1較不相似於目標臉部影像IMGt而較類似於來源目標影像IMGs。輸出臉部影像IMGo5較類似於目標臉部影像IMGt而較不相似於來源目標影像IMGs。而輸出臉部影像IMGo2~IMG4則是逐漸地在輸出臉部影像IMGo1(五者中最類似來源目標影像IMGs)與輸出臉部影像IMGo5(五者中最類似目標臉部影像IMGt)之間轉移。
基於上述實施例，影像處理方法700可產生漸進的臉部變形結果(在漸進相似強度下的一系列的輸出臉部影像IMGo1~IMGo5)，使用者可以從一系列的輸出臉部影像IMGo1~IMGo5當中挑選中一個計算結果作為最終的輸出。於另一實施例中，輸出臉部影像IMGo1~IMGo5可以結合為來源目標影像IMGs與目標臉部影像IMGt之間的一個動畫特效。
本揭示文件提出一種影像處理方法用以調整 來源目標影像，使其趨近目標臉部影像。於一實施例中，來源臉部影像是由一原始相片中偵測得到，並根據一個使用者偏好的臉部模型(例如電影明星、名人、具有有趣臉部表情的人等)進行調整，藉此創造出好看或是有趣的相片(例如包含目標臉部影像)。基於本揭示文件的實施例，影像處理方法可用來調整來源臉部影像，使其在多個特徵維度(例如兩張影像之間的比例、形狀、顏色、材質與髮型等)上趨向使用者偏好的目標臉部影像。
此外，來源臉部影像可以在不同的相似強度下漸進地調整/改變/替換，以漸進地趨近偏好的臉部影像。基於本揭示文件，使用者可以簡易地調整原始相片中的來源臉部影像，並且在不同的相似強度下自動地產生趨近目標臉部影像的調整結果。
根據本揭示文件用以提供一電子裝置，其包含儲存單元以及處理單元。儲存單元用以儲存來源臉部影像以及目標臉部影像。處理單元用以根據該目標臉部影像處理該來源臉部影像，其中該處理單元包含複數個電腦可執行指令以執行前述實施例中的影像處理方法100/300/500/700。於一實施例中，電子裝置更包含使用者介面單元(例如觸控輸入面板、滑鼠、鍵盤等)以及顯示單元。舉例來說，使用者介面單元可以用以選擇來源臉部影像以及目標臉部影像(一或多張)、指定欲調整之特徵維度的組合以及指定相似強度(一或多個)，如前述實施例的詳細說明。顯示單元用來展示輸出臉部影像(一或多張)，例如第4C圖所示的輸出臉部影像IMGo或是第8圖所示 的多張輸出臉部影像IMGo1~IMGo5。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何本領域具通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧影像處理方法
S102~S110‧‧‧步驟

Claims (11)

  1. 一種影像處理方法，包含：提供一來源臉部影像以及一目標臉部影像；由該來源臉部影像以及該目標臉部影像分別擷取複數個人臉特徵；根據該來源臉部影像以及該目標臉部影像的該些人臉特徵分別產生複數個特徵維度；將該來源臉部影像的該些人臉特徵匹配至該目標臉部影像的該些人臉特徵；以及在該些特徵維度至少一者上調整該來源臉部影像的該些人臉特徵以形成一輸出臉部影像，該來源臉部影像的該些人臉特徵之調整是根據在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
  2. 如請求項1所述之影像處理方法，其中該些人臉特徵包含由該來源臉部影像以及該目標臉部影像擷取到的複數個特徵點、複數個色彩值或複數個亮度值。
  3. 如請求項1所述之影像處理方法，其中該些特徵維度包含由該來源臉部影像以及該目標臉部影像之該些人臉特徵所分析得到的臉孔邊界、臉部區域輪廓、臉部區域比例/位置、臉部紋理或皮膚色調。
  4. 如請求項1所述之影像處理方法，其中該來源臉部影像以及該目標臉部影像由相異的相片檔案提供 或是由同一個相片檔案中相異的部份提供。
  5. 如請求項1所述之影像處理方法，其中形成該輸出臉部影像之步驟包含：指定該輸出臉部影像以及該目標臉部影像之間的一相似強度；以及在全部該些特徵維度上，根據該相似強度調整該來源臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
  6. 如請求項1所述之影像處理方法，其中形成該輸出臉部影像之步驟包含：對於該些特徵維度每一者，各自指定該輸出臉部影像以及該目標臉部影像之間的複數個獨立相似強度；以及在該些特徵維度每一者上，分別根據該些獨立相似強度調整該來源臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
  7. 如請求項1所述之影像處理方法，更包含：由該些特徵維度中選擇欲調整之特徵維度的一組合，其中，當形成該輸出臉部影像時，屬於欲調整之特徵維度的該組合中的該些人臉特徵進行調整，未被選為該特徵維度組合中的該些人臉特徵保持與該來源臉部影像相同。
  8. 如請求項7所述之影像處理方法，其中形成該輸出臉部影像之步驟更包含：指定該輸出臉部影像以及該目標臉部影像之間的一相似強度；以及在被選擇的該些特徵維度上，根據該相似強度調整該來源臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
  9. 如請求項7所述之影像處理方法，其中形成該輸出臉部影像之步驟包含：對於被選擇的該些特徵維度每一者，各自指定該輸出臉部影像以及該目標臉部影像之間的複數個獨立相似強度；以及在被選擇的該些特徵維度每一者上，分別根據該些獨立相似強度調整該來源臉部影像的該些人臉特徵，使其趨近在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
  10. 如請求項1所述之影像處理方法，其中形成該輸出臉部影像之步驟包含：在一系列的複數個漸進相似強度下，漸進地形成一系列的複數個輸出臉部影像，其中，該些輸出臉部影像每一者是分別根據該些漸進相似強度每一者各自調整該來源臉部影像的該些人臉特 徵，使其趨近該目標臉部影像中相匹配之該些人臉特徵。
  11. 一種電子裝置，包含：一儲存單元，用以儲存一來源臉部影像以及一目標臉部影像；以及一處理單元，用以根據該目標臉部影像處理該來源臉部影像，其中該處理單元包含複數個電腦可執行指令以執行一方法，該方法包含：由該來源臉部影像以及該目標臉部影像分別擷取複數個人臉特徵；根據該來源臉部影像以及該目標臉部影像的該些人臉特徵分別產生複數個特徵維度；將該來源臉部影像的該些人臉特徵匹配至該目標臉部影像的該些人臉特徵；以及在該些特徵維度至少一者上調整該來源臉部影像的該些人臉特徵以形成一輸出臉部影像，該來源臉部影像的該些人臉特徵之調整是根據在相對應之特徵維度上該目標臉部影像中相匹配之該些人臉特徵。
TW104107217A 2014-09-12 2015-03-06 影像處理方法以及電子裝置 TWI544426B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/484,285 US9589178B2 (en) 2014-09-12 2014-09-12 Image processing with facial features

Publications (2)

Publication Number Publication Date
TW201610866A true TW201610866A (zh) 2016-03-16
TWI544426B TWI544426B (zh) 2016-08-01

Family

ID=54185841

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104107217A TWI544426B (zh) 2014-09-12 2015-03-06 影像處理方法以及電子裝置

Country Status (4)

Country Link
US (1) US9589178B2 (zh)
EP (1) EP2996087A3 (zh)
CN (1) CN106033529A (zh)
TW (1) TWI544426B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI718631B (zh) * 2018-09-28 2021-02-11 大陸商北京市商湯科技開發有限公司 人臉圖像的處理方法及裝置、電子設備和儲存介質

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6149854B2 (ja) * 2014-12-29 2017-06-21 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US9881413B2 (en) * 2016-06-09 2018-01-30 Adobe Systems Incorporated Illumination-guided example-based stylization of 3D renderings
EP3270356A1 (en) * 2016-07-12 2018-01-17 Alcatel Lucent Method and apparatus for displaying an image transition
CN107766774A (zh) * 2016-08-17 2018-03-06 鸿富锦精密电子(天津)有限公司 人脸识别***及方法
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、***及智能终端
KR102605077B1 (ko) * 2019-01-18 2023-11-23 스냅 아이엔씨 모바일 디바이스에서 사실적인 머리 회전들 및 얼굴 애니메이션 합성을 위한 방법들 및 시스템들
US11394888B2 (en) * 2019-01-18 2022-07-19 Snap Inc. Personalized videos
US11410364B2 (en) * 2019-01-18 2022-08-09 Snap Inc. Systems and methods for realistic head turns and face animation synthesis on mobile device
US10789453B2 (en) * 2019-01-18 2020-09-29 Snap Inc. Face reenactment
US11915355B2 (en) * 2019-01-18 2024-02-27 Snap Inc. Realistic head turns and face animation synthesis on mobile device
CN109886144B (zh) * 2019-01-29 2021-08-13 深圳市云之梦科技有限公司 虚拟试发方法、装置、计算机设备和存储介质
US11158028B1 (en) * 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
CN111291218B (zh) * 2020-01-20 2023-09-08 北京百度网讯科技有限公司 视频融合方法、装置、电子设备及可读存储介质
CN112785490B (zh) * 2020-12-30 2024-03-05 维沃移动通信有限公司 图像处理方法、装置及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537662A (en) 1992-05-29 1996-07-16 Casio Computer Co., Ltd. Electronic montage composing apparatus
TW413795B (en) 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
TW577028B (en) 2001-08-14 2004-02-21 Inst Information Industry Processing method of 3D dynamic data
JP4537779B2 (ja) * 2004-06-30 2010-09-08 京セラ株式会社 撮像装置および画像処理方法
US20070080967A1 (en) 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US7787664B2 (en) 2006-03-29 2010-08-31 Eastman Kodak Company Recomposing photographs from multiple frames
CN101425179B (zh) * 2008-11-18 2012-03-28 清华大学 一种人脸图像重光照的方法及装置
CN102385691A (zh) * 2010-08-31 2012-03-21 财团法人资讯工业策进会 脸部表情辨识***、辨识装置及辨识方法
US8692940B2 (en) * 2010-12-17 2014-04-08 Kodak Alaris Inc. Method for producing a blended video sequence
CN102354397B (zh) * 2011-09-19 2013-05-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
CN103839223B (zh) * 2012-11-21 2017-11-24 华为技术有限公司 图像处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI718631B (zh) * 2018-09-28 2021-02-11 大陸商北京市商湯科技開發有限公司 人臉圖像的處理方法及裝置、電子設備和儲存介質
US11341768B2 (en) 2018-09-28 2022-05-24 Beijing Sensetime Technology Development Co., Ltd. Face image processing method and apparatus, electronic device, and storage medium
US11734804B2 (en) 2018-09-28 2023-08-22 Beijing Sensetime Technology Development Co., Ltd. Face image processing method and apparatus, electronic device, and storage medium
US11741583B2 (en) 2018-09-28 2023-08-29 Beijing Sensetime Technology Development Co., Ltd. Face image processing method and apparatus, electronic device, and storage medium

Also Published As

Publication number Publication date
US9589178B2 (en) 2017-03-07
EP2996087A2 (en) 2016-03-16
US20160078280A1 (en) 2016-03-17
EP2996087A3 (en) 2016-06-22
CN106033529A (zh) 2016-10-19
TWI544426B (zh) 2016-08-01

Similar Documents

Publication Publication Date Title
TWI544426B (zh) 影像處理方法以及電子裝置
CN109690617B (zh) 用于数字化妆镜的***和方法
US9142054B2 (en) System and method for changing hair color in digital images
Shih et al. Style transfer for headshot portraits
US20100189357A1 (en) Method and device for the virtual simulation of a sequence of video images
JP2023036784A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN106780293B (zh) 头部特写肖像的样式传递
US8908904B2 (en) Method and system for make-up simulation on portable devices having digital cameras
JP5991536B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP3779570B2 (ja) 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
US9058765B1 (en) System and method for creating and sharing personalized virtual makeovers
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2020526809A5 (zh)
US20190026954A1 (en) Virtually trying cloths on realistic body model of user
CN106326823B (zh) 一种获取图片中头像的方法和***
US8406519B1 (en) Compositing head regions into target images
CN105513013B (zh) 一种手机图片发型合成方法
Xu et al. An automatic framework for example-based virtual makeup
US20160070955A1 (en) Portrait generating device and portrait generating method
Zhang et al. Data-driven face cartoon stylization
CN113344836B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
JP2021144582A (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
CN114155569B (zh) 一种化妆进度检测方法、装置、设备及存储介质
JP2007299113A (ja) ヘアカラー・メイクアップシミュレーションシステム
US20220157030A1 (en) High Quality AR Cosmetics Simulation via Image Filtering Techniques