TWI788630B - 三維人臉模型生成方法、裝置、電腦設備及儲存介質 - Google Patents

三維人臉模型生成方法、裝置、電腦設備及儲存介質 Download PDF

Info

Publication number
TWI788630B
TWI788630B TW109105564A TW109105564A TWI788630B TW I788630 B TWI788630 B TW I788630B TW 109105564 A TW109105564 A TW 109105564A TW 109105564 A TW109105564 A TW 109105564A TW I788630 B TWI788630 B TW I788630B
Authority
TW
Taiwan
Prior art keywords
dimensional face
model
face image
dimensional
similarity
Prior art date
Application number
TW109105564A
Other languages
English (en)
Other versions
TW202032503A (zh
Inventor
陳雅靜
宋奕兵
凌永根
暴林超
劉威
Original Assignee
大陸商騰訊科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司 filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW202032503A publication Critical patent/TW202032503A/zh
Application granted granted Critical
Publication of TWI788630B publication Critical patent/TWI788630B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一種三維人臉模型生成方法、裝置、電腦設備及儲存介質。所述方法包括：獲取二維人臉圖像；調用人臉模型生成模型，人臉模型生成模型用於提取二維人臉圖像的全域特徵和局部特徵，基於全域特徵和局部特徵，獲取三維人臉模型參數，基於三維人臉模型參數，生成二維人臉圖像對應的三維人臉模型；將二維人臉圖像輸入人臉模型生成模型中，輸出二維人臉圖像對應的三維人臉模型。相比於只根據局部特徵得到的三維人臉模型，本揭示基於全域特徵和局部特徵獲取的三維人臉模型，人臉細節體現的更明顯，更精細，還原度高，從而三維人臉模型更真實。

Description

三維人臉模型生成方法、裝置、電腦設備及儲存介質
本發明涉及電腦技術領域，特別涉及一種三維人臉模型生成方法、裝置、電腦設備及儲存介質。
隨著電腦技術的發展，基於圖像生成三維人臉模型的技術已經在很多領域得到了應用，例如，該技術已經廣泛應用於人臉識別、公安、醫療、遊戲或影視娛樂等領域。
目前，三維人臉模型生成方法通常是通過提取二維人臉圖像的全域特徵，根據該全域特徵，計算得到三維人臉模型參數，從而可以根據三維人臉模型參數計算得到三維人臉模型。
上述三維人臉模型生成方法中僅提取了二維人臉圖像的全域特徵，基於全域特徵計算得到的三維人臉模型並未關注人臉細節，例如，五官形狀、表情或紋理等處理較為粗糙，得到三維人臉模型不夠真實，並不能很好還原二維人臉圖像中人臉的細節。
本發明實施例提供了一種三維人臉模型生成方法、裝置、電腦設備及儲存介質，可以解決相關技術中三維人臉模型不夠真實，並不能很好還原二維人臉圖像中人臉的細節的問題。所述技術方案如下：
一方面，提供了一種三維人臉模型生成方法，所述方法包括：
獲取二維人臉圖像；
調用人臉模型生成模型，所述人臉模型生成模型用於提取所述二維人臉圖像的全域特徵和局部特徵，基於所述全域特徵和局部特徵，獲取三維人臉模型參數，基於所述三維人臉模型參數，生成所述二維人臉圖像對應的三維人臉模型；
將所述二維人臉圖像輸入所述人臉模型生成模型中，輸出所述二維人臉圖像對應的三維人臉模型。
一方面，提供了一種三維人臉模型生成裝置，所述裝置包括：
獲取模組，用於獲取二維人臉圖像；
調用模組，用於調用人臉模型生成模型，所述人臉模型生成模型用於提取所述二維人臉圖像的全域特徵和局部特徵，基於所述全域特徵和局部特徵，獲取三維人臉模型參數，基於所述三維人臉模型參數，生成所述二維人臉圖像對應的三維人臉模型；
生成模組，用於將所述二維人臉圖像輸入所述人臉模型生成模型中，輸出所述二維人臉圖像對應的三維人臉模型。
一方面，提供了一種電腦設備，所述電腦設備包括一個或多個處理器和一個或多個記憶體，所述一個或多個記憶體中儲存有至少一條指令，所述指令由所述一個或多個處理器載入並執行以實現所述三維人臉模型生成方法所執行的操作。
一方面，提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有至少一條指令，所述指令由處理器載入並執行以實現所述三維人臉模型生成方法所執行的操作。
本發明實施例通過人臉模型生成模型，對二維人臉圖像進行處理，生成三維人臉模型，在生成過程中既提取了全域特徵，又提取了局部特徵，從而綜合二者獲取三維人臉模型，這樣得到的三維人臉模型相比於只根據局部特徵得到的三維人臉模型，人臉細節體現的更明顯，人臉細節處理的更精細，還原度高，從而三維人臉模型更真實。
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。
圖1是本發明實施例提供的一種三維人臉模型生成方法的實施環境，該實施環境可以包括至少一個電腦設備，參見圖1，僅以該實施環境包括多個電腦設備為例進行說明。其中，該多個電腦設備可以通過有線連接方式實現資料交互，也可以通過無線網路連接方式實現資料交互，本發明實施例對此不作限定。
在本發明實施例中，電腦設備101可以基於二維人臉圖像，生成三維人臉模型，得到該二維人臉圖像對應的三維人臉模型，該過程是三維人臉重建過程。在一種可能實現方式中，該電腦設備101中可以儲存有人臉模型生成模型，該電腦設備101可以基於儲存的該人臉模型生成模型對二維人臉圖像進行處理，實現三維人臉模型生成過程。在另一種可能實現方式中，該電腦設備101也可以在有人臉模型生成需求時調用其它電腦設備上的人臉模型生成模型進行人臉模型生成的過程，本發明實施例對此不作限定，下述均以該電腦設備101儲存有人臉模型生成模型為例進行說明。
在一種可能實現方式中，該人臉模型生成模型可以在該電腦設備101上訓練得到，也可以在其他電腦設備上訓練得到，例如，該其他電腦設備可以為電腦設備102。電腦設備102還可以將該訓練好的人臉模型生成模型封裝後發送至該電腦設備101，從而電腦設備101可以接收並儲存該訓練好的人臉模型生成模型。本發明實施例對該人臉模型生成模型的訓練設備不作限定。
在一種可能實現方式中，該電腦設備101可以進行圖像採集，得到二維人臉圖像，並調用儲存的人臉模型生成模型對該二維人臉圖像進行處理，得到三維人臉模型。在另一種可能實現方式中，該電腦設備101可以接收其他電腦設備發送的人臉模型生成請求，該人臉模型生成請求中攜帶有二維人臉圖像，該電腦設備101可以實現上述三維人臉模型生成步驟，並將生成的三維人臉模型發送至該其他電腦設備。本發明實施例對具體採用哪種實現方式不作限定。
具體地，該電腦設備101和電腦設備102均可以被提供為終端，也可以被提供為伺服器，本發明實施例對此不作限定。
圖2是本發明實施例提供的一種人臉模型生成模型訓練方法的流程圖，該人臉模型生成模型訓練方法可以應用於電腦設備，該電腦設備可以為上述電腦設備101，也可以為上述電腦設備102，本發明實施例對此不作限定。該電腦設備可以為終端，也可以為伺服器，本發明實施例對此也不作限定。參見圖2，該人臉模型生成模型訓練方法可以包括以下步驟：
201、電腦設備獲取多個樣本二維人臉圖像。
在本發明實施例中，電腦設備可以基於樣本二維人臉圖像，對初始模型進行訓練，得到人臉模型生成模型，從而後續可以基於該訓練好的人臉模型生成模型，生成三維人臉模型。
在一種可能實現方式中，該多個樣本二維人臉圖像可以儲存於該電腦設備中，在該電腦設備需要進行人臉模型生成模型訓練時，可以從該本機存放區中獲取該多個樣本二維人臉圖像。在另一種可能實現方式中，該多個樣本二維人臉圖像也可以儲存於其他電腦設備中，在該電腦設備需要進行人臉模型生成模型訓練時，從該其他電腦設備處獲取該多個樣本二維人臉圖像。例如，該電腦設備可以從圖像資料庫，獲取多個二維人臉圖像作為樣本圖像。本發明實施例對該樣本二維人臉圖像的獲取方式不作限定。
需要說明的是，該人臉模型生成模型的訓練過程可以採用無監督學習的方式，電腦設備可以獲取多個樣本二維人臉圖像，基於樣本二維人臉圖像即可完成模型訓練過程，該樣本二維人臉圖像可以無需攜帶有標籤資訊。該標籤資訊一般是指人工合成的三維人臉模型參數，為偽真實資料。
202、電腦設備調用初始模型，將該多個樣本二維人臉圖像輸入該初始模型中。
電腦設備獲取到樣本二維人臉圖像後，可以基於該樣本二維人臉圖像對初始模型進行訓練，因而，電腦設備可以調用初始模型，將樣本二維人臉圖像輸入初始模型中，該初始模型中的模型參數為初始值，電腦設備可以根據該初始模型對樣本二維人臉圖像進行處理的情況，對該初始模型的模型參數進行調整，以使得調整後的初始模型基於二維人臉圖像能夠得到與二維人臉圖像更相像、人臉細節更好的三維人臉模型。
其中，該初始模型可以儲存於該電腦設備中，也可以儲存於其他電腦設備中，該電腦設備從其他電腦設備處獲取該初始模型，本發明實施例對此不作限定。
203、對於每個樣本二維人臉圖像，電腦設備中的初始模型提取該樣本二維人臉圖像的全域特徵和局部特徵。
電腦設備將多個樣本二維人臉圖像輸入初始模型後，該初始模型可以對輸入的多個樣本二維人臉圖像進行處理。具體地，初始模型可以基於每個樣本二維人臉圖像進行三維人臉模型生成步驟，得到三維人臉模型。
該三維人臉模型生成步驟中，對於每個樣本二維人臉圖像，初始模型可以先提取樣本二維人臉圖像的特徵，基於該樣本二維人臉圖像的特徵，生成三維人臉模型，這樣得到的三維人臉模型與樣本二維人臉圖像才可以具有相同的特徵，二者更相似。
具體地，該初始模型可以獲取該樣本二維人臉圖像的全域特徵和局部特徵，其中，該全域特徵是指對樣本二維人臉圖像進行特徵提取得到的全部特徵。局部特徵是指對樣本二維人臉圖像的局部區域進行特徵提取得到的特徵。例如，該全域特徵可以體現該樣本二維人臉圖像的全部區域，局部特徵可以體現該樣本二維人臉圖像的局部區域，例如，該樣本二維人臉圖像中人臉的五官。又例如，該局部區域可以為眼睛和鼻子，或眼睛和嘴巴，當然，也可以為其他區域，本發明實施例對此不作限定。該特徵提取過程中既考慮到了全域特徵，又考慮到了局部特徵，這樣在對樣本二維人臉圖像有了整體把握的同時，還能對人臉細節進行進一步優化，從而綜合全域特徵和局部特徵得到的三維人臉模型效果更好。
下面針對每個樣本二維人臉圖像的全域特徵和局部特徵的提取過程進行詳細說明，具體可以通過下述步驟一至步驟三實現：
步驟一、電腦設備可以基於多個卷積層，對該樣本二維人臉圖像進行特徵提取，得到該樣本二維人臉圖像的全域特徵。
電腦設備可以通過對樣本二維人臉圖像進行多次卷積，來提取該樣本二維人臉圖像的全域特徵。在一個具體的可能實施例中，該初始模型可以採用人臉視覺幾何組（Visual Geometry Group-Face，VGG-Face）網路，初始模型可以使用該VGG-Face網路中的多個卷積層對樣本二維人臉圖像進行特徵提取。在另一個具體的可能實施例中，該初始模型還可以採用其他人臉識別網路實現，例如，可以採用FaceNet,該FaceNet是一種人臉識別網路。本發明實施例對該初始模型具體採用哪種人臉識別網路不作限定。
在一種可能實現方式中，該步驟一可以通過編碼器實現，該全域特徵可以採用全域特徵向量的形式表示。該步驟一可以為：電腦設備可以基於編碼器的多個卷積層，對該樣本二維人臉圖像進行編碼，得到該樣本二維人臉圖像的全域特徵向量。
進一步地，該全域特徵向量也可以為特徵圖的形式，例如，可以為矩陣的形式，當然，也可以為其他形式，例如陣列的形式，本發明實施例對此不作限定。例如，上一個卷積層均可以對樣本二維人臉圖像進行處理得到一個特徵圖，並將該特徵圖輸入下一個卷積層，由該下一個卷積層繼續對輸入的特徵圖進行處理，得到一個特徵圖。
步驟二、電腦設備獲取該樣本二維人臉圖像的關鍵點的中心位置。
在該步驟二中，電腦設備可以對樣本二維人臉圖像進行關鍵點檢測，得到該樣本二維人臉圖像的關鍵點的位置，其中，該關鍵點可以是指該人臉的五官和臉部輪廓等部位。例如，人臉可以包括68個關鍵點。電腦設備可以基於得到的關鍵點的位置，獲取該關鍵點的中心位置。例如，電腦設備在得到68個關鍵點的位置時，可以計算該68個關鍵點的中心位置。其中，該電腦設備進行關鍵點檢測的過程可以採用任一種關鍵點檢測技術實現，本發明實施例對此不作限定。
步驟三、電腦設備基於該中心位置，從該多個卷積層中至少一個目標卷積層得到的特徵中，提取部分特徵作為該樣本二維人臉圖像的局部特徵。
該步驟二和步驟三為電腦設備獲取樣本二維人臉圖像的局部特徵的過程，在該過程中，電腦設備先基於人臉的關鍵點的中心位置，從樣本二維人臉圖像的全部特徵中截取部分特徵，可以得到人臉的五官或臉部輪廓部位的特徵，從而在後續生成三維人臉模型時，基於獲取到的局部特徵，可以使得生成的三維人臉模型中人臉的五官或臉部輪廓處理的更細緻。
在一種可能實現方式中，上述步驟一中，上一個卷積層均可以對樣本二維人臉圖像進行處理得到一個特徵圖，並將該特徵圖輸入下一個卷積層，由該下一個卷積層繼續對輸入的特徵圖進行處理，得到一個特徵圖。電腦設備獲取局部特徵時，即可從上述多個卷積層中的某一個或某幾個卷積層得到的特徵圖中截取部分特徵。該某一個或某幾個卷積層即為至少一個目標卷積層。例如，以該初始模型採用VGG-Face網路為例，該至少一個目標卷積層可以為卷積層con2_2和卷積層con3_3，該至少一個目標卷積層可以由相關技術人員進行設置或調整，本發明實施例對此不作限定。這樣對不同層次的卷積層得到的特徵進行部分特徵的提取，得到的局部特徵也包括了人臉的底層資訊和高層資訊，局部特徵更豐富，最終體現在三維人臉模型中人臉細節也更細緻。
具體地，不同的目標卷積層可能對應於不同的目標尺寸，對於每個目標卷積層，電腦設備從該目標卷積層得到的特徵圖中，以該中心位置為中心，截取該目標卷積層對應的目標尺寸的特徵圖作為該樣本二維人臉圖像的局部特徵。例如，電腦設備以該中心位置為中心，從con2_2得到的特徵圖中截取大小為64x64的特徵圖，從con3_3得到的特徵圖中截取大小為32x32的特徵圖。該大小為64x64的特徵圖和該大小為32x32的特徵圖可以體現該樣本二維人臉圖像中人臉的五官或臉部輪廓等部位對應的特徵。在該局部特徵的過程中，可以將該目標卷積層看做局部編碼器中的卷積層，基於局部編碼器獲取得到局部特徵。
在一種可能實現方式中，步驟一可以通過編碼器實現，全域特徵可以採用全域特徵向量的形式表示，該步驟三也可以從上述編碼器中的目標卷積層中提取局部特徵，該局部特徵也可以採用局部特徵向量的形式表示。該步驟三可以為：電腦設備從該編碼器的多個卷積層中至少一個目標卷積層得到的全域特徵向量中，提取該全域特徵向量的部分特徵值，基於該部分特徵值，獲取該二維人臉圖像的第一局部特徵向量。相應地，下述步驟204中，計算三維人臉模型參數的過程可以基於第一解碼器實現，具體可以參見下述步驟204，本發明實施例在此不多做贅述。
在一個具體的可能實施例中，從該全域特徵向量中提取的部分特徵值組成的向量與上述步驟一中經過多個卷積層得到的全域特徵向量的形式不同，後續還需要基於該全域特徵向量和局部特徵向量計算三維人臉模型參數，因而，在提取到部分特徵值後，電腦設備還可以基於第二解碼器，對該部分特徵值進行進一步處理，使得得到的局部特徵向量與全域特徵向量形式相同，更容易融合以計算三維人臉模型參數。
在該實施例中，電腦設備基於該部分特徵值，獲取該二維人臉圖像的第一局部特徵向量的過程可以基於第二解碼器實現，則上述獲取局部特徵的過程可以為：電腦設備提取該至少一個目標卷積層得到的全域特徵向量中的部分特徵值；電腦設備基於第二解碼器，對提取到的部分特徵值進行解碼，得到該二維人臉圖像的第一局部特徵向量。該第一局部特徵向量即用於與全域特徵向量結合以獲取三維人臉模型參數。
在一種可能實現方式中，人臉可以包括多個部位，例如，眼睛、鼻子、嘴巴等，電腦設備在提取該全域特徵中的部分特徵時，可以獲取到多個區域對應的部分特徵，然後可以將該多個區域對應的部分特徵進行整合，得到該樣本二維人臉圖像的局部特徵。對不同的目標卷積層得到的部分特徵中還可以均包括該多個區域對應的部分特徵，如果對多個目標卷積層進行了部分特徵提取，電腦設備也需要對該多個目標卷積層對應的部分特徵進行整合。
在該實現方式中，對於每個目標卷積層，電腦設備可以提取該目標卷積層中全域特徵向量中多個區域對應的部分特徵值，基於第二解碼器，對提取到的部分特徵值進行解碼，得到多個區域的第一局部特徵向量，每個區域對應於人臉的一個器官部位；電腦設備可以對該多個區域的第一局部特徵向量進行拼接，得到該二維人臉圖像的第一局部特徵向量。
例如，以目標卷積層為con2_2和con3_3，多個區域為左眼、右眼和嘴巴為例，電腦設備在con2_2中可以獲取到左眼、右眼和嘴巴的特徵，在con3_3中也可以獲取到左眼、右眼和嘴巴的特徵，也即是，電腦設備獲取到了多個層次中多個區域的局部特徵。在一個具體示例中，每個層次每個區域的局部特徵均可以對應一個第二解碼器，電腦設備可以對每個層次每個區域提取到的局部特徵進行解碼，得到每個層次每個區域對應的第一局部特徵向量。電腦設備可以將該多個區域對應的多個第一局部特徵向量拼接在一起，得到該二維人臉圖像的第一局部特徵向量。
204、電腦設備中的初始模型基於該全域特徵和局部特徵，獲取三維人臉模型參數。
對於每個樣本二維人臉圖像，初始模型在獲取到全域特徵和局部特徵後，可以綜合二者，計算三維人臉模型參數，在一種可能實現方式中，該三維人臉模型參數可以為三維可變人臉模型（three dimensional morphable model，3DMM）的參數。
在一種可能實現方式中，初始模型在得到全域特徵和局部特徵時基於編碼器實現，在該步驟204中，初始模型可以基於第一解碼器對全域特徵和局部特徵進行解碼，得到三維人臉模型參數。在上述步驟203中可以得知，該全域特徵可以為編碼得到的全域特徵向量，該局部特徵可以為編碼並解碼得到的第一局部特徵向量，則該步驟204中，電腦設備可以基於第一解碼器，對該全域特徵向量和該第一局部特徵向量進行解碼，得到三維人臉模型參數。
在一個具體的可能實施例中，該第一解碼器中可以包括一層全連接層，電腦設備可以基於該全連接層，對該全域特徵向量和該第一局部特徵向量進行計算，得到三維人臉模型參數。
需要說明的是，該三維人臉模型參數可以包括人臉的紋理資訊、表情資訊、形狀資訊等人臉資訊。當然，該三維人臉模型參數還可以包括其他人臉資訊，例如，姿態資訊等，本發明實施例對此不作限定。通過該三維人臉模型參數即可以獲知該人臉在紋理、表情、形狀上的情況，因而，電腦設備可以下述步驟205，對該三維人臉模型參數進行處理，得到三維人臉模型。
205、電腦設備中的初始模型基於該三維人臉模型參數，輸出該樣本二維人臉圖像對應的三維人臉模型。
該三維人臉模型參數即包括了多種人臉資訊，初始模型可以根據該多種人臉資訊生成三維人臉模型，使得生成的三維人臉模型的人臉資訊與該三維人臉模型參數所指示的人臉資訊相同。例如，該三維人臉模型的紋理資訊應該與三維人臉模型參數所包括的紋理資訊相同，三維人臉模型中人臉的表情應該與三維人臉模型參數所包括的表情資訊對應的表情相同，人臉形狀同理，在此不多做贅述。
在一種可能實現方式中，該三維人臉模型可以為多個臉部模型的組合，電腦設備可以根據該三維人臉模型參數和多個初始臉部模型，得到三維人臉模型。具體地，該電腦設備可以根據該三維人臉模型參數，計算得到該多個臉部模型的係數，從而對該多個初始臉部模型和對應的係數進行計算，得到多個臉部模型，將該多個臉部模型拼接可以得到該三維人臉模型。
在另一種可能實現方式中，該三維人臉模型可以基於平均人臉模型和該三維人臉模型參數確定，電腦設備可以基於該三維人臉模型參數，獲取多個主成分部分的係數，然後將係數作為該主成分部分的權重，對該多個主成分部分進行加權求和，從而在平均人臉模型與該加權求和結果進行求和，得到最終的三維人臉模型。其中，每個主成分部分可以只是人臉形狀，也可以是指紋理等，本發明實施例對此不作限定。基於該三維人臉模型參數生成三維人臉模型的過程還可以通過其他方式實現，本發明實施例對具體採用哪種實現方式不作限定。
需要說明的是，上述步驟202至步驟205為調用初始模型，將該多個樣本二維人臉圖像輸入該初始模型中，對於每個樣本二維人臉圖像，由該初始模型提取該樣本二維人臉圖像的全域特徵和局部特徵；基於該全域特徵和局部特徵，獲取三維人臉模型參數，基於該三維人臉模型參數，輸出該樣本二維人臉圖像對應的三維人臉模型的過程，初始模型對每個樣本二維人臉圖像進行處理，可以得到對應的三維人臉模型。
206、電腦設備中的初始模型對該三維人臉模型進行投影，得到該三維人臉模型對應的二維人臉圖像。
初始模型生成三維人臉模型後，可以確定該三維人臉模型與輸入的樣本二維人臉圖像的相似度，從而確定本次人臉模型生成的效果是好還是壞，以衡量該初始模型的人臉模型生成功能，在該初始模型的人臉模型生成功能不好時，可以對初始模型的模型參數進行調整，一直到調整後的初始模型的人臉模型生成功能滿足條件時可以停止調整，也即完成了模型訓練過程。
初始模型在確定三維人臉模型與樣本二維人臉圖像的相似度時，可以將該三維人臉模型渲染為二維人臉圖像，再去比較渲染得到的二維人臉圖像與輸入的樣本二維人臉圖像的相似度。其中，該渲染過程可以為：初始模型基於該全域特徵，獲取該樣本二維人臉圖像的拍攝資訊，該拍攝資訊用於指示拍攝該樣本二維人臉圖像時的拍攝姿勢、光照或拍攝背景中至少一種；初始模型基於該拍攝資訊，對該三維人臉模型進行投影，得到該三維人臉模型對應的二維人臉圖像。
其中，該拍攝資訊體現出來的內容是需要從該樣本二維人臉圖像的整體得出的，因而初始模型可以基於全域特徵進行拍攝資訊獲取步驟。電腦設備在獲取到全域特徵後，可以根據該全域特徵分析得到該樣本二維人臉圖像的拍攝資訊，也即是，可以獲知拍攝者拍攝該樣本二維人臉圖像的姿勢，或者可以獲知該樣本二維人臉圖像是在什麼樣的光照條件下拍攝得到的，或者可以獲知該樣本二維人臉圖像的拍攝背景是什麼樣的。這樣在投影時基於同樣的拍攝姿勢、同樣的光照情況或同樣的拍攝背景下對三維人臉模型進行投影，則可以提高投影得到的二維人臉圖像和輸入的樣本二維人臉圖像之間的可比性，也可以使得獲取到的相似度更準確。
具體地，電腦設備可以採用正交投影的方式對三維人臉模型進行投影，也可以採用透視投影的方式對三維人臉模型進行投影，當然，還可以採用其他投影方式，本發明實施例對採用的投影方式不作限定。例如，以採用正交投影為例，該投影過程可以為：電腦設備按照該拍攝資訊，將該三維人臉模型人臉按照拍攝資訊中的拍攝姿勢進行旋轉，然後電腦設備採用正交投影，把三維人臉模型投影到二維，並根據三維人臉模型的法向量、紋理資訊、和光照模型計算得到二維人臉圖像中每個像素點的像素值，具體地，該像素值可以為紅綠藍色彩模式（Red Green Blue，RGB）的值。其中，該光照模型可以採用球諧關照模型，也可以採用Phong反射模型（Phong reflection model），當然，還可以採用其他光照模型，本發明實施例對此不作限定。
207、電腦設備中的初始模型獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。
電腦設備投影得到二維人臉圖像後，可以對比該二維人臉圖像和輸入的樣本二維人臉圖像，以確定初始模型對樣本二維人臉圖像進行處理後得到的三維人臉圖像是否能夠還原該樣本二維人臉圖像中人臉的特徵。
電腦設備可以從多個角度對比兩個人臉圖像，以得到該兩個人臉圖像在多個角度上的相似度。具體地，可以既關注人臉底層的資訊，例如，人臉的形狀、表情、紋理等，也關注人臉高層的語義資訊，例如，兩個圖像中人臉的身份是否一致。在一種可能實現方式中，該步驟207中初始模型獲取相似度的過程可以通過下述步驟一至步驟四實現：
步驟一、電腦設備中的初始模型基於該三維人臉模型對應的二維人臉圖像的關鍵點與該樣本二維人臉圖像對應的關鍵點的位置，獲取第一相似度。
在該步驟一中，初始模型可以關注圖像的底層資訊，初始模型可以確定兩個圖像中人臉的關鍵點位置是否一致，以此來判斷兩個圖像的相似度。在一種可能實現方式中，該第一相似度可以基於第一損失函數確定，該初始模型可以基於第一損失函數、該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像，獲取第一相似度。例如，該第一損失函數可以為關鍵點損失（Landmark Loss）函數。當然，該第一損失函數還可以為其他損失函數，在此僅為一種示例說明，本發明實施例對此不作限定。
在一個具體的可能實施例中，該第一相似度可以採用L2距離的表達方式，也即是該第一相似度可以為L2損失，該L2損失又稱均方誤差（Mean Squared Error，MSE），也即是，初始模型可以計算兩個圖像的關鍵點的位置之間的差值，並計算差值的平方值的期望值。該L2損失越小，則說明兩個圖像的關鍵點位置的相似度越大，兩個圖像的關鍵點越一致。當然，上述僅為一種示例性說明，該第一相似度還可以採用其他表達方式，例如，L1距離，本發明實施例對此不作限定。
步驟二、電腦設備中的初始模型基於該三維人臉模型對應的二維人臉圖像的像素點的像素值與該樣本二維人臉圖像對應像素點的像素值，獲取第二相似度。
在該步驟二中，初始模型可以關注圖像的底層資訊，初始模型可以確定兩個圖像中的像素點的像素值的差異，如果相差很大，則兩個圖像的相似度較低，如果相差很小，則兩個圖像的相似度較高。
在一種可能實現方式中，該第二相似度可以基於第二損失函數確定，該初始模型可以基於第二損失函數、該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像，獲取第二相似度。例如，該第二損失函數可以為光度損失（Photometric Loss）函數。當然，該第二損失函數還可以為其他損失函數，在此僅為一種示例說明，本發明實施例對此不作限定。
在一個具體的可能實施例中，該第一相似度可以採用L21距離的表達方式，也即是，初始模型可以計算兩個圖像對應像素點的像素值之間的L21距離。當然，該第一相似度也可以採用其他表達方式，例如，L2距離，或L1距離等，本發明實施例對此不作限定。
步驟三、電腦設備中的初始模型對該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像進行匹配，得到第三相似度，該第三相似度用於指示該二維人臉圖像中人臉的身份和該樣本二維人臉圖像中人臉的身份是否相同。
在該步驟三中，初始模型可以關注兩個圖像的高層語義資訊，初始模型可以確定兩個圖像中人臉的身份是否一致，並以此作為該初始模型的人臉重建的準確性，這樣可以保證生成三維人臉模型後，生成的人臉與輸入的二維人臉圖像中人臉的身份一致，也即是，通過對兩個圖像進行人臉識別，均可以正確識別該人臉的身份，且並未因人臉重建過程導致無法識別出該用戶的身份。
在一種可能實現方式中，該第三相似度可以基於人臉識別模型確定，也即是，該第三相似度基於人臉識別模型對該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像進行人臉識別得到。在該實現方式中，初始模型可以基於人臉識別模型，對該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像進行人臉識別，得到第三相似度。
具體地，初始模型可以調用人臉識別模型，將該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像輸入該人臉識別模型，由該人臉識別模型對該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像進行人臉識別，輸出第三相似度。其中，該人臉識別模型可以為訓練好的模型，初始模型可以使用該人臉識別模型識別圖像中人臉的身份。
在一個具體的可能實施例中，該人臉識別模型獲取第三相似度的過程可以基於第三損失函數實現，也即是，該初始模型可以基於第三損失函數、該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像，獲取第三相似度。例如，該第三損失函數可以為感知損失（Perceptual Loss）函數。當然，該第三損失函數還可以為其他損失函數，在此僅為一種示例說明，本發明實施例對此不作限定。
例如，該人臉識別模型可以為VGG-Face網路，將該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像輸入該VGG-Face網路中，該VGG-Face網路中的多個卷積層可以分別對該二維人臉圖像和該樣本二維人臉圖像進行特徵提取，得到兩個特徵向量，進而可以計算該兩個特徵向量的歐氏距離，將該歐式距離作為第三相似度。其中，該VGG-Face網路中卷積層進行多次特徵提取，PC7層可以輸出該兩個特徵向量。
需要說明的是，使用VGG-Face網路作為人臉識別模型，由於該VGG-Face網路對光照不敏感，可以使得光照顏色和膚色分離，從而學習到更加自然的膚色和更加真實的光照。且形狀上通過光影變化和人臉識別資訊比對，可以讓生成的三維人臉模型的面部結構與輸入的二維人臉圖像更加相似。綜合這兩點，本發明提供的方法對不同解析度、不同光照條件不同背景下的二維人臉圖像都比較魯棒。
進一步地，上述方法中獲取單張圖片比較容易，這也使得該方法更具有可推廣性。在一種可能實現方式中，該方法中，電腦設備還可以對二維人臉圖像進行預處理，例如，可以對二維人臉圖像進行人臉檢測，當該二維人臉圖像中包括多個人臉時，可以將該二維人臉圖像裁剪為多個人臉對應的多個人臉圖像，從而針對每個人臉圖像，執行上述生成三維人臉模型的步驟。
在一種可能實現方式中，上述步驟一至步驟三中，初始模型可以分別基於第一損失函數、第二損失函數、第三損失函數，以及該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像，獲取第一相似度、第二相似度以及第三相似度。上述內容已示出，本發明實施例在此不多做贅述。
需要說明的是，對於該步驟一至步驟三，電腦設備可以無需全部執行該步驟一至步驟三，可以根據步驟四中的設置，初始模型需要基於哪幾個角度的相似度，確定兩個圖像的相似度，則執行上述步驟一至步驟三中的相應的步驟即可。且該步驟一至步驟三的執行順序可以任意，也即是，該步驟一至步驟三可以按照任意順序進行排列，也可以由電腦設備同時執行該步驟一至步驟三，本發明實施例對該步驟一至步驟三的執行順序不作限定。
步驟四、電腦設備中的初始模型基於該第一相似度和該第二相似度中至少一種相似度，以及該第三相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。
初始模型在獲取到多個角度的相似度時，可以綜合考慮該多個相似度，獲取兩個圖像的相似度。具體地，該步驟四中可以包括三種情況：
在情況一中，電腦設備中的初始模型基於該第一相似度和該第三相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。具體地，電腦設備中的初始模型可以對所述第一相似度和該第三相似度進行加權求和，得到該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。本發明實施例對多個相似度的權重不作限定。
在情況二中，電腦設備中的初始模型基於該第二相似度和該第三相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。具體地，電腦設備中的初始模型可以對該第二相似度和該第三相似度進行加權求和，得到該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。本發明實施例對多個相似度的權重不作限定。
在情況三中，電腦設備中的初始模型基於該第一相似度、該第二相似度和該第三相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。具體地，電腦設備中的初始模型可以對所述第一相似度、該第二相似度和該第三相似度進行加權求和，得到該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。本發明實施例對多個相似度的權重不作限定。
在上述三種情況中，初始模型既考慮到了圖像的底層資訊，也考慮到了圖像高層的語義資訊，這樣對該兩個圖像的分析更全面，更準確，從而可以保證生成的三維人臉模型可以準確還原輸入的二維人臉圖像的底層和高層資訊，還原度高，與原輸入圖像更相似，更真實。
上述僅提供了三種情況，該初始模型還可以考慮其他角度獲取兩個圖像的相似度，在一種可能實現方式中，上述步驟203中，該初始模型還可以在得到第一局部特徵向量後，還可以基於該第一局部特徵向量進行重建輸入的局部特徵，來對比重建的局部特徵與直接從全域特徵中提取到的局部特徵是否一致，獲取第四相似度，以該第四相似度來訓練局部編碼器更好的抓住底層局部資訊，使得人臉細節體現的更明顯。
具體地，該樣本二維人臉圖像的局部特徵為第一局部特徵向量，該第一局部特徵向量基於從全域特徵中提取到的部分特徵值確定。初始模型可以基於該第一局部特徵向量，獲取第二局部特徵向量，該第二局部特徵向量的特徵值和該從全域特徵中提取到的部分特徵值的分佈情況相同。其中，該第二局部特徵向量即為重建得到的局部特徵向量。初始模型可以基於該第二局部特徵向量和從該全域特徵中提取到的對應的部分特徵值之間的距離，獲取第四相似度。
在一個具體的可能實施例中，該第四相似度可以基於第四損失函數確定，初始模型可以基於第四損失函數、該第二局部特徵向量和從該全域特徵中提取到的對應的部分特徵值，獲取第四相似度。例如，該第四損失函數可以為Patch Reconstruction Loss函數。當然，該第四損失函數還可以為其他損失函數，本發明實施例對此不作限定。
其中，上述第二局部特徵向量和從全域特徵中提取到的部分特徵值之間的距離可以為L1距離，也即是，第四相似度可以採用L1距離的表達方式，也即是該第一相似度可以為L1損失，該L1損失又稱平均絕對誤差（Mean Absolute Deviation ，MAE），也即是，初始模型可以計算第二局部特徵向量和對應的特徵值之間的偏差的絕對值的平均值。該L1損失越小，則說明重建的第二局部特徵向量和提取到的部分特徵值之間的相似度越大，也說明局部編碼器更好地抓住了局部資訊。當然，上述僅為一種示例性說明，該第四相似度還可以採用其他表達方式，例如，L2距離，本發明實施例對此不作限定。
相應地，上述步驟四中，初始模型可以基於該第一相似度和該第二相似度中至少一種相似度、該第三相似度和該第四相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。也即是，在上述步驟四中的三種情況中，初始模型還可以考慮第四相似度，具體可以對第一相似度和該第二相似度中至少一種相似度、第三相似度和第四相似度進行加權求和，得到該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度，本發明實施例對具體採用哪種實現方式不作限定。
208、電腦設備基於該相似度，對該初始模型的模型參數進行調整，直至符合目標條件時停止，得到人臉模型生成模型。
得到兩個圖像之間的相似度後，則可以基於相似度對模型參數進行調整，上述步驟203至步驟205為一次反覆運算過程，在每次反覆運算過程後，該電腦設備可以執行步驟206至步驟208，基於相似度對訓練的初始模型的模型參數進行調整，直到符合目標條件時，人臉模型生成模型訓練完成。
其中，該目標條件可以為相似度收斂，也可以為反覆運算次數達到目標次數，也即是上述每次反覆運算過程後對模型參數進行調整，直到某次反覆運算後相似度收斂，或者某次反覆運算後反覆運算次數達到目標次數時，人臉模型生成模型訓練完成。當然，該目標條件還可以為其他預設條件，需要說明的是，該目標條件可以由相關技術人員預先設置，本發明實施例對此不作限定。
下面通過一個具體示例對上述人臉模型生成模型的訓練過程進行說明，參見圖3，該人臉模型生成模型中可以包括三個模組，第一個模組是編碼器(encoder)，負責把輸入圖片編碼成特徵向量（對應於上述步驟203）；第二個模組是解碼器，負責把特徵向量解碼成3DMM、姿勢以及光照參數（對應於上述步驟204和步驟206中所示的拍攝資訊的獲取過程）；第三個模組是人臉識別網路，負責判斷原圖和渲染圖是否為同一個人（對應於上述步驟207中所示的第三相似度的獲取過程）。
輸入圖片通過基於VGG-Face結構的全域編碼器，得到全域特徵向量。隨後，局部編碼器會關注VGG-Face中conv2_2和conv3_3層的眼睛和嘴巴的特徵，並利用它們編碼出局部特徵向量。這些不同層次和不同區域的局部特徵向量會接起來，跟全域特徵向量一起送到解碼器。由於姿勢和光照是全域資訊，所以由全域特徵向量通過一層全連接層解碼得到姿勢和光照參數。而臉部形狀、表情和紋理等3DMM參數則由全域和局部特徵向量共同解碼得到，這樣既可以保留全域資訊，也可以保留局部細節。然後，擬合的3DMM參數可以重建一個3D人臉模型，再利用姿勢和光照參數將3D人臉模型重新渲染成一張2D圖片，該渲染過程是類比原始輸入圖片的光照條件和相機拍照角度以及內參對3D人臉模型進行拍照的過程。這張渲染的2D輸出圖片，會跟輸入圖片做比較，並通過這些比較結果的回饋資訊，不斷地更新編碼器和解碼器的網路權重。
本發明實施例通過樣本二維人臉圖像對初始模型進行訓練，得到人臉模型生成模型，在訓練過程中，初始模型提取了樣本二維人臉圖像的全域特徵和局部特徵，綜合二者生成的三維人臉模型的人臉細節體現的更明顯，人臉模型生成模型的生成效果更好。
進一步地，本發明實施例中還可以根據三維人臉模型投影得到的二維人臉圖像與輸入的樣本二維人臉圖像進行了底層資訊和高層的語義資訊的對比，以此來調整模型參數，使得生成的三維人臉模型在底層資訊和高層的語音資訊上均能準確還原輸入的原始圖像，還原度高，三維人臉模型更真實。
上述圖2所示實施例中對人臉模型生成模型的訓練過程進行了詳細說明，在電腦設備需要生成三維人臉模型時即可基於上述訓練好的人臉模型生成模型生成三維人臉模型過程，得到三維人臉模型。下面通過圖4所示實施例對基於人臉模型生成模型生成三維人臉模型過程進行詳細說明。
圖4是本發明實施例提供的一種三維人臉模型生成方法的流程圖，該三維人臉模型生成方法可以應用於電腦設備上，參見圖4，該方法可以包括以下步驟：
401、電腦設備獲取二維人臉圖像。
電腦設備可以通過多種方式獲取該二維人臉圖像，例如，在使用者想要生成三維人臉模型時，可以基於該電腦設備的圖像採集功能，對自己或其他人進行圖像採集，得到二維人臉圖像。又例如，該電腦設備可以根據第一操作指令，從目標位址下載該二維人臉圖像。又例如，該電腦設備可以根據第二操作指令，從本機存放區的圖像中選擇一個圖像作為該二維人臉圖像。具體該獲取過程採用哪種方式可以基於應用場景確定，本發明實施例對此不作限定。
在一種可能實現方式中，該步驟401還可以為：當接收到人臉模型生成指令時，電腦設備獲取二維人臉圖像。該人臉模型生成指令可以由人臉模型生成操作觸發，在電腦設備檢測到人臉模型生成操作時，可以獲取該人臉模型生成操作觸發的人臉模型生成指令，並根據該人臉模型生成指令，執行該步驟401。當然，該人臉模型生成指令還可以為其他電腦設備發送至該電腦設備，本發明實施例對此不作限定。
402、電腦設備調用人臉模型生成模型。
其中，該人臉模型生成模型用於提取該二維人臉圖像的全域特徵和局部特徵，基於該全域特徵和局部特徵，獲取三維人臉模型參數，基於該三維人臉模型參數，生成該二維人臉圖像對應的三維人臉模型。
該人臉模型生成模型可以基於上述圖2所示的模型訓練過程訓練得到。在電腦設備有人臉模型生成需求時，可以調用該訓練好的人臉模型生成模型生成三維人臉模型。
403、電腦設備將該二維人臉圖像輸入該人臉模型生成模型中，由該人臉模型生成模型提取該二維人臉圖像的全域特徵和局部特徵。
該步驟403與上述步驟203同理，電腦設備將二維人臉圖像輸入人臉模型生成模型後，該人臉模型生成模型可以對輸入的二維人臉圖像進行處理。該三維人臉模型生成步驟中，人臉模型生成模型可以先提取二維人臉圖像的特徵，基於該二維人臉圖像的特徵生成三維人臉模型。
具體地，該人臉模型生成模型可以獲取該二維人臉圖像的全域特徵和局部特徵，其中，該全域特徵是指對二維人臉圖像進行特徵提取得到的全部特徵。局部特徵是指對二維人臉圖像的局部區域進行特徵提取得到的特徵。例如，該全域特徵可以體現該二維人臉圖像的全部區域，局部特徵可以體現該二維人臉圖像的局部區域，例如，該二維人臉圖像中人臉的五官。又例如，該局部區域可以為眼睛和鼻子，或眼睛和嘴巴，當然，也可以為其他區域，本發明實施例對此不作限定。該特徵提取過程中既考慮到了全域特徵，又考慮到了局部特徵，這樣在對二維人臉圖像有了整體把握的同時，還能對人臉細節進行進一步優化，從而綜合全域特徵和局部特徵得到的三維人臉模型效果更好。
同理地，該步驟403中二維人臉圖像的全域特徵和局部特徵的提取過程也可以通過步驟一至步驟三實現：
步驟一、電腦設備可以基於多個卷積層，對該二維人臉圖像進行特徵提取，得到該二維人臉圖像的全域特徵。
步驟二、電腦設備獲取該二維人臉圖像的關鍵點的中心位置。
步驟三、電腦設備基於該中心位置，從該多個卷積層中至少一個目標卷積層得到的特徵中，提取部分特徵作為該二維人臉圖像的局部特徵。
該步驟一至步驟三均與上述步驟203中所示內容同理，在一種可能實現方式中，對於每個目標卷積層，電腦設備從該目標卷積層得到的特徵圖中，以該中心位置為中心，截取該目標卷積層對應的目標尺寸的特徵圖作為該二維人臉圖像的局部特徵。
與步驟203中所示內容同理地，全域特徵的提取過程可以為：電腦設備中的人臉模型生成模型基於編碼器的多個卷積層，對該二維人臉圖像進行編碼，得到該二維人臉圖像的全域特徵向量。相應地，局部特徵的提取過程可以為：電腦設備中的人臉模型生成模型從該編碼器的多個卷積層中至少一個目標卷積層得到的全域特徵向量中，提取該全域特徵向量的部分特徵值，基於該部分特徵值，獲取該二維人臉圖像的第一局部特徵向量。
同理地，在局部編碼器後也可以設置有第二解碼器，電腦設備中的人臉模型生成模型可以提取該至少一個目標卷積層得到的全域特徵向量中的部分特徵值；基於第二解碼器，對提取到的部分特徵值進行解碼，得到該二維人臉圖像的第一局部特徵向量。
需要說明的是，該步驟403中所示內容均與上述步驟203中所示內容同理，該步驟203還有一些內容在該步驟403中並未示出，但均可以應用於步驟403中，由於該步驟403和步驟203同理，本發明實施例在此不多做贅述。
404、電腦設備中的人臉模型生成模型基於該全域特徵和局部特徵，獲取三維人臉模型參數。
該步驟404與上述步驟204同理，人臉模型生成模型可以基於全域特徵和局部特徵，計算得到三維人臉模型參數，同理地，在一種可能實現方式中，電腦設備可以基於第一解碼器，對該全域特徵向量和該第一局部特徵向量進行解碼，得到三維人臉模型參數。本發明實施例在此不多做贅述。
405、電腦設備中的人臉模型生成模型基於該三維人臉模型參數，輸出該二維人臉圖像對應的三維人臉模型。
該步驟405與上述步驟205同理，得到三維人臉模型參數後，人臉模型生成模型還可以基於該三維人臉模型參數計算得到三維人臉模型，也即是，人臉模型生成模型基於該三維人臉模型參數生成二維人臉圖像對應的三維人臉模型，從而輸出該生成的三維人臉模型。同理地，該生成過程可以採用步驟205中所示的任一種方式，本發明實施例在此不多贅述。
需要說明的是，該步驟403至步驟405為將該二維人臉圖像輸入該人臉模型生成模型中，輸出該二維人臉圖像對應的三維人臉模型的過程，在該過程中既關注了全域特徵，又關注了局部特徵，從而綜合二者獲取三維人臉模型，這樣得到的三維人臉模型相比於只根據局部特徵得到的三維人臉模型，人臉細節體現的更明顯，人臉細節處理的更精細，還原度高，從而三維人臉模型更真實。
在一種可能實現方式中，該方法中，電腦設備還可以對二維人臉圖像進行預處理，例如，可以對二維人臉圖像進行人臉檢測，當該二維人臉圖像中包括多個人臉時，可以將該二維人臉圖像裁剪為多個人臉對應的多個人臉圖像，從而針對每個人臉圖像，執行上述生成三維人臉模型的步驟。
本發明實施例通過人臉模型生成模型，對二維人臉圖像進行處理，生成三維人臉模型，在生成過程中既提取了全域特徵，又提取了局部特徵，從而綜合二者獲取三維人臉模型，這樣得到的三維人臉模型相比於只根據局部特徵得到的三維人臉模型，人臉細節體現的更明顯，人臉細節處理的更精細，還原度高，從而三維人臉模型更真實。
上述所有可選技術方案，可以採用任意結合形成本發明的可選實施例，在此不再一一贅述。
圖5是本發明實施例提供的一種人臉模型生成裝置的結構示意圖，參見圖5，該裝置可以包括：
獲取模組501，用於獲取二維人臉圖像；
調用模組502，用於調用人臉模型生成模型，該人臉模型生成模型用於提取該二維人臉圖像的全域特徵和局部特徵，基於該全域特徵和局部特徵，獲取三維人臉模型參數，基於該三維人臉模型參數，生成該二維人臉圖像對應的三維人臉模型；
生成模組503，用於將該二維人臉圖像輸入該人臉模型生成模型中，輸出該二維人臉圖像對應的三維人臉模型。
在一種可能實現方式中，該生成模組503用於：
基於多個卷積層，對該二維人臉圖像進行特徵提取，得到該二維人臉圖像的全域特徵；
獲取該二維人臉圖像的關鍵點的中心位置；
基於該中心位置，從該多個卷積層中至少一個目標卷積層得到的特徵中，提取部分特徵作為該二維人臉圖像的局部特徵。
在一種可能實現方式中，該生成模組503用於對於每個目標卷積層，從該目標卷積層得到的特徵圖中，以該中心位置為中心，截取該目標卷積層對應的目標尺寸的特徵圖作為該二維人臉圖像的局部特徵。
在一種可能實現方式中，該生成模組503用於：
基於編碼器的多個卷積層，對該二維人臉圖像進行編碼，得到該二維人臉圖像的全域特徵向量；
相應地，該生成模組503還用於從該編碼器的多個卷積層中至少一個目標卷積層得到的全域特徵向量中，提取該全域特徵向量的部分特徵值，基於該部分特徵值，獲取該二維人臉圖像的第一局部特徵向量；
相應地，該生成模組503還用於基於第一解碼器，對該全域特徵向量和該第一局部特徵向量進行解碼，得到三維人臉模型參數。
在一種可能實現方式中，該生成模組503用於提取該至少一個目標卷積層得到的全域特徵向量中的部分特徵值；基於第二解碼器，對提取到的部分特徵值進行解碼，得到該二維人臉圖像的第一局部特徵向量。
在一種可能實現方式中，該獲取模組501還用於獲取多個樣本二維人臉圖像；
該調用模組502，還用於調用初始模型，將該多個樣本二維人臉圖像輸入該初始模型中，對於每個樣本二維人臉圖像，由該初始模型提取該樣本二維人臉圖像的全域特徵和局部特徵；基於該全域特徵和局部特徵，獲取三維人臉模型參數，基於該三維人臉模型參數，輸出該樣本二維人臉圖像對應的三維人臉模型；
該裝置還包括：
投影模組，用於對該三維人臉模型進行投影，得到該三維人臉模型對應的二維人臉圖像；
該獲取模組501還用於獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度；
調整模組，用於基於該相似度，對該初始模型的模型參數進行調整，直至符合目標條件時停止，得到人臉模型生成模型。
在一種可能實現方式中，該投影模組還用於：
基於該全域特徵，獲取該樣本二維人臉圖像的拍攝資訊，該拍攝資訊用於指示拍攝該樣本二維人臉圖像時的拍攝姿勢、光照或拍攝背景中至少一種；
基於該拍攝資訊，對該三維人臉模型進行投影，得到該三維人臉模型對應的二維人臉圖像。
在一種可能實現方式中，該獲取模組501還用於：
基於該三維人臉模型對應的二維人臉圖像的關鍵點與該樣本二維人臉圖像對應的關鍵點的位置，獲取第一相似度；
基於該三維人臉模型對應的二維人臉圖像的像素點的像素值與該樣本二維人臉圖像對應像素點的像素值，獲取第二相似度；
對該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像進行匹配，得到第三相似度，該第三相似度用於指示該二維人臉圖像中人臉的身份和該樣本二維人臉圖像中人臉的身份是否相同；
基於該第一相似度和該第二相似度中至少一種相似度，以及該第三相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。
在一種可能實現方式中，該獲取模組501還用於基於人臉識別模型，對該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像進行人臉識別，得到第三相似度。
在一種可能實現方式中，該獲取模組501還用於分別基於第一損失函數、第二損失函數、第三損失函數，以及該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像，獲取第一相似度、第二相似度以及第三相似度。
在一種可能實現方式中，該樣本二維人臉圖像的局部特徵為第一局部特徵向量，該第一局部特徵向量基於從全域特徵中提取到的部分特徵值確定；
相應地，該獲取模組501還用於：
基於該第一局部特徵向量，獲取第二局部特徵向量，該第二局部特徵向量的特徵值和該從全域特徵中提取到的部分特徵值的分佈情況相同；
基於該第二局部特徵向量和從該全域特徵中提取到的對應的部分特徵值之間的距離，獲取第四相似度；
相應地，該獲取模組501還用於：
基於該第一相似度和該第二相似度中至少一種相似度、該第三相似度和該第四相似度，獲取該三維人臉模型對應的二維人臉圖像和該樣本二維人臉圖像的相似度。
在一種可能實現方式中，該獲取模組501還用於基於第四損失函數、該第二局部特徵向量和從該全域特徵中提取到的對應的部分特徵值，獲取第四相似度。
本發明實施例提供的裝置，通過人臉模型生成模型，對二維人臉圖像進行處理，生成三維人臉模型，在生成過程中既提取了全域特徵，又提取了局部特徵，從而綜合二者獲取三維人臉模型，這樣得到的三維人臉模型相比於只根據局部特徵得到的三維人臉模型，人臉細節體現的更明顯，人臉細節處理的更精細，還原度高，從而三維人臉模型更真實。
需要說明的是：上述實施例提供的人臉模型生成裝置在生成三維人臉模型時，僅以上述各功能模組的劃分進行舉例說明，實際應用中，可以根據需要而將上述功能分配由不同的功能模組完成，即將電腦設備的內部結構劃分成不同的功能模組，以完成以上描述的全部或者部分功能。另外，上述實施例提供的人臉模型生成裝置與人臉模型生成方法實施例屬於同一構思，其具體實現過程詳見方法實施例，這裡不再贅述。
上述電腦設備可以被提供為下述圖6所示的終端，也可以被提供為下述圖7所示的伺服器，本發明實施例對此不作限定。
圖6是本發明實施例提供的一種終端的結構示意圖。該終端600可以是：智慧手機、平板電腦、MP3播放機（Moving Picture Experts Group Audio Layer III，動態影像專家壓縮標準音頻層面3）、MP4（Moving Picture Experts Group Audio Layer IV，動態影像專家壓縮標準音頻層面4）播放機、筆記型電腦或臺式電腦。終端600還可能被稱為使用者設備、可擕式終端、膝上型終端、臺式終端等其他名稱。
通常，終端600包括有：處理器601和記憶體602。
處理器601可以包括一個或多個處理核心，比如4核心處理器、8核心處理器等。處理器601可以採用DSP（Digital Signal Processing，數位訊號處理）、FPGA（Field－Programmable Gate Array，現場可程式設計閘陣列）、PLA（Programmable Logic Array，可程式設計邏輯陣列）中的至少一種硬體形式來實現。處理器601也可以包括主處理器和輔助處理器，主處理器是用於對在喚醒狀態下的資料進行處理的處理器，也稱CPU（Central Processing Unit，中央處理器）；輔助處理器是用於對在待機狀態下的資料進行處理的低功耗處理器。在一些實施例中，處理器601可以在集成有GPU（Graphics Processing Unit，影像處理器）， GPU用於負責顯示幕所需要顯示的內容的渲染和繪製。一些實施例中，處理器601還可以包括AI（Artificial Intelligence，人工智慧）處理器，該AI處理器用於處理有關機器學習的計算操作。
記憶體602可以包括一個或多個電腦可讀儲存介質，該電腦可讀儲存介質可以是非暫態的。記憶體602還可包括高速隨機存取記憶體，以及非易失性記憶體，比如一個或多個磁片存放裝置、快閃記憶體存放裝置。在一些實施例中，記憶體602中的非暫態的電腦可讀儲存介質用於儲存至少一個指令，該至少一個指令用於被處理器601所執行以實現本發明中方法實施例提供的三維人臉模型生成方法。
在一些實施例中，終端600還可選包括有：週邊設備介面603和至少一個週邊設備。處理器601、記憶體602和週邊設備介面603之間可以通過匯流排或訊號線相連。各個週邊設備可以通過匯流排、訊號線或電路板與週邊設備介面603相連。具體地，週邊設備包括：射頻電路604、顯示幕605、攝像頭606、音訊電路607、定位元件608和電源609中的至少一種。
週邊設備介面603可被用於將I/O（Input /Output，輸入/輸出）相關的至少一個週邊設備連接到處理器601和記憶體602。在一些實施例中，處理器601、記憶體602和週邊設備介面603被集成在同一晶片或電路板上；在一些其他實施例中，處理器601、記憶體602和週邊設備介面603中的任意一個或兩個可以在單獨的晶片或電路板上實現，本實施例對此不加以限定。
射頻電路604用於接收和發射射頻（Radio Frequency，RF）訊號，也稱電磁訊號。射頻電路604通過電磁訊號與通信網路以及其他通信設備進行通信。射頻電路604將電訊號轉換為電磁訊號進行發送，或者，將接收到的電磁訊號轉換為電訊號。可選地，射頻電路604包括：天線系統、RF收發器、一個或多個放大器、調諧器、振盪器、數位訊號處理器、編解碼晶片組、使用者身份模組卡等等。射頻電路604可以通過至少一種無線通訊協定來與其它終端進行通信。該無線通訊協定包括但不限於：都會區網路、各代移動通信網路（2G、3G、4G及5G）、無線局域網和/或WiFi(Wireless Fidelity，無線保真）網路。在一些實施例中，射頻電路604還可以包括近距離無線通訊（Near Field Communication，NFC）有關的電路，本發明對此不加以限定。
顯示幕605用於顯示使用者介面（User Interface，UI）。該UI可以包括圖形、文本、圖示、視頻及其它們的任意組合。當顯示幕605是觸摸顯示幕時，顯示幕605還具有採集在顯示幕605的表面或表面上方的觸摸訊號的能力。該觸摸訊號可以作為控制訊號輸入至處理器601進行處理。此時，顯示幕605還可以用於提供虛擬按鈕和/或虛擬鍵盤，也稱軟按鈕和/或軟鍵盤。在一些實施例中，顯示幕605可以為一個，設置終端600的前面板；在另一些實施例中，顯示幕605可以為至少兩個，分別設置在終端600的不同表面或呈折疊設計；在再一些實施例中，顯示幕605可以是柔性顯示幕，設置在終端600的彎曲表面上或折疊面上。甚至，顯示幕605還可以設置成非矩形的不規則圖形，也即異形屏。顯示幕605可以採用LCD(Liquid Crystal Display，液晶顯示幕)、OLED(Organic Light-Emitting Diode,有機發光二極體)等材質製備。
攝像頭元件606用於採集圖像或視頻。可選地，攝像頭組件606包括前置攝像頭和後置攝像頭。通常，前置攝像頭設置在終端的前面板，後置攝像頭設置在終端的背面。在一些實施例中，後置攝像頭為至少兩個，分別為主攝像頭、景深攝像頭、廣角攝像頭、長焦攝像頭中的任意一種，以實現主攝像頭和景深攝像頭融合實現背景虛化功能、主攝像頭和廣角攝像頭融合實現全景拍攝以及VR（Virtual Reality，虛擬實境）拍攝功能或者其它融合拍攝功能。在一些實施例中，攝像頭元件606還可以包括閃光燈。閃光燈可以是單色溫閃光燈，也可以是雙色溫閃光燈。雙色溫閃光燈是指暖光閃光燈和冷光閃光燈的組合，可以用於不同色溫下的光線補償。
音訊電路607可以包括麥克風和揚聲器。麥克風用於採集使用者及環境的聲波，並將聲波轉換為電訊號輸入至處理器601進行處理，或者輸入至射頻電路604以實現語音通信。出於身歷聲採集或降噪的目的，麥克風可以為多個，分別設置在終端600的不同部位。麥克風還可以是陣列麥克風或全向採集型麥克風。揚聲器則用於將來自處理器601或射頻電路604的電訊號轉換為聲波。揚聲器可以是傳統的薄膜揚聲器，也可以是壓電陶瓷揚聲器。當揚聲器是壓電陶瓷揚聲器時，不僅可以將電訊號轉換為人類可聽見的聲波，也可以將電訊號轉換為人類聽不見的聲波以進行測距等用途。在一些實施例中，音訊電路607還可以包括耳機插孔。
定位元件608用於定位終端600的當前地理位置，以實現導航或LBS（Location Based Service，基於位置的服務）。定位元件608可以是基於美國的GPS（Global Positioning System，全球定位系統）、中國的北斗系統、***的格雷納斯系統或歐盟的伽利略系統的定位元件。
電源609用於為終端600中的各個元件進行供電。電源609可以是交流電、直流電、一次性電池或可充電電池。當電源609包括可充電電池時，該可充電電池可以支援有線充電或無線充電。該可充電電池還可以用於支援快充技術。
在一些實施例中，終端600還包括有一個或多個感測器610。該一個或多個感測器610包括但不限於：加速度感測器611、陀螺儀感測器612、壓力感測器613、指紋感測器614、光學感測器615以及接近感測器616。
加速度感測器611可以檢測以終端600建立的坐標系的三個坐標軸上的加速度大小。比如，加速度感測器611可以用於檢測重力加速度在三個坐標軸上的分量。處理器601可以根據加速度感測器611採集的重力加速度訊號，控制顯示幕605以橫向視圖或縱向視圖進行使用者介面的顯示。加速度感測器611還可以用於遊戲或者使用者的運動資料的採集。
陀螺儀感測器612可以檢測終端600的機體方向及轉動角度，陀螺儀感測器612可以與加速度感測器611協同採集使用者對終端600的3D動作。處理器601根據陀螺儀感測器612採集的資料，可以實現如下功能：動作感應（比如根據使用者的傾斜操作來改變UI）、拍攝時的圖像穩定、遊戲控制以及慣性導航。
壓力感測器613可以設置在終端600的側邊框和/或顯示幕605的下層。當壓力感測器613設置在終端600的側邊框時，可以檢測使用者對終端600的握持訊號，由處理器601根據壓力感測器613採集的握持訊號進行左右手識別或快捷操作。當壓力感測器613設置在顯示幕605的下層時，由處理器601根據使用者對顯示幕605的壓力操作，實現對UI介面上的可操作性控制項進行控制。可操作性控制項包括按鈕控制項、捲軸控制項、圖示控制項、功能表控制項中的至少一種。
指紋感測器614用於採集用戶的指紋，由處理器601根據指紋感測器614採集到的指紋識別用戶的身份，或者，由指紋感測器614根據採集到的指紋識別用戶的身份。在識別出用戶的身份為可信身份時，由處理器601授權該用戶執行相關的敏感操作，該敏感操作包括解鎖螢幕、查看加密資訊、下載軟體、支付及更改設置等。指紋感測器614可以被設置終端600的正面、背面或側面。當終端600上設置有物理按鍵或廠商Logo時，指紋感測器614可以與物理按鍵或廠商Logo集成在一起。
光學感測器615用於採集環境光強度。在一個實施例中，處理器601可以根據光學感測器615採集的環境光強度，控制顯示幕605的顯示亮度。具體地，當環境光強度較高時，調高顯示幕605的顯示亮度；當環境光強度較低時，調低顯示幕605的顯示亮度。在另一個實施例中，處理器601還可以根據光學感測器615採集的環境光強度，動態調整攝像頭元件606的拍攝參數。
接近感測器616，也稱距離感測器，通常設置在終端600的前面板。接近感測器616用於採集使用者與終端600的正面之間的距離。在一個實施例中，當接近感測器616檢測到使用者與終端600的正面之間的距離逐漸變小時，由處理器601控制顯示幕605從亮屏狀態切換為息屏狀態；當接近感測器616檢測到使用者與終端600的正面之間的距離逐漸變大時，由處理器601控制顯示幕605從息屏狀態切換為亮屏狀態。
本領域技術人員可以理解，圖6中示出的結構並不構成對終端600的限定，可以包括比圖示更多或更少的元件，或者組合某些元件，或者採用不同的元件佈置。
圖7是本發明實施例提供的一種伺服器的結構示意圖，該伺服器700可因配置或性能不同而產生比較大的差異，可以包括一個或一個以上處理器（central processing units，CPU）701和一個或一個以上的記憶體702，其中，該記憶體702中儲存有至少一條指令，該至少一條指令由該處理器701載入並執行以實現上述各個方法實施例提供的三維人臉模型生成方法。當然，該伺服器還可以具有有線或無線網路介面、鍵盤以及輸入輸出介面等部件，以便進行輸入輸出，該伺服器還可以包括其他用於實現設備功能的部件，在此不做贅述。
在示例性實施例中，還提供了一種電腦可讀儲存介質，例如包括指令的記憶體，上述指令可由處理器執行以完成上述實施例中的三維人臉模型生成方法。例如，該電腦可讀儲存介質可以是唯讀記憶體（Read-Only Memory, ROM）、隨機存取記憶體（Random Access Memory，RAM）、唯讀光碟 (Compact Disc Read-Only Memory，CD-ROM）、磁帶、軟碟和光資料存放裝置等。
本領域普通技術人員可以理解實現上述實施例的全部或部分步驟可以通過硬體來完成，也可以通過程式來指令相關的硬體完成，該程式可以儲存於一種電腦可讀儲存介質中，上述提到的儲存介質可以是唯讀記憶體，磁片或光碟等。
上述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
101、102:電腦設備 201-208:步驟 401-405:步驟 501:獲取模組 502:調用模組 503:生成模組 600:終端 602:記憶體 603:週邊設備介面 604:射頻電路 605:顯示幕 606;攝像頭 607:音訊電路 608:定位元件 609:電源 610:感測器 611:加速度感測器 612:陀螺儀感測器 613:壓力感測器 614:指紋感測器  615:光學感測器 616:接近感測器  700:伺服器 701:處理器 702:記憶體
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1是本發明實施例提供的一種三維人臉模型生成方法的實施環境；
圖2是本發明實施例提供的一種人臉模型生成模型訓練方法的流程圖；
圖3是本發明實施例提供的一種人臉模型生成模型的結構示意圖；
圖4是本發明實施例提供的一種三維人臉模型生成方法的流程圖；
圖5是本發明實施例提供的一種人臉模型生成裝置的結構示意圖；
圖6是本發明實施例提供的一種終端的結構示意圖；
圖7是本發明實施例提供的一種伺服器的結構示意圖。
401-405:步驟

Claims (14)

  1. 一種三維人臉模型生成方法，實施於一電腦設備，該方法包括：獲取二維人臉圖像；調用人臉模型生成模型，所述人臉模型生成模型提取所述二維人臉圖像的全域特徵和局部特徵，基於所述全域特徵和局部特徵，獲取三維人臉模型參數，基於所述三維人臉模型參數，生成所述二維人臉圖像對應的三維人臉模型；以及將所述二維人臉圖像輸入所述人臉模型生成模型中，輸出所述二維人臉圖像對應的三維人臉模型；其中所述人臉模型生成模型的訓練過程包括：獲取多個樣本二維人臉圖像；調用初始模型，將所述多個樣本二維人臉圖像輸入所述初始模型中，對於每個樣本二維人臉圖像，由所述初始模型提取所述樣本二維人臉圖像的全域特徵和局部特徵；基於所述全域特徵和局部特徵，獲取三維人臉模型參數，基於所述三維人臉模型參數，輸出所述樣本二維人臉圖像對應的三維人臉模型；對所述三維人臉模型進行投影，得到所述三維人臉模型對應的二維人臉圖像；獲取所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像的相似度；以及基於所述相似度，對所述初始模型的模型參數進行調整，直至符合目標條件時停止，得到人臉模型生成模型。
  2. 根據請求項1所述的方法，其中所述提取所述二維人臉圖像的全域特徵和局部特徵，包括：基於多個卷積層，對所述二維人臉圖像進行特徵提取，得到所述二維人臉圖像的全域特徵；獲取所述二維人臉圖像的關鍵點的中心位置；基於所述中心位置，從所述多個卷積層中至少一個目標卷積層得到的特徵中，提取部分特徵作為所述二維人臉圖像的局部特徵。
  3. 根據請求項2所述的方法，其中所述基於所述中心位置，從所述多個卷積層中至少一個目標卷積層得到的特徵中，提取部分特徵作為所述二維人臉圖像的局部特徵，包括： 對於每個目標卷積層，從所述目標卷積層得到的特徵圖中，以所述中心位置為中心，截取所述目標卷積層對應的目標尺寸的特徵圖作為所述二維人臉圖像的局部特徵。
  4. 根據請求項2所述的方法，其中所述基於多個卷積層，對所述二維人臉圖像進行特徵提取，得到所述二維人臉圖像的全域特徵，包括：基於編碼器的多個卷積層，對所述二維人臉圖像進行編碼，得到所述二維人臉圖像的全域特徵向量；所述基於所述中心位置，從所述多個卷積層中至少一個目標卷積層得到的特徵中，提取部分特徵作為所述二維人臉圖像的局部特徵，包括：從所述編碼器的多個卷積層中至少一個目標卷積層得到的全域特徵向量中，提取所述全域特徵向量的部分特徵值，基於所述部分特徵值，獲取所述二維人臉圖像的第一局部特徵向量；所述基於所述全域特徵和局部特徵，獲取三維人臉模型參數，包括：基於第一解碼器，對所述全域特徵向量和所述第一局部特徵向量進行解碼，得到三維人臉模型參數。
  5. 根據請求項4所述的方法，其中所述從所述編碼器的多個卷積層中至少一個目標卷積層得到的全域特徵向量中，提取所述全域特徵向量的部分特徵值，基於所述部分特徵值，獲取所述二維人臉圖像的第一局部特徵向量，包括：提取所述至少一個目標卷積層得到的全域特徵向量中的部分特徵值；基於第二解碼器，對提取到的部分特徵值進行解碼，得到所述二維人臉圖像的第一局部特徵向量。
  6. 根據請求項5所述的方法，其中所述對所述三維人臉模型進行投影，得到所述三維人臉模型對應的二維人臉圖像，包括：基於所述全域特徵，獲取所述樣本二維人臉圖像的拍攝資訊，所述拍攝資訊指示拍攝所述樣本二維人臉圖像時的拍攝姿勢、光照或拍攝背景中至少一種；基於所述拍攝資訊，對所述三維人臉模型進行投影，得到所述三維人臉模型對應的二維人臉圖像。
  7. 根據請求項5所述的方法，其中所述獲取所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像的相似度，包括： 基於所述三維人臉模型對應的二維人臉圖像的關鍵點與所述樣本二維人臉圖像對應的關鍵點的位置，獲取第一相似度；基於所述三維人臉模型對應的二維人臉圖像的像素點的像素值與所述樣本二維人臉圖像對應像素點的像素值，獲取第二相似度；對所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像進行匹配，得到第三相似度，所述第三相似度指示所述二維人臉圖像中人臉的身份和所述樣本二維人臉圖像中人臉的身份是否相同；基於所述第一相似度和所述第二相似度中至少一種相似度，以及所述第三相似度，獲取所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像的相似度。
  8. 根據請求項7所述的方法，其中所述對所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像進行匹配，得到第三相似度，包括：基於人臉識別模型，對所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像進行人臉識別，得到第三相似度。
  9. 根據請求項7所述的方法，其中所述第一相似度、所述第二相似度以及所述第三相似度的獲取過程包括：分別基於第一損失函數、第二損失函數、第三損失函數，以及所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像，獲取第一相似度、第二相似度以及第三相似度。
  10. 根據請求項7所述的方法，其中所述樣本二維人臉圖像的局部特徵為第一局部特徵向量，所述第一局部特徵向量基於從全域特徵中提取到的部分特徵值確定；所述方法還包括：基於所述第一局部特徵向量，獲取第二局部特徵向量，所述第二局部特徵向量的特徵值和所述從全域特徵中提取到的部分特徵值的分佈情況相同；基於所述第二局部特徵向量和從所述全域特徵中提取到的對應的部分特徵值之間的距離，獲取第四相似度；所述基於所述第一相似度和所述第二相似度中至少一種相似度，以及所述第三相似度，獲取所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像的相似度，包括： 基於所述第一相似度和所述第二相似度中至少一種相似度、所述第三相似度和所述第四相似度，獲取所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像的相似度。
  11. 根據請求項10所述的方法，其中所述基於所述第二局部特徵向量和從所述全域特徵中提取到的對應的部分特徵值之間的距離，獲取第四相似度，包括：基於第四損失函數、所述第二局部特徵向量和從所述全域特徵中提取到的對應的部分特徵值，獲取第四相似度。
  12. 一種三維人臉模型生成裝置，其包括：獲取模組，獲取二維人臉圖像；調用模組，調用人臉模型生成模型，所述人臉模型生成模型提取所述二維人臉圖像的全域特徵和局部特徵，基於所述全域特徵和局部特徵，獲取三維人臉模型參數，基於所述三維人臉模型參數，生成所述二維人臉圖像對應的三維人臉模型；生成模組，將所述二維人臉圖像輸入所述人臉模型生成模型中，輸出所述二維人臉圖像對應的三維人臉模型；其中所述人臉模型生成模型的訓練過程包括：獲取多個樣本二維人臉圖像；調用初始模型，將所述多個樣本二維人臉圖像輸入所述初始模型中，對於每個樣本二維人臉圖像，由所述初始模型提取所述樣本二維人臉圖像的全域特徵和局部特徵；基於所述全域特徵和局部特徵，獲取三維人臉模型參數，基於所述三維人臉模型參數，輸出所述樣本二維人臉圖像對應的三維人臉模型；對所述三維人臉模型進行投影，得到所述三維人臉模型對應的二維人臉圖像；獲取所述三維人臉模型對應的二維人臉圖像和所述樣本二維人臉圖像的相似度；以及基於所述相似度，對所述初始模型的模型參數進行調整，直至符合目標條件時停止，得到人臉模型生成模型。
  13. 一種電腦設備，其包括一個或多個處理器和一個或多個記憶體，所述一個或多個記憶體中儲存有至少一條指令，所述指令由所述一個或多個處理器載入並執行以實現如請求項1至請求項11任一項所述的三維人臉模型生成方法所執行的操作。
  14. 一種電腦可讀儲存媒體，其儲存有至少一條指令，所述指令由處理器載入並執行以實現如請求項1至請求項11任一項所述的三維人臉模型生成方法所執行的操作。
TW109105564A 2019-02-26 2020-02-20 三維人臉模型生成方法、裝置、電腦設備及儲存介質 TWI788630B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910140602.XA CN109978989B (zh) 2019-02-26 2019-02-26 三维人脸模型生成方法、装置、计算机设备及存储介质
CN201910140602.X 2019-02-26

Publications (2)

Publication Number Publication Date
TW202032503A TW202032503A (zh) 2020-09-01
TWI788630B true TWI788630B (zh) 2023-01-01

Family

ID=67077241

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109105564A TWI788630B (zh) 2019-02-26 2020-02-20 三維人臉模型生成方法、裝置、電腦設備及儲存介質

Country Status (5)

Country Link
US (1) US11636613B2 (zh)
EP (1) EP3933783A4 (zh)
CN (1) CN109978989B (zh)
TW (1) TWI788630B (zh)
WO (1) WO2020173442A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110363175A (zh) * 2019-07-23 2019-10-22 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN110458924B (zh) * 2019-07-23 2021-03-12 腾讯科技（深圳）有限公司 一种三维脸部模型建立方法、装置和电子设备
CN110532746B (zh) * 2019-07-24 2021-07-23 创新先进技术有限公司 人脸校验方法、装置、服务器及可读存储介质
US10853631B2 (en) 2019-07-24 2020-12-01 Advanced New Technologies Co., Ltd. Face verification method and apparatus, server and readable storage medium
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
CN110675413B (zh) * 2019-09-27 2020-11-13 腾讯科技（深圳）有限公司 三维人脸模型构建方法、装置、计算机设备及存储介质
CN110796075B (zh) * 2019-10-28 2024-02-02 深圳前海微众银行股份有限公司 人脸多样性数据获取方法、装置、设备及可读存储介质
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113129425B (zh) * 2019-12-31 2024-07-12 Tcl科技集团股份有限公司 一种人脸图像三维重建方法、存储介质及终端设备
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111294512A (zh) * 2020-02-10 2020-06-16 深圳市铂岩科技有限公司 图像处理方法、装置、存储介质及摄像装置
CN111598111B (zh) * 2020-05-18 2024-01-05 商汤集团有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111738968A (zh) * 2020-06-09 2020-10-02 北京三快在线科技有限公司 图像生成模型的训练方法、装置及图像生成方法、装置
US11386633B2 (en) * 2020-06-13 2022-07-12 Qualcomm Incorporated Image augmentation for analytics
CN111738217B (zh) * 2020-07-24 2020-11-13 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
CN112102477A (zh) * 2020-09-15 2020-12-18 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
CN112102461B (zh) * 2020-11-03 2021-04-09 北京智源人工智能研究院 一种人脸渲染方法、装置、电子设备和存储介质
CN112529999A (zh) * 2020-11-03 2021-03-19 百果园技术(新加坡)有限公司 一种参数估算模型的训练方法、装置、设备和存储介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419144B (zh) * 2020-11-25 2024-05-24 上海商汤智能科技有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN112614213B (zh) * 2020-12-14 2024-01-23 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112785494B (zh) * 2021-01-26 2023-06-16 网易（杭州）网络有限公司 一种三维模型构建方法、装置、电子设备和存储介质
CN112991494B (zh) * 2021-01-28 2023-09-15 腾讯科技（深圳）有限公司 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112949576B (zh) * 2021-03-29 2024-04-23 北京京东方技术开发有限公司 姿态估计方法、装置、设备及存储介质
US11759296B2 (en) * 2021-08-03 2023-09-19 Ningbo Shenlai Medical Technology Co., Ltd. Method for generating a digital data set representing a target tooth arrangement
CN114220142B (zh) * 2021-11-24 2022-08-23 慧之安信息技术股份有限公司 一种深度学习算法的人脸特征识别方法
CN114972634A (zh) * 2022-05-06 2022-08-30 清华大学 基于特征体素融合的多视角三维可变形人脸重建方法
CN115035313B (zh) * 2022-06-15 2023-01-03 云南这里信息技术有限公司 黑颈鹤识别方法、装置、设备及存储介质
CN115147524B (zh) * 2022-09-02 2023-01-17 荣耀终端有限公司 一种3d动画的生成方法及电子设备
CN115937638B (zh) * 2022-12-30 2023-07-25 北京瑞莱智慧科技有限公司 模型训练方法、图像处理方法、相关装置及存储介质
CN117315157B (zh) * 2023-10-24 2024-06-18 拟仁智能科技(杭州)有限公司 一种基于单幅图像进行3d人脸重建的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0992933A2 (en) * 1998-10-09 2000-04-12 Mitsubishi Denki Kabushiki Kaisha Method for generating realistic facial animation directly from speech utilizing hidden markov models
US20050251284A1 (en) * 2002-03-27 2005-11-10 Joze Balic CNC control unit with learning ability for machining centers
CN101561874A (zh) * 2008-07-17 2009-10-21 清华大学 一种人脸图像识别的方法
CN102592309A (zh) * 2011-12-26 2012-07-18 北京工业大学 一种非线性三维人脸的建模方法
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN102592136B (zh) * 2011-12-21 2013-10-16 东南大学 基于几何图像中中频信息的三维人脸识别方法
CN104574432B (zh) * 2015-02-15 2017-05-24 四川川大智胜软件股份有限公司 一种自动多视角人脸自拍图像的三维人脸重建方法及***
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0992933A2 (en) * 1998-10-09 2000-04-12 Mitsubishi Denki Kabushiki Kaisha Method for generating realistic facial animation directly from speech utilizing hidden markov models
US20050251284A1 (en) * 2002-03-27 2005-11-10 Joze Balic CNC control unit with learning ability for machining centers
CN101561874A (zh) * 2008-07-17 2009-10-21 清华大学 一种人脸图像识别的方法
CN102592309A (zh) * 2011-12-26 2012-07-18 北京工业大学 一种非线性三维人脸的建模方法
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN109035388A (zh) * 2018-06-28 2018-12-18 北京的卢深视科技有限公司 三维人脸模型重建方法及装置
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法

Also Published As

Publication number Publication date
TW202032503A (zh) 2020-09-01
CN109978989A (zh) 2019-07-05
US11636613B2 (en) 2023-04-25
US20210286977A1 (en) 2021-09-16
WO2020173442A1 (zh) 2020-09-03
EP3933783A4 (en) 2022-08-24
EP3933783A1 (en) 2022-01-05
CN109978989B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
TWI788630B (zh) 三維人臉模型生成方法、裝置、電腦設備及儲存介質
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US11678734B2 (en) Method for processing images and electronic device
CN108305236B (zh) 图像增强处理方法及装置
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN112991494B (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110110787A (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN109947338B (zh) 图像切换显示方法、装置、电子设备及存储介质
CN110599593B (zh) 数据合成的方法、装置、设备及存储介质
CN111464749A (zh) 进行图像合成的方法、装置、设备及存储介质
CN111753784A (zh) 视频的特效处理方法、装置、终端及存储介质
CN110503160A (zh) 图像识别方法、装置、电子设备及存储介质
CN110796083A (zh) 图像显示方法、装置、终端及存储介质
CN112308103B (zh) 生成训练样本的方法和装置
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN112257594A (zh) 多媒体数据的显示方法、装置、计算机设备及存储介质
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN111797754B (zh) 图像检测的方法、装置、电子设备及介质
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN111127539A (zh) 视差确定方法、装置、计算机设备及存储介质