TWI553565B - 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法 - Google Patents

利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法 Download PDF

Info

Publication number
TWI553565B
TWI553565B TW103132584A TW103132584A TWI553565B TW I553565 B TWI553565 B TW I553565B TW 103132584 A TW103132584 A TW 103132584A TW 103132584 A TW103132584 A TW 103132584A TW I553565 B TWI553565 B TW I553565B
Authority
TW
Taiwan
Prior art keywords
replacement
dimensional
facial image
angle
area
Prior art date
Application number
TW103132584A
Other languages
English (en)
Other versions
TW201612796A (en
Inventor
謝朝和
徐修謙
Original Assignee
銘傳大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 銘傳大學 filed Critical 銘傳大學
Priority to TW103132584A priority Critical patent/TWI553565B/zh
Priority to US14/615,770 priority patent/US9639738B2/en
Publication of TW201612796A publication Critical patent/TW201612796A/zh
Application granted granted Critical
Publication of TWI553565B publication Critical patent/TWI553565B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Description

利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
本發明係提供一種利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法，尤指一種透過偵測臉部影像之轉動角度，並於該臉部影像之置換區域替換為替換影像，藉而達致臉部影像置換之功效者。
按，人臉置換（Face replacement）之技術於近年來廣受重視，其主因在於其係可應用於影視、娛樂以及醫學美容等技術領域；舉例而言，於影視進行拍攝時，透過將特技演員之臉部影像置換為主要演員之臉部影像，藉可令主要演員無須做出高難度動作，藉可於拍攝時，無須受限於避開拍攝特技演員臉部之拍攝角度，並可提升主要演員之安全性，進而提高拍攝之效率並能有效節省製作成本者；而於娛樂方面，則可令使用者任意進行與他人臉部之置換，以達致趣味性之功效；而於醫學美容方面，若有整形需求者，亦可於術前先行觀測其術後之結果，進而令使用者可予以決定是否須進行醫學美容手術，藉可避免預期術後之落差者。
而習用之臉部置換技術，係須於欲替換之影像及目標影像分別以手動標定特徵點，藉以指定欲置換之區域及角度，而後方將目標影像所標定特徵點之範圍，置換至替換之影像所標定特徵點之範圍內；惟此，其僅能適用於單張之靜態影像予以進行置換處理，極難以實際應用於動態影像之置換，且於影像置換時需人工手動標定特徵點於欲替換之影像及目標影像，其將導致使用者操作上之不便，於執行操作時相當耗時，且於影像置換後之邊緣處易產生色差，導致整體置換後之影像呈現不自然之視覺觀感；再者，於置換過程中，估算測臉部角度之方式過於繁雜，導致運算量極為龐大，運算過程亦極為耗時，故無法達到即時影像置換之效果。
有鑑於此，吾等發明人乃潛心進一步研究臉部影像之置換，並著手進行研發及改良，期以一較佳發明以解決上述問題，且在經過不斷試驗及修改後而有本發明之問世。
爰是，本發明之目的係為解決習用之臉部置換技術，其具有需仰賴人工手動標定特徵點於欲替換之影像及目標影像，導致使用者操作上之不便、執行操作時相當耗時、影像置換後之邊緣處易產生色差、影像呈現不自然之視覺觀感、估算測臉部角度之方式過於繁雜且耗時等缺失。
為達致以上目的，吾等發明人提供一種利用二維臉部影像估測其三維角度方法，其步驟包含：建立一特徵向量樣板，且該特徵向量樣板包含複數相異旋轉角度之特徵向量模型；於待處理之一臉部影像分別偵測眼角及嘴角，並將眼角及嘴角定義為一四邊形之頂點；並於該四邊形平面之垂直方向定義一尖點，並將所述頂點轉換為三維座標，且該尖點係與該四邊形之頂點形成一四角錐；計算尖點至所述三維座標之頂點的四個向量，以求得一向量集合；以及將該向量集合與所述特徵向量模型分別比對，取其一特徵向量模型與該向量集合之距離最短者之角度值，並定義該角度值為該臉部影像之轉動角度。
據上所述之臉部角度辨識方法，其步驟更包含：計算該四邊形之高及重心之座標；以及由該四邊形之重心朝該四邊形平面之垂直方向，延伸特定倍數該四邊形之高以定義該尖點。
據上所述之臉部角度辨識方法，其中，所述特徵向量模型係由X軸、Y軸及Z軸於一轉動角度區間之向量旋轉矩陣相乘以界定者。
據上所述之臉部角度辨識方法，其步驟更包含：於該特徵向量樣板更定義一標準眼距；以及計算所述眼角頂點之距離，以依該標準眼距及所述眼角頂點之距離進行所述四角錐之尺寸正規化（scale normalization）。
據上所述之臉部角度辨識方法，其步驟更包含：於該臉部影像分別偵測二眼部區域及一嘴部區域，並分別於所述眼部區域及嘴部區分別搜尋眼角及嘴角者。
據上所述之臉部角度辨識方法，其步驟更包含：所述眼部區域係分別於該臉部影像上半部之左右半部分別界定一第一搜尋範圍（Region of Interest, ROI）所偵測者。
據上所述之臉部角度辨識方法，其步驟更包含：所述嘴部區域係分別於該臉部影像之下方三分之一部份界定一第二搜尋範圍所偵測者。
本發明另提供一種利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟包含：建立一臉部資料庫，其儲存有複數以據上所述之利用二維臉部影像估測其三維角度方法求得臉部影像轉動角度之替換影像；以及於該替換影像界定一欲替換區域。
據上所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其中，該欲替換區域係由所述頂點形成之面域者。
據上所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟更包含：於相鄰之二頂點間，分別取一中心點，並將所述中心點向該四邊形之外部偏移；以及分別以一弧線連接該所述頂點及中心點以形成該欲替換區域。
據上所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其中，所述弧線為拋物線，且所述面域之形狀為凸包者。
據上所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其中，該眼角及嘴角係分別透過於該臉部影像分別偵測二眼部區域及一嘴部區域，且於所述眼部區域之頂邊取一第一極左點及一第一極右點，而於嘴部區域之底邊取一第二極左點及一第二極右點，並分別於第一極左點、第一極右點、第二極左點及第二極右點間兩相鄰之點間分別取一中心點，並將所述中心點向該四邊形之外部偏移，並分別以一弧線連接該所述第一極左點、第一極右點、第二極左點、第二極右點及中心點所形成封閉之面域定義為該欲替換區域。
本發明另一種利用二維臉部影像估測其三維角度之臉部影像置換方法，其包含如據上所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟包含：擷取一臉部影像，並依所述利用二維臉部影像估測其三維角度方法偵測該臉部影像之轉動角度；於該臉部影像界定一置換區域；將對應該臉部影像轉動角度之其一所述替換影像之欲替換區域貼合於該置換區域。
據上所述之自動視訊臉部置換方法，其中，該置換區域係由所述頂點形成之面域者。
據上所述之自動視訊臉部置換方法，其步驟更包含：於相鄰之二頂點間，分別取一中心點，並將所述中心點向該四邊形之外部偏移；以及分別以一弧線連接該所述頂點及中心點以形成該置換區域。
據上所述之自動視訊臉部置換方法，其中，所述弧線為拋物線，且所述面域之形狀為凸包者。
據上所述之自動視訊臉部置換方法，其中，該眼角及嘴角係分別透過於該臉部影像分別偵測二眼部區域及一嘴部區域，且於所述眼部區域之頂邊取一第一極左點及一第一極右點，而於嘴部區域之底邊取一第二極左點及一第二極右點，並分別於第一極左點、第一極右點、第二極左點及第二極右點間兩相鄰之點間分別取一中心點，並將所述中心點向該四邊形之外部偏移，並分別以一弧線連接該所述第一極左點、第一極右點、第二極左點、第二極右點及中心點所形成封閉之面域定義為該置換區域。
據上所述之自動視訊臉部置換方法，其步驟更包含：於置換區域及欲替換區域分別統計於RGB色彩空間中R通道、G通道及B通道之直方圖，並分別正規化為一機率；以及以所述機率分別計算所述置換區域及欲替換區域之期望值，以求得置換區域及欲替換區域間之縮放係數，並依所述縮放係數調整欲替換區域R通道、G通道及B通道之值。
據上所述之自動視訊臉部置換方法，其中，該欲替換區域係以邊緣羽化法以漸層貼合於該置換區域。
據上所述之自動視訊臉部置換方法，其步驟更包含：以替換影像之欲替換區域及置換區域之邊緣為基準，將欲替換區域之邊緣以及邊緣外像素（Pixel）之透明度設定為一較高值，並向邊緣內逐漸減少透明度至一較低值。
據上所述之自動視訊臉部置換方法，其中，該較高值為255，該較低值為0。
據上所述之自動視訊臉部置換方法，其中，該臉部影像係靜態影像或動態影像，且該臉部影像係透過一攝影機即時擷取者。
是由上述說明及設置，顯見本發明主要具有下列數項優點及功效，茲逐一詳述如下：
1.本發明係透過平面影像之眼角及嘴角，以形成一四邊形之頂點，並於該四邊形平面之垂直方向定義一尖點，且透過計算尖點至所述頂點之四個向量之向量集合，比對特徵向量模型以定義該角度值為該臉部影像之轉動角度，顯見本發明確實可自動即時進行臉部影像轉動角度之估算，而無須人工手動操作，亦無須複雜及龐大之計算，藉可確實適用於動態及靜態影像，且可與動態影像同步而幾乎無延遲者。
2.本發明之置換區域係由臉部影像中眼角及嘴角所定義形成，故置換區域係隨臉部影像之轉動角度而變換，故於替代影像置換時，可準確依據臉部影像之轉動角度而不產生影像偏差，且於置換後，將依替換影像及置換區域於RGB色彩空間之縮放係數，藉以調整替換影像R通道、G通道及B通道之值，並令替換影像係以邊緣羽化法以漸層貼合於該置換區域，藉以令臉部影像經置換後，不產生色差及臉部角度之違和感。
3.本發明僅需透過架設攝影機，如：網路攝影機（Webcam），即可於電腦中直接呈現並置換臉部影像，藉可無須另行設置昂貴之系統設備。
關於吾等發明人之技術手段，茲舉數種較佳實施例配合圖式於下文進行詳細說明，俾供  鈞上深入了解並認同本發明。
請先參閱第1圖所示，本發明係提供一種利用二維臉部影像估測其三維角度方法，其步驟包含：
S001：建立一特徵向量樣板，且該特徵向量樣板包含複數相異旋轉角度之特徵向量模型及一標準眼距；而通常特徵向量模型係於Offline（離線）事先建立完成，且就一般使用者臉部轉動情形而言，通常係分別於X軸、Y軸及Z軸介於-20∘至20∘之轉動角度區間進行轉動，故若分別將X軸、Y軸及Z軸量化為N1、N2及N3之轉動單位，則能形成特徵向量模型之組數N及如下數學式1所示：
【數學式1】
故透過由X軸、Y軸及Z軸於一轉動角度區間之向量旋轉矩陣相乘，即能予以界定特徵向量模型。
S002：透過一攝影機，如：網路攝影機（Webcam）擷取靜態或動態影像，或者透過傳輸或選定單一之臉部影像1，如第2圖所示，本實施例係使用Haar feature做為辨識特徵，且使用Cascade Adaboost分類器，做為人臉特徵學習機制，訓練人臉及五官分類器，藉以偵測人臉及五官；為能有效截取臉部影像1之眼角及嘴角，故預先於臉部影像1上半部之左右半部分別界定一第一搜尋範圍11（Region of Interest, ROI）偵測二眼部區域12，及於臉部影像1之下方三分之一部份界定一第二搜尋範圍13偵測一嘴部區域14，並取分別於所述眼部區域12及嘴部區域14分別搜尋眼角及嘴角，於一實施例中，位於左半部之眼部區域12，係可由臉部影像1左方為掃描膚色區域亮度之起始點，而由於眼角之亮度相較於其周邊之膚色亮度較暗，故藉由掃描至亮度最低者為眼角，而位於右半部之眼部區域12則係由臉部影像1右方為掃描膚色區域亮度之起始點而取得眼角者，而對於嘴角之搜尋亦可採用與掃描眼角相同之方式，惟所述搜尋眼角及嘴角之方式僅為舉例說明，並不以此作為限定。
S003：續如第3圖所示，將眼角及嘴角定義為一四邊形之頂點P1 、P2 、P3 、P4 ，因各臉部影像1可能與攝影機之距離不一，而導致尺寸及大小具有差異性，為能準確判斷該臉部影像1之角度，故先將計算所述眼角頂點之距離以進行尺寸正規化（scale normalization）；另由於臉部影像1為二維影像，故此處之所定義之頂點座標為二維座標，為能確實依據相異之臉部影像1而以統一標準定義各臉部影像1之轉動角度，故本實施例係透過計算該四邊形之高h及重心G之二維座標（x0 ,y0 ），同時將頂點及重心轉換為三維座標，即令頂點及重心G位於第三維度之座標值為0，舉例而言，重心之三維座標即為（x0 ,y0 ,0），並定義一倍數常數k，以由該重心G於該四邊形平面之垂直方向延伸特定倍數之高，即為k倍之高h處定義一尖點O，令該尖點O之三維座標為（x0 ,y0 ,kh），且該尖點O係與該四邊形之頂點P1 、P2 、P3 、P4 形成一四角錐，並依該標準眼距及所述眼角頂點之距離進行所述四角錐之尺寸正規化，而後即計算尖點O至所述頂點P1 、P2 、P3 、P4 之四個向量、、、，以求得一向量集合；而如第4圖所示，相異臉部影像1之轉動角度，將使形成之四角錐及其向量集合相異。
S004：將該向量集合與所述特徵向量模型分別比對，取其一特徵向量模型與該向量集合之距離最短者之角度值，並定義該角度值為該臉部影像1之轉動角度。
續如第5圖所示，本發明利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟包含：
S005：建立一臉部資料庫，其儲存有複數以所述之利用二維臉部影像估測其三維角度方法求得臉部影像1轉動角度之替換影像2；其中，對於替換影像2之取得，係可藉由攝影機擷取一臉部影像1，如：網路攝影機（Webcam）擷取靜態或動態影像，或者透過傳輸或選定單一之臉部影像1，並依所述臉部角度辨識方法偵測該臉部影像1之轉動角度，並逐一儲存形成替換影像2。
S006：為能明確界定替換影像2進行替換之部分，故須於該替換影像2界定一欲替換區域21，該欲替換區域係由所述頂點P1 、P2 、P3 、P4 形成之面域者，在一個較佳的實施例中，係可透過於相鄰之二頂點P1 、P2 、P3 、P4 間，分別取一中心點C，並將所述中心點C向該四邊形之外部偏移，並分別以一弧線連接該所述頂點及中心點以形成該欲替換區域21；而為能令替換影像2於置換後更能呈現自然之視覺觀感，故所述弧線為拋物線，令所述面域即形成凸包狀為佳，故如第6圖所示，於所述眼部區域12之頂邊取一第一極左點P5 及一第一極右點P6 ，令第一極左點P5及第一極右點P6 高於原眼角之頂點P1 、P2 ，而於嘴部區域14之底邊取一第二極左點P7 及一第二極右點P8 ，令第二極左點P7 及第二極右點P8 低於原嘴角之頂點P3 、P4 ，並分別於第一極左點P5 、第一極右點P6 、第二極左點P7 及第二極右點P8 間兩相鄰之點間分別取一中心點C，並將所述中心點C向該四邊形之外部偏移，並分別以一弧線連接該第一極左點P5 、第一極右點P6 、第二極左點P7 、第二極右點P8 及中心點C所形成封閉之面域定義為該欲替換區域21。
再請參閱第7圖所示，本發明之利用二維臉部影像估測其三維角度之臉部影像置換方法，其步驟包含：
S007：透過攝影機擷取一臉部影像1，如：網路攝影機（Webcam）擷取靜態或動態影像，或者透過傳輸或選定單一之臉部影像1，並依所述利用二維臉部影像估測其三維角度方法偵測該臉部影像1之轉動角度。
S008：如第8圖所示，於該臉部影像1界定一置換區域15，該置換區域15係可由前述步驟S006界定欲替換區域21之方式予以界定該置換區域15，由於其界定方式已見於前述，故在此不予贅述。
S009：如第9圖所示，透過尋找對應臉部影像1轉動角度之替換影像2，即可直接將對應該臉部影像1轉動角度之其一所述替換影像2之欲替換區域21貼合於該置換區域15。
S010：由於臉部縫合處理部分包括調整來源影像彩度及亮度、影像縫合與縫合後邊界後處理，而針對人臉置換後的結果進行調整，可令呈現出的視訊影像能夠更加自然及協調；然而，置換區域15與欲替換區域21之色彩與亮度皆有一定程度的落差，故需調整欲替換區域21之色彩與亮度以令置換後呈現自然之視覺效果，故於置換區域15及欲替換區域21分別統計於RGB色彩空間中R通道、G通道及B通道之直方圖，並分別正規化為一機率（i），同時為避免黑色區域影響計算結果，計算時不將0列入範圍，並以所述機率分別計算所述置換區域15及欲替換區域21之期望值，如下數學式2所示：
【數學式2】
藉以分別計算置換區域15及欲替換區域21間於R通道、G通道及B通道之縮放係數，並依所述縮放係數調整欲替換區域21之R通道、G通道及B通道之值，如下數學式3所示：
【數學式3】
S011：由於置換後欲替換區域21之色彩雖然與期望值之色彩相符，但在於光源以及紋理的部分仍有造成邊緣在色彩及亮度上有些微落差之虞，故透過將欲替換區域21及置換區域15之邊緣為基準，將欲替換區域21邊緣以及邊緣外像素（Pixel）之透明度設定一較高值，如：255，並邊緣向內逐漸減少欲替換區域21之影像透明度直至一較低值，如：0，即可補償視覺上的色彩落差，如下數學式4所示：
【數學式4】
其中，為貼合後之欲替換區域21；為貼合前之欲替換區域21；為置換區域15之影像；為權重值（weight），藉以將該替換影像2以邊緣羽化法漸層貼合於該置換區域15，即可如附件1所示，置換該置換區域15後呈現自然之臉部影像1。
綜上所述，本發明所揭露之技術手段確能有效解決習知等問題，並達致預期之目的與功效，且申請前未見諸於刊物、未曾公開使用且具長遠進步性，誠屬專利法所稱之發明無誤，爰依法提出申請，懇祈  鈞上惠予詳審並賜准發明專利，至感德馨。
惟以上所述者，僅為本發明之數種較佳實施例，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明書內容所作之等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。
1‧‧‧臉部影像
11‧‧‧第一搜尋範圍
12‧‧‧眼部區域
13‧‧‧第二搜尋範圍
14‧‧‧嘴部區域
15‧‧‧置換區域
2‧‧‧替換影像
21‧‧‧欲替換區域
O‧‧‧尖點
P1、P2、P3、P4‧‧‧頂點
P5‧‧‧第一極左點
P6‧‧‧第一極右點
P7‧‧‧第二極左點
P8‧‧‧第二極右點
C‧‧‧中心點
S001~S011‧‧‧步驟
第1圖係本發明利用二維臉部影像估測其三維角度方法之流程圖。 第2圖係本發明於臉部影像分別界定第一搜尋範圍及第二搜尋範圍之示意圖。 第3圖係本發明於臉部影像求得向量集合之示意圖。 第4圖係本發明於臉部影像於相異轉動角度之向量集合示意圖。 第5圖係本發明利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法之流程圖。 第6圖係本發明於替換影像界定欲替換區域之示意圖。 第7圖係本發明利用二維臉部影像估測其三維角度之臉部影像置換方法之流程圖。 第8圖係本發明於臉部影像界定置換區域之示意圖。 第9圖係本發明於欲替換區域貼合於置換區域之示意圖。 附件1係本發明實際將替換影像貼合於臉部影像之置換區域之使用狀態圖。
S001~S004‧‧‧步驟

Claims (22)

  1. 一種利用二維臉部影像估測其三維角度方法，其步驟包含：建立一特徵向量樣板，且該特徵向量樣板包含複數相異旋轉角度之特徵向量模型；於待處理之一臉部影像分別偵測眼角及嘴角，並將眼角及嘴角定義為一四邊形之頂點；並於該四邊形平面之垂直方向定義一尖點，並將所述頂點轉換為三維座標，且該尖點係與該四邊形之頂點形成一四角錐；計算尖點至所述三維座標之頂點的四個向量，以求得一向量集合；以及將該向量集合與所述特徵向量模型分別比對，取其一特徵向量模型與該向量集合之距離最短者之角度值，並定義該角度值為該臉部影像之轉動角度。
  2. 如申請專利範圍第1項所述之臉部角度辨識方法，其步驟更包含：計算該四邊形之高及重心之座標；以及由該四邊形之重心朝該四邊形平面之垂直方向，延伸特定倍數該四邊形之高以定義該尖點。
  3. 如申請專利範圍第1項所述之臉部角度辨識方法，其中，所述特徵向量模型係由X軸、Y軸及Z軸於一轉動角度區間之向量旋轉矩陣相乘以界定者。
  4. 如申請專利範圍第3項所述之臉部角度辨識方法，其步驟更包含：於該特徵向量樣板更定義一標準眼距；以及計算所述眼角頂點之距離，以依該標準眼距及所述眼角頂點之距離進行所述四角錐之尺寸正規化（scale normalization）。
  5. 如申請專利範圍第1項所述之臉部角度辨識方法，其步驟更包含：於該臉部影像分別偵測二眼部區域及一嘴部區域，並分別於所述眼部區域及嘴部區分別搜尋眼角及嘴角者。
  6. 如申請專利範圍第5項所述之臉部角度辨識方法，其步驟更包含：所述眼部區域係分別於該臉部影像上半部之左右半部分別界定一第一搜尋範圍（Region of Interest, ROI）所偵測者。
  7. 如申請專利範圍第5項所述之臉部角度辨識方法，其步驟更包含：所述嘴部區域係分別於該臉部影像之下方三分之一部份界定一第二搜尋範圍所偵測者。
  8. 一種利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟包含：建立一臉部資料庫，其儲存有複數以如申請專利範圍第1至7項中任一項所述之利用二維臉部影像估測其三維角度方法求得臉部影像轉動角度之替換影像；以及於該替換影像界定一欲替換區域。
  9. 如申請專利範圍第8項所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其中，該欲替換區域係由所述頂點形成之面域者。
  10. 如申請專利範圍第9項所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟更包含：於相鄰之二頂點間，分別取一中心點，並將所述中心點向該四邊形之外部偏移；以及分別以一弧線連接該所述頂點及中心點以形成該欲替換區域。
  11. 如申請專利範圍第10項所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其中，所述弧線為拋物線，且所述面域之形狀為凸包者。
  12. 如申請專利範圍第10項所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其中，該眼角及嘴角係分別透過於該臉部影像分別偵測二眼部區域及一嘴部區域，且於所述眼部區域之頂邊取一第一極左點及一第一極右點，而於嘴部區域之底邊取一第二極左點及一第二極右點，並分別於第一極左點、第一極右點、第二極左點及第二極右點間兩相鄰之點間分別取一中心點，並將所述中心點向該四邊形之外部偏移，並分別以一弧線連接該所述第一極左點、第一極右點、第二極左點、第二極右點及中心點所形成封閉之面域定義為該欲替換區域。
  13. 一種利用二維臉部影像估測其三維角度之臉部影像置換方法，其包含如申請專利範圍第8項所述之利用二維臉部影像估測其三維角度之臉部置換資料庫建立方法，其步驟包含：擷取一臉部影像，並依所述利用二維臉部影像估測其三維角度方法偵測該臉部影像之轉動角度；於該臉部影像界定一置換區域；將對應該臉部影像轉動角度之其一所述替換影像之欲替換區域貼合於該置換區域。
  14. 如申請專利範圍第13項所述之自動視訊臉部置換方法，其中，該置換區域係由所述頂點形成之面域者。
  15. 如申請專利範圍第14項所述之自動視訊臉部置換方法，其步驟更包含：於相鄰之二頂點間，分別取一中心點，並將所述中心點向該四邊形之外部偏移；以及分別以一弧線連接該所述頂點及中心點以形成該置換區域。
  16. 如申請專利範圍第15項所述之自動視訊臉部置換方法，其中，所述弧線為拋物線，且所述面域之形狀為凸包者。
  17. 如申請專利範圍第15項所述之自動視訊臉部置換方法，其中，該眼角及嘴角係分別透過於該臉部影像分別偵測二眼部區域及一嘴部區域，且於所述眼部區域之頂邊取一第一極左點及一第一極右點，而於嘴部區域之底邊取一第二極左點及一第二極右點，並分別於第一極左點、第一極右點、第二極左點及第二極右點間兩相鄰之點間分別取一中心點，並將所述中心點向該四邊形之外部偏移，並分別以一弧線連接該所述第一極左點、第一極右點、第二極左點、第二極右點及中心點所形成封閉之面域定義為該置換區域。
  18. 如申請專利範圍第13項所述之自動視訊臉部置換方法，其步驟更包含：於置換區域及欲替換區域分別統計於RGB色彩空間中R通道、G通道及B通道之直方圖，並分別正規化為一機率；以及以所述機率分別計算所述置換區域及欲替換區域之期望值，以求得置換區域及欲替換區域間之縮放係數，並依所述縮放係數調整欲替換區域R通道、G通道及B通道之值。
  19. 如申請專利範圍第18項所述之自動視訊臉部置換方法，其中，該欲替換區域係以邊緣羽化法以漸層貼合於該置換區域。
  20. 如申請專利範圍第19項所述之自動視訊臉部置換方法，其步驟更包含：以替換影像之欲替換區域及置換區域之邊緣為基準，將欲替換區域之邊緣以及邊緣外像素（Pixel）之透明度設定為一較高值，並向邊緣內逐漸減少透明度至一較低值。
  21. 如申請專利範圍第20項所述之自動視訊臉部置換方法，其中，該較高值為255，該較低值為0。
  22. 如申請專利範圍第13項所述之自動視訊臉部置換方法，其中，該臉部影像係靜態影像或動態影像，且該臉部影像係透過一攝影機即時擷取者。
TW103132584A 2014-09-22 2014-09-22 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法 TWI553565B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103132584A TWI553565B (zh) 2014-09-22 2014-09-22 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
US14/615,770 US9639738B2 (en) 2014-09-22 2015-02-06 Method for estimating a 3D vector angle from a 2D face image, method for creating face replacement database, and method for replacing face image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103132584A TWI553565B (zh) 2014-09-22 2014-09-22 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法

Publications (2)

Publication Number Publication Date
TW201612796A TW201612796A (en) 2016-04-01
TWI553565B true TWI553565B (zh) 2016-10-11

Family

ID=55526188

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103132584A TWI553565B (zh) 2014-09-22 2014-09-22 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法

Country Status (2)

Country Link
US (1) US9639738B2 (zh)
TW (1) TWI553565B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101997479B1 (ko) * 2015-10-20 2019-10-01 삼성전자주식회사 사용자 인증을 위한 생체 영역을 검출하는 방법 및 장치
US10176377B2 (en) 2015-11-02 2019-01-08 Fotonation Limited Iris liveness detection for mobile devices
CN106023063A (zh) * 2016-05-09 2016-10-12 西安北升信息科技有限公司 一种视频移植换脸的方法
CN106022221B (zh) * 2016-05-09 2021-11-30 腾讯科技（深圳）有限公司 一种图像处理方法及处理***
CN107316020B (zh) * 2017-06-26 2020-05-08 司马大大（北京）智能***有限公司 人脸替换方法、装置及电子设备
CN107330408B (zh) * 2017-06-30 2021-04-20 北京乐蜜科技有限责任公司 视频处理方法、装置、电子设备及存储介质
CN107610202B (zh) * 2017-08-17 2020-11-03 北京觅己科技有限公司 人脸图像替换方法、设备及存储介质
CN109978754A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108711192A (zh) * 2018-04-10 2018-10-26 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN109089105B (zh) * 2018-08-31 2020-06-23 盎锐（上海）信息科技有限公司 基于深度感知编码的模型生成装置及方法
CN109146962B (zh) * 2018-09-07 2020-06-09 百度在线网络技术（北京）有限公司 检测脸部角度的方法、装置、存储介质和终端设备
KR102503939B1 (ko) * 2018-09-28 2023-02-28 한국전자통신연구원 얼굴 이미지 비식별화 장치 및 방법
TWI712002B (zh) * 2018-11-27 2020-12-01 國立交通大學 三維人臉重建方法
FR3091610B1 (fr) * 2019-01-08 2021-05-28 Surys Procédé de traitement d’images numériques
CN110675438A (zh) * 2019-09-24 2020-01-10 北京紫睛科技有限公司 一种轻量级快速人脸交换的算法
CN110909596B (zh) * 2019-10-14 2022-07-05 广州视源电子科技股份有限公司 侧脸识别方法、装置、设备以及存储介质
JP7127661B2 (ja) * 2020-03-24 2022-08-30 トヨタ自動車株式会社 開眼度算出装置
CN112634125B (zh) * 2020-12-16 2023-07-25 西安理工大学 一种基于离线人脸数据库的自动面部替换方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201118763A (en) * 2009-11-16 2011-06-01 Univ Nat Cheng Kung Face recognition method based on SIFT features and head pose estimation
US20120133640A1 (en) * 2010-11-26 2012-05-31 Mao-Yuan Chin Method and system for combining 2d image and 3d model and computer program product thereof
TW201305962A (zh) * 2011-06-20 2013-02-01 Alcatel Lucent 用於影像模型建立之方法及配置
US20130177258A1 (en) * 2008-09-03 2013-07-11 Dai Nippon Printing Co., Ltd. Image converter

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286049A1 (en) * 2011-12-20 2013-10-31 Heng Yang Automatic adjustment of display image using face detection
US9154773B2 (en) * 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US20160148381A1 (en) * 2013-07-03 2016-05-26 Panasonic Intellectual Property Management Co., Ltd. Object recognition device and object recognition method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177258A1 (en) * 2008-09-03 2013-07-11 Dai Nippon Printing Co., Ltd. Image converter
TW201118763A (en) * 2009-11-16 2011-06-01 Univ Nat Cheng Kung Face recognition method based on SIFT features and head pose estimation
US20120133640A1 (en) * 2010-11-26 2012-05-31 Mao-Yuan Chin Method and system for combining 2d image and 3d model and computer program product thereof
TW201305962A (zh) * 2011-06-20 2013-02-01 Alcatel Lucent 用於影像模型建立之方法及配置

Also Published As

Publication number Publication date
US20160086304A1 (en) 2016-03-24
TW201612796A (en) 2016-04-01
US9639738B2 (en) 2017-05-02

Similar Documents

Publication Publication Date Title
TWI553565B (zh) 利用二維臉部影像估測其三維角度方法，及其臉部置換資料庫建立方法與臉部影像置換方法
US9898836B2 (en) Method for automatic video face replacement by using a 2D face image to estimate a 3D vector angle of the face image
US11232647B2 (en) Adjusting a digital representation of a head region
JP6742405B2 (ja) 表情検出機能を備えたヘッドマウントディスプレイ
US11010967B2 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
CN106920274B (zh) 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN105139438B (zh) 视频人脸卡通动画生成方法
CN106909875B (zh) 人脸脸型分类方法和***
KR20200043448A (ko) 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체
CN104317385A (zh) 一种手势识别方法和***
US20170169578A1 (en) Image registration device, image registration method, and image registration program
CN105096267B (zh) 一种基于拍照识别调节眼部亮度的方法和装置
CN106652015B (zh) 一种虚拟人物头像生成方法及装置
JP2005025748A5 (zh)
CN110796719A (zh) 一种实时人脸表情重建方法
CN106652037B (zh) 一种人脸贴图处理方法及装置
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
US11321960B2 (en) Deep learning-based three-dimensional facial reconstruction system
CN108550167B (zh) 深度图像生成方法、装置及电子设备
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN110909571A (zh) 一种高精度面部识别空间定位方法
CN109345470B (zh) 人脸图像融合方法和***
KR101818992B1 (ko) 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees