TWI775006B - 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統 - Google Patents
擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統 Download PDFInfo
- Publication number
- TWI775006B TWI775006B TW108139713A TW108139713A TWI775006B TW I775006 B TWI775006 B TW I775006B TW 108139713 A TW108139713 A TW 108139713A TW 108139713 A TW108139713 A TW 108139713A TW I775006 B TWI775006 B TW I775006B
- Authority
- TW
- Taiwan
- Prior art keywords
- face
- image
- mixed
- images
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000001514 detection method Methods 0.000 claims description 26
- 238000002156 mixing Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims 2
- 210000000887 face Anatomy 0.000 description 13
- 239000000203 mixture Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010405 clearance mechanism Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
人臉深度影像經過正規化與色彩轉移以得到正規化人臉深度影像。將人臉彩色影像與正規化人臉深度影像混合，以得到人臉混合影像。將不同使用者的多張人臉混合影像進行人臉特徵點對齊與平均，再與另一使用者的人臉混合影像進行合成，以得到擬真虛擬人臉。
Description
本發明是有關於一種擬真虛擬人臉(imaginary face)產生方法與系統，及應用其之人臉辨識方法與系統。
人臉辨識技術開發許久，運用人工智慧(AI)深度學習來達成人臉識別是近年趨勢。然而深度學習精確度大多取決於訓練資料的豐富多樣性。如果有越多的人臉影像當成訓練資料，來讓深度學習模型學習的話，則人臉辨識效率也會更準確。但如果沒有夠多的訓練資料，則增加臉部多樣性(facial diversity)有助於提昇人臉辨識效率。
高危險型工廠需要對人員做嚴謹管制。將人臉辨識系統導入至高危險型工廠時，基於工安規定，使用者要進入高危險型工廠的話，一定要戴上安全帽及護目鏡，但這樣將導致目前人臉辨識系統的辨識效率極差。
此外，現有的人臉辨識系統易受環境光源干擾，使得影像辨識率降低。
故而，需要有一種擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統，其可增加臉部多樣性，以解決人臉識別系統的上述與其他問題。
本發明係有關於一種擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統。本發明可將人臉深度影像經過正規化與色彩轉移以得到正規化人臉深度影像。將人臉彩色影像與正規化人臉深度影像混合，以得到人臉混合影像。將不同使用者的多張人臉混合影像進行人臉特徵點對齊與平均，再與另一使用者的人臉混合影像進行合成，以得到高擬真虛擬人臉。藉此，本發明可增加臉部多樣性，以解決人臉識別系統的辨識效率極差的問題。
根據本案一實例，提出一種擬真虛擬人臉產生方法，包括：對於存於一儲存裝置之各複數個原始人臉影像，進行逐框取出一人臉彩色影像與一人臉深度影像，對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域，根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像，以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像；對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像；以及將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊
加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像。
根據本案另一實例，提出一種擬真虛擬人臉產生系統，包括：一影像混合模組與一影像合成模組。該影像混合模組架構成，對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像。該影像合成模組架構成：對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像；以及將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像。
根據本案又一實例，提出一種人臉辨識方法，包括：對於存於一儲存裝置之各複數個原始人臉影像，進行逐框取出一人臉彩色影像與一人臉深度影像，對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域，根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像，以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像；對於該些人臉混合
影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像；以及將該擬真虛擬人臉用於一人臉辨識之一訓練階段。
根據本案更一實例，提出一種人臉辨識系統，包括：一擬真虛擬人臉產生系統與一辨識模組。該擬真虛擬人臉產生系統，包括一影像混合模組與一影像合成模組。該影像混合模組架構成，對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像。該影像合成模組架構成：對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像；以及將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像。將該擬真虛擬人臉用於該辨識模組之一訓練階段。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:擬真虛擬人臉產生系統
110:影像混合模組
120:影像合成模組
210-240:步驟
RI:原始人臉影像
CI:人臉彩色影像
DI:人臉深度影像
NDI:正規化人臉深度影像
MI:人臉混合影像
310-330:步驟
MI1_1~MI1_3、MI2_1~MI2_3、MI3、MI4:人臉混合影像
VI:擬真虛擬人臉
400:人臉辨識系統
100:擬真虛擬人臉產生系統
410:辨識模組
510-570、610-680:步驟
R1-R6:辨識率
P1-P6:正預測值
第1圖顯示根據本案一實施例的擬真虛擬人臉產生系統的功能方塊圖。
第2圖顯示根據本案一實施例的影像混合。
第3圖顯示根據本案一實施例的影像合成。
第4圖顯示根據本案一實施例的人臉辨識系統的功能方塊圖。
第5圖顯示根據其顯示根據本案一實施例的擬真虛擬人臉產生方法的流程圖。
第6圖顯示根據其顯示根據本案一實施例將擬真虛擬人臉應用於人臉識別訓練的流程圖。
第7A圖顯示根據本案一實施例的人臉辨識效率圖，而第7B圖顯示比較例的人臉辨識效率圖。
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
現請參考第1圖，其顯示根據本案一實施例的擬真虛擬人臉產生系統的功能方塊圖。根據本案一實施例的擬真虛擬人臉產生系統可應用於人臉辨識系統之中。人臉辨識系統將於底下另外說明之。
如第1圖所示，根據本案一實施例的擬真虛擬人臉產生系統100包括：影像混合模組110與影像合成模組120。影像混合模組110與影像合成模組120可以軟體方式實現之，或者，以硬體方式實現之，或者以韌體方式實現之，其皆在本案精神範圍內。
影像混合模組110用以將人臉彩色影像與人臉深度影像混合，以得到人臉混合影像。影像合成模組120對不同使用者的人臉混合影像進行合成，以得到擬真虛擬人臉。現將說明影像混合模組110與影像合成模組120之細節。
請參考第2圖，其顯示根據本案一實施例的影像混合。第2圖可用於實現影像混合模組110。如第2圖所示，對於原始人臉影像RI，進行逐框(frame by frame)取出人臉彩色影像CI與人臉深度影像DI(步驟210)，也就是說，人臉彩色影像CI與人臉深度影像DI是一對一關係。在本案實施例中，原始人臉影像RI可以利用可同時擷取彩色影像(可以為二維彩色影像或三維彩色影像)與深度資訊的影像感測器來對使用者拍照而得，並將該原始人臉影像RI存於儲存裝置之中。儲存裝置例如但不受限於為硬碟、光碟、記憶體等。同樣地，由步驟210所取出的人臉彩色影像CI與人臉深度影像DI亦可存於儲存裝置之中。
對於人臉彩色影像CI，進行人臉區域偵測(步驟220)，以找出該人臉彩色影像CI中的人臉區域。
根據步驟220所找出的人臉區域，對人臉深度影像DI的人臉區域進行正規化與色彩轉換(color transfer)，以得到正規化人臉深度影像NDI(步驟230)。進行正規化的細節在此可不特別限定之。人臉深度影像DI可以是灰階影像。在灰階影像中，以畫素的灰階值為0-255為例做說明，但當知本案並不受限於此。由步驟230所得到的正規化人臉深度影像NDI亦可存於儲存裝置之中。
在進行色彩轉換時，以類似色彩棒(color bar)的概念，將灰階值255可以轉成紅色，中間的灰階值則是由轉換成黃色、綠色、藍色等。至於灰階值0可以轉換成深藍。所以，在本案實施例中，經過色彩轉換後，正規化人臉深度影像NDI的人臉區域可呈現彩色，但正規化人臉深度影像NDI的非人臉區域還是一樣是灰階。
在本案實施例中，對人臉深度影像DI的人臉區域進行正規化與色彩轉換的技術優點在於，可以讓正規化人臉深度影像NDI的深度資訊更加明顯。如此的話，在經過正規化與色彩轉換處理後，正規化人臉深度影像NDI的人臉區域與非人臉區域之間差異會更加明顯。
之後，將人臉彩色影像CI與正規化人臉深度影像NDI進行影像疊加(混合)(步驟240)，來產生人臉混合影像MI。由步驟240所得到的人臉混合影像MI亦可存於儲存裝置之中。
底下將說明本案實施例進行疊加的一例，但當知本案並不受限於此。
人臉彩色影像CI的格式可以是RGB、或者是YCbCr、或者是CMYK，本案並不受限於此。
在進行疊加(混合)時，以畫素為單位進行疊加。人臉混合影像MI、人臉彩色影像CI與正規化人臉深度影像NDI之間的關係可表示如下：Image mix =α×Image color +(1-α)×Image depth (1)
在公式1中，Image mix 代表人臉混合影像MI的畫素值，Image color 代表人臉彩色影像CI的畫素值、Image depth 代表正規化人臉深度影像NDI的畫素值，α是介於0-1之間的參數。
更詳細地說，以格式為RGB為例做說明，人臉混合影像MI的畫素(i,j)的畫素值可以表示如下：
在公式2中，
、
與
分別代表人臉混合影像MI的畫素(i,j)的畫素值；
、
與
分別代表人臉彩色影像CI的畫素(i,j)的畫素值；
、
與
分別代表正規化人臉深度影像NDI的畫素(i,j)的畫素值。
請參考第3圖，其顯示根據本案一實施例的影像合成。第3圖可用於實現影像合成模組120。如第3圖所示，人臉混合影像MI1_1~MI1_3與MI2_1~MI2_3皆為人臉混合影像。亦即，對於第一位使用者的多張原始人臉影像(可以是正面或側面的人臉影像)，進行如第2圖的操作，以得到多張人臉混合影像MI1_1~MI1_3；同樣地，對於第二位使用者的多張原始人臉影像(可以是正面或側面的人臉影像)，進行如第2圖的操作，以得到多張人臉混合影像MI2_1~MI2_3。雖然第3圖中顯示三張人臉混合影像，但當知本案可以應用於更多張
或更少張的人臉混合影像。另外，雖然第3圖中顯示以二位使用者的個別人臉混合影像來進行合成，但在合成時，可以應用於更多位使用者的人臉混合影像來進行合成，但至少需要應用2位使用者的人臉混合影像來進行合成。
於步驟310中，對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊。亦即，對於該些人臉混合影像進行臉部區域偵測，以找出各張人臉混合影像MI1_1~MI2_3的個別臉部區域。之後，對於各張人臉混合影像MI1_1~MI2_3的個別臉部區域找出其人臉特徵點(例如眼睛、鼻子、嘴巴等)。在本案一實施例中，可以應用人臉特徵點模型(facial landmark model)來找出68個人臉特徵點。之後，將該些人臉混合影像MI1_1~MI2_3的個別68個人臉特徵點對齊。
之後，於步驟320中，進行截頭去尾取平均(trim mean)。亦即，在第3圖中，共有6張人臉混合影像MI1_1~MI2_3，對於同一相同位置畫素(如左上角畫素)而言，有6個畫素值。將該些6個畫素值排序後，將離群值(例如最大畫素值與最小畫素值)排除，可以剩下4個畫素值。之後，對剩下的4個畫素值取平均值。於進行步驟320後，可以得到另一張人臉混合影像MI4。如此所得到的人臉混合影像MI4可以儘量保留第一位使用者與第二位使用者的原來五官特徵，但人臉混合影像MI4是虛擬的人臉混合影像。
之後，將第三位使用者的人臉混合影像MI3(第三位使用者不同於第一位使用者與第二位使用者)與步驟320所得到的人臉混合影像MI4進行疊加(混合)(步驟330)，以得到擬真虛擬人臉VI。亦即，人臉混合影像MI3非屬於人臉混合影像MI1_1~MI2_3。步驟330的疊加(混合)細節可如第2圖的步驟240，於此不重述。同樣地，第三
位使用者的人臉混合影像MI3也是以第2圖的方式來得到。當然，在疊加人臉混合影像MI3與MI4時，如果需要，可以做人臉特徵點細微調整、對齊等。比如，在疊合時，如果人臉混合影像MI4(其為虛擬的人臉)的眼距較窄，而人臉混合影像MI3(其為真實人臉)的眼距比較寬，則可以調整人臉混合影像MI4的眼距，以較符合於人臉混合影像MI3(其為真實人臉)的眼距。
在本案實施例中，擬真虛擬人臉VI乃是虛擬的人臉，但其比較接近於第一位使用者(人臉混合影像MI1_1~MI1_3)與第二位使用者(MI2_1~MI2_3)。由於擬真虛擬人臉VI接近於真實人臉(如第一位使用者與第二位使用者)，但又不像真實人臉，擬真虛擬人臉VI對於後面的人臉辨識訓練是有用的。
現請參考第4圖，其顯示根據本案一實施例的人臉辨識系統的功能方塊圖。如第4圖所示，根據本案一實施例的人臉辨識系統400包括：擬真虛擬人臉產生系統100與辨識模組410。亦即，根據本案一實施例的擬真虛擬人臉產生系統100可用以產生複數個擬真虛擬人臉(如第3圖的擬真虛擬人臉VI)，而該些擬真虛擬人臉可當成辨識模組410的訓練資料，以提高辨識模組410的辨識效率。該些擬真虛擬人臉可存於儲存裝置中，由辨識模組410讀出，以進行訓練。
第5圖顯示根據其顯示根據本案一實施例的擬真虛擬人臉產生方法的流程圖。對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像(510)；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域(520)；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像
(530)；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像(540)；對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊(550)；對於經人臉特徵點對齊後的該些人臉混合影像，進行截頭去尾取平均，以得到一第一虛擬人臉混合影像(560)；以及將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉(570)，其中，該第一人臉混合影像非屬於該些人臉混合影像。
第6圖顯示根據其顯示根據本案一實施例將擬真虛擬人臉應用於人臉識別訓練的流程圖。對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像(610)；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域(620)；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像(630)；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像(640)；對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊(650)；對於經人臉特徵點對齊後的該些人臉混合影像，進行截頭去尾取平均，以得到一第一虛擬人臉混合影像(660)；將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉(670)，其中，該第一人臉混合影像非屬於該些人臉混合影像；以及將該擬真虛擬人臉用於一人臉辨識之一訓練階段(680)。
第7A圖顯示根據本案一實施例的人臉辨識效率圖，而第7B圖顯示比較例的人臉辨識效率圖。R1、R2與R3分別代表，使用者於正常情況(無戴護目鏡，也無戴安全帽)、使用者戴護目鏡，以及
使用者戴護目鏡與安全帽下，本案實施例的辨識率。R4、R5與R6分別代表，使用者於正常情況(無戴護目鏡，也無戴安全帽)、使用者戴護目鏡，以及使用者戴護目鏡與安全帽下，比較例的辨識率。P1、P2與P3分別代表，使用者於正常情況(無戴護目鏡，也無戴安全帽)、使用者戴護目鏡，以及使用者戴護目鏡與安全帽下，本案實施例的正預測值(positive predictive value)。P4、P5與P6分別代表，使用者於正常情況(無戴護目鏡，也無戴安全帽)、使用者戴護目鏡，以及使用者戴護目鏡與安全帽下，比較例的正預測值。比較這些辨識率與該些正預測值，可知本案實施例的確優於比較例。
本案實施例所產生高擬真虛擬人臉可以跟第一位使用者的多張原始人臉影像、第二位使用者的多張原始人臉影像一同用於人臉辨識的訓練階段。如此一來，由於增加臉部多樣性，對於人臉辨識的訓練/學習將有所助益。此外，在本案實施例中，人臉辨識的訓練/學習方式可包含深度卷積神經網絡(Deep Convolutional Neural Network(CNN))，前饋類神經網路(Feedforward Neural Networks，FNN)、自動編碼器(Auto-Encoder)、支持向量機(support vector machine，SVM)等機器學習模式。
由上述可知，在本案實施例中，藉由影像混合與影像合成，來產生高擬真虛擬人臉，其有助於人臉辨識的訓練。
本案實施例可以應用於快速人臉辨識通關機制。而且，使用者在通關時，使用者可以免摘安全帽與護目鏡，避免工安缺失。
此外，本案實施例可應用於可靠的快速認證系統，避免被環境光源干擾其人臉辨識效率。故而，本案實施例可於全天候使用(亦即，不論是否光源充足，都不太會影響人臉辨識效率)。而且，即便使用者戴安全帽及/或護目鏡，本案實施例的辨識效率有顯著的提升。
此外，在本案實施例中，可以僅靠著少數使用者的原始人臉影像，就可合成出大量高擬真虛擬人臉，以用於人臉辨識訓練，可以提升精準度。
綜上所述，本案實施例可以使用既有的人臉影像去模擬/推算來產生大量高擬真虛擬人臉，這樣就可以使用既有人臉影像去產生更多訓練資料，增加深度學習的效率。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
510-570:步驟
Claims (10)
- 一種擬真虛擬人臉產生方法，包括：對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像；對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像；將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像；以及該些人臉混合影像有關於一第一位使用者與一第二位使用者，該第一人臉混合影像有關於一第三位使用者，該第三位使用者不同於該第一位使用者與該第二位使用者。
- 如申請專利範圍第1項所述之擬真虛擬人臉產生方法，其中，經過色彩轉換後，該正規化人臉深度影像的該人臉區域為彩色，而且，該正規化人臉深度影像的一非人臉區域為灰階。
- 如申請專利範圍第1項所述之擬真虛擬人臉產生方法，其中，對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊時，對於該些人臉混合影像進行臉部區域偵測，以找出各該些人臉混合影像的個別臉部區域；對於各張人臉混合影像的該些個別臉部區域找出個別複數個人臉特徵點；以及將該些人臉混合影像的該些個別人臉特徵點對齊。
- 如申請專利範圍第1項所述之擬真虛擬人臉產生方法，其中，於取平均時，將至少一離群值排除，以取平均值。
- 一種擬真虛擬人臉產生系統，包括：一影像混合模組與一影像合成模組，其中，該影像混合模組架構成，對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域； 根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像；該影像合成模組架構成：對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像；將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像；以及該些人臉混合影像有關於一第一位使用者與一第二位使用者，該第一人臉混合影像有關於一第三位使用者，該第三位使用者不同於該第一位使用者與該第二位使用者。
- 如申請專利範圍第5項所述之擬真虛擬人臉產生系統，其中，經過色彩轉換後，該正規化人臉深度影像的該人臉區域為彩色，而且，該正規化人臉深度影像的一非人臉區域為灰階。
- 如申請專利範圍第5項所述之擬真虛擬人臉產生系統，其中，該影像合成模組架構成：對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊時， 對於該些人臉混合影像進行臉部區域偵測，以找出各該些人臉混合影像的個別臉部區域；對於各張人臉混合影像的該些個別臉部區域找出個別複數個人臉特徵點；以及將該些人臉混合影像的該些個別人臉特徵點對齊。
- 如申請專利範圍第5項所述之擬真虛擬人臉產生系統，其中，該影像合成模組架構成：取平均時，將至少一離群值排除，以取平均值。
- 一種人臉辨識方法，包括：對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像；對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像； 將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像；以及將該擬真虛擬人臉用於一人臉辨識之一訓練階段；其中該些人臉混合影像有關於一第一位使用者與一第二位使用者，該第一人臉混合影像有關於一第三位使用者，該第三位使用者不同於該第一位使用者與該第二位使用者。
- 一種人臉辨識系統，包括：一擬真虛擬人臉產生系統與一辨識模組，其中，該擬真虛擬人臉產生系統，包括一影像混合模組與一影像合成模組，該影像混合模組架構成，對於存於一儲存裝置之各複數個原始人臉影像：進行逐框取出一人臉彩色影像與一人臉深度影像；對於該人臉彩色影像，進行人臉區域偵測，以找出該人臉彩色影像中的一人臉區域；根據該人臉彩色影像的該人臉區域，對該人臉深度影像的一人臉區域進行正規化與色彩轉換，以得到一正規化人臉深度影像；以及將該人臉彩色影像與該正規化人臉深度影像進行影像疊加，以產生一人臉混合影像； 該影像合成模組架構成：對於該些人臉混合影像，進行臉部區域偵測與人臉特徵點對齊；對於經人臉特徵點對齊後的該些人臉混合影像取平均，以得到一第一虛擬人臉混合影像；以及將一第一人臉混合影像與該第一虛擬人臉混合影像進行疊加，以得到一擬真虛擬人臉，其中，該第一人臉混合影像非屬於該些人臉混合影像，將該擬真虛擬人臉用於該辨識模組之一訓練階段；其中該些人臉混合影像有關於一第一位使用者與一第二位使用者，該第一人臉混合影像有關於一第三位使用者，該第三位使用者不同於該第一位使用者與該第二位使用者。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108139713A TWI775006B (zh) | 2019-11-01 | 2019-11-01 | 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統 |
| CN202010007858.6A CN112784659B (zh) | 2019-11-01 | 2020-01-03 | 拟真虚拟人脸产生方法与***，及其人脸辨识方法与*** |
| US16/816,821 US11270101B2 (en) | 2019-11-01 | 2020-03-12 | Imaginary face generation method and system, and face recognition method and system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108139713A TWI775006B (zh) | 2019-11-01 | 2019-11-01 | 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202119263A TW202119263A (zh) | 2021-05-16 |
| TWI775006B true TWI775006B (zh) | 2022-08-21 |
Family
ID=75687416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108139713A TWI775006B (zh) | 2019-11-01 | 2019-11-01 | 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11270101B2 (zh) |
| CN (1) | CN112784659B (zh) |
| TW (1) | TWI775006B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034063A (zh) * | 2018-07-27 | 2018-12-18 | 北京微播视界科技有限公司 | 人脸特效的多人脸跟踪方法、装置和电子设备 |
| CN113570678A (zh) * | 2021-01-20 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像上色方法、装置、电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200719871A (en) * | 2005-11-30 | 2007-06-01 | Univ Nat Kaohsiung Applied Sci | A real-time face detection under complex backgrounds |
| CN107767335A (zh) * | 2017-11-14 | 2018-03-06 | 上海易络客网络技术有限公司 | 一种基于人脸识别特征点定位的图像融合方法及*** |
| US20180121713A1 (en) * | 2016-10-28 | 2018-05-03 | Qualcomm Incorporated | Systems and methods for verifying a face |
| CN109948467A (zh) * | 2019-02-28 | 2019-06-28 | 中国科学院深圳先进技术研究院 | 人脸识别的方法、装置、计算机设备和存储介质 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7127087B2 (en) | 2000-03-27 | 2006-10-24 | Microsoft Corporation | Pose-invariant face recognition system and process |
| US6975750B2 (en) | 2000-12-01 | 2005-12-13 | Microsoft Corp. | System and method for face recognition using synthesized training images |
| GB2382289B (en) * | 2001-09-28 | 2005-07-06 | Canon Kk | Method and apparatus for generating models of individuals |
| US7492943B2 (en) | 2004-10-29 | 2009-02-17 | George Mason Intellectual Properties, Inc. | Open set recognition using transduction |
| TWI382354B (zh) | 2008-12-02 | 2013-01-11 | Nat Univ Tsing Hua | 臉部辨識方法 |
| CN101770649B (zh) * | 2008-12-30 | 2012-05-02 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
| JP2010191592A (ja) * | 2009-02-17 | 2010-09-02 | Seiko Epson Corp | 顔の特徴部位の座標位置を検出する画像処理装置 |
| JP2011053915A (ja) * | 2009-09-02 | 2011-03-17 | Sony Corp | 画像処理装置、画像処理方法、プログラム及び電子機器 |
| TWI439951B (zh) * | 2010-11-08 | 2014-06-01 | Inst Information Industry | 人臉影像性別辨識系統及其辨識方法及其電腦程式產品 |
| US9053392B2 (en) | 2013-08-28 | 2015-06-09 | Adobe Systems Incorporated | Generating a hierarchy of visual pattern classes |
| US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
| CN103810491B (zh) * | 2014-02-19 | 2017-02-22 | 北京工业大学 | 融合深度和灰度图像特征点的头姿估计兴趣点检测方法 |
| KR20150099129A (ko) * | 2014-02-21 | 2015-08-31 | 한국전자통신연구원 | 국소 특징 기반 적응형 결정 트리를 이용한 얼굴 표정 인식 방법 및 장치 |
| JP5876121B2 (ja) * | 2014-09-08 | 2016-03-02 | 株式会社東芝 | 画像処理装置、方法、及びプログラム |
| BR102014023780B1 (pt) | 2014-09-25 | 2023-04-18 | Universidade Estadual De Campinas - Unicamp (Br/Sp) | Método para classificação multiclasse em cenários abertos e usos do mesmo |
| CN106776662B (zh) * | 2015-11-25 | 2020-03-03 | 腾讯科技（深圳）有限公司 | 一种照片的分类整理方法和装置 |
| US10497382B2 (en) * | 2016-12-16 | 2019-12-03 | Google Llc | Associating faces with voices for speaker diarization within videos |
| CN107392213B (zh) | 2017-07-21 | 2020-04-07 | 西安电子科技大学 | 基于深度图模型特征学习的人脸画像合成方法 |
| CN110309692B (zh) * | 2018-03-27 | 2023-06-02 | 杭州海康威视数字技术股份有限公司 | 人脸识别方法、装置及***、模型训练方法及装置 |
| EP3553785A1 (en) * | 2018-04-11 | 2019-10-16 | Koninklijke Philips N.V. | Systems and methods for generating enhanced diagnostic images from 3d medical image data |
| US10943681B2 (en) * | 2018-11-21 | 2021-03-09 | Enlitic, Inc. | Global multi-label generating system |
-
2019
- 2019-11-01 TW TW108139713A patent/TWI775006B/zh active
-
2020
- 2020-01-03 CN CN202010007858.6A patent/CN112784659B/zh active Active
- 2020-03-12 US US16/816,821 patent/US11270101B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200719871A (en) * | 2005-11-30 | 2007-06-01 | Univ Nat Kaohsiung Applied Sci | A real-time face detection under complex backgrounds |
| US20180121713A1 (en) * | 2016-10-28 | 2018-05-03 | Qualcomm Incorporated | Systems and methods for verifying a face |
| CN107767335A (zh) * | 2017-11-14 | 2018-03-06 | 上海易络客网络技术有限公司 | 一种基于人脸识别特征点定位的图像融合方法及*** |
| CN109948467A (zh) * | 2019-02-28 | 2019-06-28 | 中国科学院深圳先进技术研究院 | 人脸识别的方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112784659A (zh) | 2021-05-11 |
| US11270101B2 (en) | 2022-03-08 |
| US20210133430A1 (en) | 2021-05-06 |
| TW202119263A (zh) | 2021-05-16 |
| CN112784659B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102390781B1 (ko) | 얼굴 표정 추적 | |
| EP3477931B1 (en) | Image processing method and device, readable storage medium and electronic device | |
| TWI775006B (zh) | 擬真虛擬人臉產生方法與系統，及應用其之人臉辨識方法與系統 | |
| EP3665553A1 (en) | Adjusting a digital representation of a head region | |
| US10356383B2 (en) | Adjustment of perceived roundness in stereoscopic image of a head | |
| US11334973B2 (en) | Image colorizing method and device | |
| CN104317385A (zh) | 一种手势识别方法和*** | |
| CN103731583A (zh) | 用于拍照智能化合成、打印的一体化设备及其处理方法 | |
| EP3506149A1 (en) | Method, system and computer program product for eye gaze direction estimation | |
| Moung | A comparison of the YCBCR color space with gray scale for face recognition for surveillance applications | |
| US11657545B2 (en) | Device, method, smart glasses for color vision deficiency correction | |
| CN112818938B (zh) | 一种自适应光照干扰环境的人脸识别算法及人脸识别装置 | |
| JP2009251634A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR102135155B1 (ko) | 디스플레이 장치 및 그 제어방법 | |
| CN113449694B (zh) | 基于Android的证件照合规性检测方法及*** | |
| CN115019223A (zh) | 一种基于特征标记训练策略的图像换脸方法 | |
| CN110544200A (zh) | 一种实现视频中人与猫互换嘴部的方法 | |
| KR20110101722A (ko) | 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 | |
| TW202040514A (zh) | 使用紅外線攝影機的互動影像處理系統 | |
| Chiu et al. | A Face Replacement System Based on Face Pose Estimation | |
| Jamkhande et al. | Human Face Detection by Using Depth Information | |
| Yixia et al. | Method of ensuring eye-to eye contact in multi-view video conference | |
| Lin et al. | Using HVS color space and neural network for face detection with various illuminations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GD4A | Issue of patent certificate for granted invention patent |