KR20210100592A - Face recognition technology based on heuristic Gaussian cloud transformation - Google Patents

Face recognition technology based on heuristic Gaussian cloud transformation Download PDF

Info

Publication number
KR20210100592A
KR20210100592A KR1020217009596A KR20217009596A KR20210100592A KR 20210100592 A KR20210100592 A KR 20210100592A KR 1020217009596 A KR1020217009596 A KR 1020217009596A KR 20217009596 A KR20217009596 A KR 20217009596A KR 20210100592 A KR20210100592 A KR 20210100592A
Authority
KR
South Korea
Prior art keywords
face
network model
neural network
image
face recognition
Prior art date
Application number
KR1020217009596A
Other languages
Korean (ko)
Other versions
KR102593835B1 (en
Inventor
젱우 유안
쑤펭 차
린 리
싱 리앙
Original Assignee
충칭 유니버시티 오브 포스츠 앤드 텔레커뮤니케이션스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충칭 유니버시티 오브 포스츠 앤드 텔레커뮤니케이션스 filed Critical 충칭 유니버시티 오브 포스츠 앤드 텔레커뮤니케이션스
Publication of KR20210100592A publication Critical patent/KR20210100592A/en
Application granted granted Critical
Publication of KR102593835B1 publication Critical patent/KR102593835B1/en

Links

Images

Classifications

    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

특히 휴리스틱 클라우드 변환에 기반하는 얼굴인식 방법에 관한 것이다. 이 방법은 카메라로 목표인의 얼굴영상을 채취하고, 목표인의 얼굴영상을 MTCNN 신경망 네트웍 모델중에 입력하여, 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하며, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하고, 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하하며, 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 내용을 포함한다. 이 방법은 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법을 제공하고, 새로운 얼굴인식 손실함수를 정의하여, softmax 분류법을 대체함으로써, 인식대상의 샘플수가 적고, 분류종류가 많은 등 문제를 고려할 필요가 없기 때문에, 정확도를 높일 수 있다.In particular, it relates to a face recognition method based on heuristic cloud transformation. In this method, the target person's face image is collected with a camera, the target person's face image is input into the MTCNN neural network model, and a square face contour image cut to fit is output, and a neural network model based on the random_normal active function is constructed. Then, we define a new face recognition loss function, perform pre-training on the neural network model constructed by CASIA-WebFace, a pre-processed face image dataset, preserve the trained model and parameters, and After inputting the image and the face image in the database into the Singgyeong network model, it includes the content of determining the face recognition result by calculating the ambiguity using the heuristic Gaussian cloud transformation algorithm. This method provides a face recognition method based on the heuristic Gaussian cloud transformation, defines a new face recognition loss function, and replaces the softmax classification method. Therefore, the accuracy can be increased.

Description

휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술Face recognition technology based on heuristic Gaussian cloud transformation

본 발명은 영상인식 기술에 관한 것으로서, 특히 휴리스틱 클라우드 변환에 기반하는 얼굴인식 기술에 관한 것이다.The present invention relates to image recognition technology, and more particularly, to a face recognition technology based on heuristic cloud transformation.

현대 사회에 있어서, 아이디 인증은 날이 갈수록 널리 사용되고 있으며, 그중 지문, 홍채 및 얼굴 등 생체정보 인증기술을 운용하는 분야는 날이 갈 수록 늘어나고 있다. 예를 들어, 핸드폰 지문 인식, 통금 홍채 인증 및 역전 얼굴 인식 통로 등이 포함되는데, 이들은 모두 매우 높은 정확성과 믿음성을 가지지만, 얼굴 인식은 가장 자연적이고 편리하며, 유저가 일부러 특수한 동작이나 자세를 취할 필요가 없어, 인파 통과량이 큰 곳에서의 아이디 인증에 아주 적합하다. 얼굴 인식은 미래의 생활중 더욱 넓은 분야에서 사용될 것으로 전망된다.In modern society, ID authentication is widely used day by day, and among them, the field of operating biometric information authentication technology such as fingerprint, iris and face is increasing day by day. For example, cell phone fingerprint recognition, curfew iris authentication, and reverse face recognition passage, etc. are included, all of which have very high accuracy and reliability, but face recognition is the most natural and convenient, and users can deliberately take special actions or postures. There is no need, so it is very suitable for ID authentication in places with large crowds. Facial recognition is expected to be used in a wider field of life in the future.

얼굴 인식은 디지털 영상처리, 컴퓨터 시각 및 기계 학습 등 기술에 기반하고 컴퓨터 처리 기술을 이용하여 데이터베이스중의 얼굴영상과 비교 분석하는 과정을 말한다. 현재 얼굴 인식 기술은 주로 딥 합성곱 신경망을 이용한 합상곱 훈련 조작을 이용하여 얼굴 특징을 추출하여, 한 사람의 두 얼굴영상에 있어서, 대응하는 특징을 같은 종류로 보고, 이와 달리, 각기 다른 사람의 두 얼굴영상에 있어서, 대응하는 특징을 각기 다른 종류로 보기 때문에, 얼굴 인식 모델중 사람 마다 각기 하나의 부류에 대응된다. 초기의 신경망 모델은 직접 Softmax 분류법을 이용하여 각 종류의 확율을 얻고, 그중 확율이 가장 큰거나 확율이 상위에 속하는 몇개를 인식 결과로 선정하였는데, 이러한 기술은 훈련 집합수가 적고, 종류가 많은 등 원인으로 인하여 인식 정밀도가 떨어진다.Face recognition is based on technologies such as digital image processing, computer vision and machine learning, and refers to a process of comparing and analyzing face images in a database using computer processing technology. Current face recognition technology mainly extracts facial features using a convolutional training operation using a deep convolutional neural network. In the two face images, since the corresponding features are viewed as different types, each person in the face recognition model corresponds to one class. Early neural network models directly used Softmax classification to obtain each type of probability, and among them, some of them with the highest probability or the highest probability were selected as recognition results. As a result, the recognition accuracy decreases.

본 발명은 상기 문제를 해결하기 위하여, 새로운 얼굴 인식 손실함수를 정의하여 softmax 분류법을 대체 함으로써, 인식 대상의 샘플수가 적고, 분류 종류가 많은 등 문제를 고려할 필요가 없이, 정밀도를 높일 수 있는 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴 인식 기술을 제공하는 것을 과제로 삼는다.In order to solve the above problem, the present invention defines a new face recognition loss function and replaces the softmax classification method, thereby increasing the precision without having to consider problems such as a small number of samples to be recognized and a large number of classification types. The challenge is to provide face recognition technology based on cloud transformation.

1) 카메라를 이용하여 목표인의 얼굴영상을 채취하는 단계, 1) using a camera to collect the face image of the target person;

2) 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 단계,2) inputting the face image of the target person into the MTCNN neural network model, and outputting a square face contour image in which only the five tubes are cut to fit the face;

3) random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 단계, 3) building a neural network model based on the random_normal active function and defining a new face recognition loss function;

4) 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하는 단계, 및4) pre-training the neural network model constructed by CASIA-WebFace, a pre-processed face image dataset, and preserving the trained model and parameters; and

5) 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 단계, 5) After inputting the target person's face image and the face image in the database into the Singgyeong network model, calculating the ambiguity using a heuristic Gaussian cloud transformation algorithm to determine the face recognition result;

를 포함하는 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술. Face recognition technology based on heuristic Gaussian cloud transformation including

바람직하게, 상기 단계3)중, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 과정은 Preferably, in step 3), the process of building a neural network model based on the random_normal active function and defining a new face recognition loss function is

3-1. 신경망 모델을 구축하고, 각층의 액티브 함수를 모두 random_nomal 로 설정하는 단계, 및3-1. Building a neural network model, setting all active functions of each layer to random_nomal, and

3-2. 신경망 모델의 손실함수 loss를 정의하는 단계를 포함한다. 3-2. It includes the step of defining the loss function loss of the neural network model.

바람직하게, 신경망 모델의 손실함수 loss 정의 과정은 아래와 같다.Preferably, the loss function loss definition process of the neural network model is as follows.

얼굴영상을 신경망 모델중에 입력하여, 각 얼굴영상의 특징 벡터를 추출함과 동시에, 각 얼굴영상의 차원수를 같게 하고, 매번 훈련은 모두 훈련집합으로 부터 무작위로 3개의 얼굴영상, 즉 얼굴 샘플특징 anchor, anchor의 포지티브 샘플(동일한 사람) positive, anchor의 네가티브 샘플(다른 사람) negative을 선택하여, 이들을 신경망 모델중에 입력하여, 대응하는 특징 벡터를 얻는다. The face images are input into the neural network model, the feature vectors of each face image are extracted, and the number of dimensions of each face image is the same. Select anchor, positive sample of anchor (same person) positive, negative sample of anchor (different person) negative, input them into neural network model, and get corresponding feature vector.

휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 하고, anchor 샘플의 특징 벡터와 positive 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 하며, 휴리스틱 가우스 클라우드 변환을 거쳐 2개의 가우스 분포 G(μk ,σk)|k＝1 ,2를 얻는다. 제k개의 가우스 분포에 있어서, 그 표준차의 척도인자 αk를 산출하고, 가우스 클라우드의 애매도 CDk＝(1-αk)/(1+σk)를 산출하여, 각기 CD1, CD2를 얻는다. 마찬가지로, anchor 샘플의 특징 벡터와 negative 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 입력하여, 2개의 애매도 CD3, CD4를 얻는다.The number of concepts of the heuristic Gaussian cloud transformation algorithm is 2, the feature vector of the anchor sample and the feature vector of the positive sample are merged to form the data sample set of the algorithm, and through the heuristic Gaussian cloud transformation, two Gaussian distributions G( We get μk ,σk)|k=1,2. In the k-th Gaussian distribution, a scale factor αk of the standard difference is calculated, and the Gaussian cloud ambiguity CDk=(1-αk)/(1+σk) is calculated to obtain CD1 and CD2, respectively. Similarly, by merging the feature vector of the anchor sample and the feature vector of the negative sample, input to the data sample set of the algorithm, two ambiguity CD3 and CD4 are obtained.

같은 사람일 경우, 그 특징 벡터가 같은 종류, 즉 동일 개념일 것을 원하며, 이때 대응하는 애매도가 크게 되며, 반대로 동일 개념이 아닐 때, 대응하는 애매도가 작게 된다.

Figure pct00001
이고,
Figure pct00002
가 크면 클 수록 좋고,
Figure pct00003
가 작으면 작을 수록 좋다는 것을 원하기 때문에, 모델 훈련시,
Figure pct00004
의 결과를 끊임없이 최적화하여, 0에 접근하게 하면 된다. 때문에, 얼굴인식 손실함수 loss를 In the case of the same person, it is desired that the feature vectors are of the same type, that is, the same concept, and the corresponding ambiguity becomes large.
Figure pct00001
ego,
Figure pct00002
The bigger the better,
Figure pct00003
Since we want the smaller the better, so when training the model,
Figure pct00004
By constantly optimizing the result of , it approaches 0. Therefore, the face recognition loss function loss

Figure pct00005
로 정의한다.
Figure pct00005
to be defined as

바람직하게, 단계5)중, 데이터베이스의 얼굴영상을 훈련을 거친 신경망 모델중에 입력하고, 얻어진 얼굴 특징 벡터를 데이터베이스중의 대응하는 얼굴영상에 커버하여, 최종적으로 얼굴 특징 벡터로 구성되는 얼굴 데이터베이스를 얻는다. Preferably, in step 5), the facial image from the database is input into the trained neural network model, and the obtained facial feature vector is covered with the corresponding facial image in the database, to finally obtain a facial database composed of the facial feature vectors. .

바람직하게, 상기 단계5)중, 목표인의 얼굴 특징 벡터를 얼굴 데이터베이스중의 얼굴영상 특징 백터와 합병하여, 휴리스틱 가우스 클라우드 변환 알리고즘을 통해, 최종적으로 목표영상과 얼굴 데이너베이스중 영상과의 상사도를 얻는다.Preferably, in step 5), the target person's facial feature vector is merged with the facial image feature vector in the face database, and through a heuristic Gaussian cloud transformation algorithm, the final similarity between the target image and the image in the face database get

본 발명에 게시된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술은 아래 유익한 효과를 가진다. The facial recognition technology based on the heuristic Gaussian cloud transformation published in the present invention has the following beneficial effects.

1) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴영상 손실정의를 제출하여, 얼굴인식 기술에 새로운 기술을 제공하고, softmax 분류법에 의한 얼굴인식이 필요 없기 때문에, 훈련 집합수가 적고, 분류종류가 많으며, 정확도가 낮은 문제를 해결할 수 있다. 1) By submitting a face image loss definition based on heuristic Gaussian cloud transformation, a new technique is provided for face recognition technology. low problems can be solved.

2) 얼굴 데이터베이스는 얼굴영상을 이용하여 개인의 얼굴정보를 저장하는 것이 아니라, 얼굴영상에 대응하는 특징 벡터로 자장하기 때문에, 유저의 프라이버시권을 보호할 뿐만 아니라, 저장공간을 줄여 줌과 동시에, 인식할 때, 두조의 얼굴영상 특징 벡터의 애매도를 판단하는 것만으로, 그들의 상사도를 얻을 수 있기 때문에, 이러한 인식방식은 얼굴의 인식시간을 단축할 수 있다. 2) The face database does not store personal face information using face images, but stores it as a feature vector corresponding to the face image. In this case, since similarity can be obtained only by judging the ambiguity of the facial image feature vectors of two sets, this recognition method can shorten the face recognition time.

3) 데이터베이스를 업데이터 할 때, 다시 모델을 훈련시킬 필요가 없이, 새로운 얼굴 영상을 훈련된 신경망 모델중에 입력하고, 얻어진 얼굴 특징 벡터를 데이터베이스중에 첨가하면 된다.3) When updating the database, there is no need to train the model again, just input a new face image into the trained neural network model and add the obtained facial feature vector to the database.

도면1은 본 발명의 손실함수 loss를 산출하는 흐름도이다.1 is a flowchart for calculating the loss function loss of the present invention.

아래에는 본 발명에 의해 제공되는 도면에 결합하여 본 발명에 대해 더욱 상세하게 설명하기로 한다. Hereinafter, the present invention will be described in more detail in conjunction with the drawings provided by the present invention.

본 발명에 게시된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술은 상세하게 아래 단계로 구성된다.The face recognition technology based on the heuristic Gaussian cloud transformation published in the present invention consists of the following steps in detail.

1) 카메라를 이용하여 목표인의 얼굴영상을 채취하는 단계,1) using a camera to collect the face image of the target person;

2) 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 단계,2) inputting the face image of the target person into the MTCNN neural network model, and outputting a square face contour image in which only the five tubes are cut to fit the face;

3) random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 첨가하는 단계,3) building a neural network model based on the random_normal active function and adding a new face recognition loss function;

4) 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하는 단계, 및4) pre-training the neural network model constructed by CASIA-WebFace, a pre-processed face image dataset, and preserving the trained model and parameters; and

5) 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 단계를 포함한다. 5) After inputting the target person's face image and the face image in the database into the Singgyeong network model, calculating the ambiguity using a heuristic Gaussian cloud transformation algorithm to determine the face recognition result.

아래에는 상기 단계에 대해 더욱 상세하게 설명하기로 하는데, 그중 단계1)의 목표인의 얼굴영상은 스마트폰 또는 기타 스마트설비로 부터 채취할 수 있으며, 효과가 좋은 얼굴영상의 채취방식은 카메라를 통해 목표인물에 대한 정면, 수평, 근거리의 영상을 채취한다. The above steps will be described in more detail below. Among them, the face image of the target person in step 1) can be collected from a smartphone or other smart equipment, and the effective method of collecting a face image is through a camera. Collect frontal, horizontal, and near images of the target person.

상기 단계2)중 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 과정은 The process of inputting the target person's face image into the MTCNN neural network model in step 2) and outputting a square face contour image cut out of only the five tubes to the face is

2-1. P-Net 네트웍을 이용하여 후보 윈도와 한계 회귀량을 얻음과 동시에, 후보 윈도를 한계틀에 근거하여 교정하고, 다시 NMS 법을 이용하여 중첩 윈도를 제거하는 단계, 2-1. Obtaining a candidate window and a limit regression amount using the P-Net network, correcting the candidate window based on the limit frame, and removing the overlapping window using the NMS method again;

2-2. P-Net 네트웍에 의해 확정된 후보윈도를 포함하는 패턴을 R-Net 네트웍중에서 훈련시키고, 한계틀 벡터를 이용하여 후보윈도에 대한 미세조정을 진행하며, 다시 NMS법을 이용하여, 중첩 윈도를 제거하는 단계, 및2-2. The pattern including the candidate window confirmed by the P-Net network is trained in the R-Net network, the candidate window is fine-tuned using the bounding frame vector, and the overlapping window is removed again using the NMS method. step, and

2-3. O-Net 네트웍을 이용하여 후보윈도를 제거함과 동시에, 5개의 얼굴의 포인트 위치를 나타내고, 상기 단계를 통해 목표인의 얼굴영상을 처리한 후, 오관을 얼굴에 맞추어 커팅한 정방형 얼굴 윤곽 영상을 얻는 단계를 포함환다. 2-3. By using O-Net network, the candidate window is removed, the position of the five face points is indicated, the target person's face image is processed through the above steps, and then the square face contour image is obtained by cutting the five canals according to the face. include the steps

상기 단계3)중, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 과정은In step 3), the process of building a neural network model based on the random_normal active function and defining a new face recognition loss function is

3-1. 신경망 모델을 구축하고, 각층의 액티브 함수를 모두 random_nomal 로 설정하고, 각층으로 부터 출력되는 특징이 모두 정상분포 상태를 나타내게 하는 단계, 및 3-1. Building a neural network model, setting all active functions of each layer to random_nomal, and allowing all features output from each layer to represent a normal distribution state, and

3-2. 신경망 모델의 손실함수 loss를 정의하여, 신경망 모델의 구축을 완성하는 단계를 포함한다. 3-2. By defining the loss function loss of the neural network model, it includes the step of completing the construction of the neural network model.

도면1에 표시된 바와 같이, 신경망 모델의 손실함수 loss 정의 과정은 아래와 같다.As shown in Figure 1, the loss function loss definition process of the neural network model is as follows.

얼굴영상을 신경망 모델중에 입력하여, 각 얼굴영상의 특징 벡터를 추출함과 동시에, 각 얼굴영상의 차원수를 같게 하고, 매번 훈련은 모두 훈련집합으로 부터 무작위로 3개의 얼굴영상, 즉 얼굴 샘플특징 anchor, anchor의 포지티브 샘플(동일한 사람) positive, anchor의 네가티브 샘플(다른 사람) negative을 선택하여, 이들을 신경망 모델중에 입력하여, 대응하는 특징 벡터를 얻는다. The face images are input into the neural network model, the feature vectors of each face image are extracted, and the number of dimensions of each face image is the same. Select anchor, positive sample of anchor (same person) positive, negative sample of anchor (different person) negative, input them into neural network model, and get corresponding feature vector.

휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 하고, anchor 샘플의 특징 벡터와 positive 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 하며, 휴리스틱 가우스 클라우드 변환을 거쳐 2개의 가우스 분포 G(μk ,σk)|k＝1 ,2를 얻는다. 제k개의 가우스 분포에 있어서, 그 표준차의 척도인자 αk를 산출하고, 가우스 클라우드의 애매도 CDk＝(1-αk)/(1+σk)를 산출하여, 각기 CD1, CD2를 얻는다. 마찬가지로, anchor 샘플의 특징 벡터와 negative 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 입력하여, 2개의 애매도 CD3, CD4를 얻는다.The number of concepts of the heuristic Gaussian cloud transformation algorithm is 2, the feature vector of the anchor sample and the feature vector of the positive sample are merged to form the data sample set of the algorithm, and through the heuristic Gaussian cloud transformation, two Gaussian distributions G( We get μk ,σk)|k=1,2. In the k-th Gaussian distribution, a scale factor αk of the standard difference is calculated, and the Gaussian cloud ambiguity CDk=(1-αk)/(1+σk) is calculated to obtain CD1 and CD2, respectively. Similarly, by merging the feature vector of the anchor sample and the feature vector of the negative sample, input to the data sample set of the algorithm, two ambiguity CD3 and CD4 are obtained.

같은 사람일 경우, 그 특징 벡터가 같은 종류, 즉 동일 개념일 것을 원하며, 이때 대응하는 애매도가 크게 되며, 반대로 동일 개념이 아닐 때, 대응하는 애매도가 작게 된다.

Figure pct00006
이고,
Figure pct00007
가 크면 클 수록 좋고,
Figure pct00008
가 작으면 작을 수록 좋다는 것을 원하기 때문에, 모델 훈련시,
Figure pct00009
의 결과를 끊임없이 최적화하여, 0에 접근하게 하면 된다. 때문에, 얼굴인식 손실함수 loss를 In the case of the same person, it is desired that the feature vectors are of the same type, that is, the same concept, and the corresponding ambiguity becomes large.
Figure pct00006
ego,
Figure pct00007
The bigger the better,
Figure pct00008
Since we want the smaller the better, so when training the model,
Figure pct00009
By constantly optimizing the result of , it approaches 0. Therefore, the face recognition loss function loss

Figure pct00010
로 정의한다.
Figure pct00010
to be defined as

단계4)중, 사전처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace 로 이미 구축된 신경망 모델에 대한 사전 훈련을 진행하고, 모델이 다시 받아 들이지 않을 때, 네트웍 모델 구조와 파라미터를 보존한다. During step 4), pre-train the neural network model that has already been built with CASIA-WebFace, the pre-processed face image data set, and when the model is not accepted again, the network model structure and parameters are preserved.

상기 단계5)중, 목표인의 얼굴 특징 벡터를 얼굴 데이터베이스중의 얼굴영상 특징 백터와 합병하여, 휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 설정함과 동시에, 합병된 벡터를 알리고즘의 데이터 샘플 집합으로 입력하여, 2개의 애매도 CD1, CD2를 얻고,

Figure pct00011
의 값을 목표인의 얼굴영상과 얼굴 데이터베이스중 얼굴영상과의 상사도를 얻는다. 실제 사용중(타임카드 시스템, 유저인증 시스템)에 있어서, 역치를 설정하고, 상사도가 역치를 초과했을 경우에는 상사한 영상으로 판단하여, 인증에 통과했다고 인정하고, 역치보다 낮을 경우에는 다른 영상으로 판단하여, 인증에 실패했다고 표시된다. 여기에서 말하는 역치는 인위적으로 설정 할 수 있고, 훈련 결과에 근거하여 설정할 수도 있다. In step 5), the target person's facial feature vector is merged with the facial image feature vector in the face database, the number of concepts of the heuristic Gaussian cloud transformation algorithm is set to 2, and the merged vector is used as the algorithm data. Input as a set of samples, we get two ambiguities CD1, CD2,
Figure pct00011
Obtain the similarity between the target person's face image and the face image in the face database. In actual use (time card system, user authentication system), a threshold is set, and when the similarity exceeds the threshold, it is judged as a similar image, and it is recognized that the authentication has passed, and when it is lower than the threshold, it is judged as a different image Therefore, it is displayed that authentication has failed. The threshold referred to here can be set artificially or can be set based on the training results.

본 발명의 기술적 내용 및 기술적 특징은 상술한 바와 같으나, 본 분야의 기술자라면 본 발명에 게시된 내용에 근거하여, 본 발명의 취지를 벗어나지 않는 여러가지의 치환 및 보정을 할 수 있기 때문에, 본 발명의 보호범위는 실시형태에 게시된 내용에 한정되는 것이 아니라, 본 발명의 취지를 벗어나지 않는 치환 및 보정도 포함되고, 본 특허출원의 특허청구의 범위에 커버된다.The technical contents and technical features of the present invention are as described above, but if a person skilled in the art can make various substitutions and corrections without departing from the spirit of the present invention based on the contents posted in the present invention, the present invention The scope of protection is not limited to the content disclosed in the embodiments, but also includes substitutions and corrections without departing from the spirit of the present invention, and is covered by the claims of this patent application.

Claims (5)

1) 카메라를 이용하여 목표인의 얼굴영상을 채취하는 단계,
2) 목표인의 얼굴영상을 MTCNN 신경망 모델중에 입력하여, 오관만을 얼굴에 맞추어 커팅한 정방형의 얼굴 윤곽 영상을 출력하는 단계,
3) random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 단계,
4) 사전 처리를 거친 얼굴영상 데이터 집합 CASIA-WebFace에 의해 구성된 신경망 모델에 대한 사전 훈련을 진행하고, 훈련을 거친 모델과 파라미터를 보존하는 단계, 및
5) 목표인의 얼굴영상과 데이터베이스중의 얼굴영상을 싱경망 모델중에 입력한 후, 휴리스틱 가우스 클라우드 변환 알리고즘으로 애매도를 산출하여 얼굴 인식 결과를 판단하는 단계,
를 포함하는 것을 특징으로 하는 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.1) using a camera to collect the face image of the target person;
2) inputting the face image of the target person into the MTCNN neural network model, and outputting a square face contour image cut by matching only the five tubes to the face;
3) building a neural network model based on the random_normal active function and defining a new face recognition loss function;
4) pre-training the neural network model constructed by CASIA-WebFace, a pre-processed face image dataset, and preserving the trained model and parameters; and
5) After inputting the target person's face image and the face image in the database into the Singgyeong network model, calculating the ambiguity using a heuristic Gaussian cloud transformation algorithm to determine the face recognition result;
A face recognition method based on a heuristic Gaussian cloud transformation, characterized in that it comprises a. 상기 단계3)중, random_normal 액티브 함수에 기반하는 신경망 모델을 구축하고, 새로운 얼굴인식 손실함수를 정의하는 과정은
3-1. 신경망 모델을 구축하고, 각층의 액티브 함수를 모두 random_nomal 로 설정하는 단계, 및
3-2. 신경망 모델의 손실함수 loss를 정의하는 단계를
포함하는 것을 특징으로 하는 청구항1에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.In step 3), the process of building a neural network model based on the random_normal active function and defining a new face recognition loss function is
3-1. Building a neural network model, setting all active functions of each layer to random_nomal, and
3-2. Define the loss function loss of the neural network model.
A face recognition method based on the heuristic Gaussian cloud transformation according to claim 1, characterized in that it comprises. 상기 신경망 모델의 손실함수 loss 정의 과정은
얼굴영상을 신경망 모델중에 입력하여, 각 얼굴영상의 특징 벡터를 추출함과 동시에, 각 얼굴영상의 차원수를 같게 하고, 매번 훈련은 모두 훈련집합으로 부터 무작위로 3개의 얼굴영상, 즉 얼굴 샘플특징 anchor, anchor의 포지티브 샘플(동일한 사람) positive, anchor의 네가티브 샘플(다른 사람) negative을 선택하여, 이들을 신경망 모델중에 입력하여, 대응하는 특징 벡터를 얻고,
휴리스틱 가우스 클라우드 변환 알리고즘의 개념수를 2로 하고, anchor 샘플의 특징 벡터와 positive 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 하며, 휴리스틱 가우스 클라우드 변환을 거쳐 2개의 가우스 분포 G(μk ,σk)|k＝1 ,2를 얻는다. 제k개의 가우스 분포에 있어서, 그 표준차의 척도인자 αk를 산출하고, 가우스 클라우드의 애매도 CDk＝(1-αk)/(1+σk)를 산출하여, 각기 CD1, CD2를 얻는다. 마찬가지로, anchor 샘플의 특징 벡터와 negative 샘플의 특징 벡터를 합병하여, 알리고즘의 데이터 샘플집합으로 입력하여, 2개의 애매도 CD3, CD4를 얻으며,
같은 사람일 경우, 그 특징 벡터가 같은 종류, 즉 동일 개념일 것을 원하며, 이때 대응하는 애매도가 크게 되며, 반대로 동일 개념이 아닐 때, 대응하는 애매도가 작게 된다.
Figure pct00012
이고,
Figure pct00013
가 크면 클 수록 좋고,
Figure pct00014
가 작으면 작을 수록 좋다는 것을 원하기 때문에, 모델 훈련시,
Figure pct00015
의 결과를 끊임없이 최적화하여, 0에 접근하게 하면 되기 때문에, 얼굴인식 손실함수 loss를
Figure pct00016
로 정의하는
것을 특징으로 하는 청구항2에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.The loss function loss definition process of the neural network model is
The face images are input into the neural network model, the feature vectors of each face image are extracted, and the number of dimensions of each face image is the same. Select anchor, positive sample of anchor (same person) positive, negative sample of anchor (different person) negative, input them into neural network model, get corresponding feature vector,
The number of concepts of the heuristic Gaussian cloud transformation algorithm is 2, the feature vector of the anchor sample and the feature vector of the positive sample are merged to form the data sample set of the algorithm, and through the heuristic Gaussian cloud transformation, two Gaussian distributions G( We get μk ,σk)|k=1,2. In the k-th Gaussian distribution, a scale factor αk of the standard difference is calculated, and the Gaussian cloud ambiguity CDk=(1-αk)/(1+σk) is calculated to obtain CD1 and CD2, respectively. Similarly, by merging the feature vector of the anchor sample and the feature vector of the negative sample, input as the data sample set of the algorithm, two ambiguity CD3 and CD4 are obtained,
In the case of the same person, it is desired that the feature vectors are of the same type, that is, the same concept, and the corresponding ambiguity becomes large.
Figure pct00012
ego,
Figure pct00013
The bigger the better,
Figure pct00014
Since we want the smaller the better, so when training the model,
Figure pct00015
Since it is enough to constantly optimize the result of
Figure pct00016
defined as
A face recognition method based on the heuristic Gaussian cloud transformation according to claim 2, characterized in that. 상기 단계5)중, 데이터베이스의 얼굴영상을 훈련을 거친 신경망 모델중에 입력하고, 얻어진 얼굴 특징 벡터를 데이터베이스중의 대응하는 얼굴영상에 커버하여, 최종적으로 얼굴 특징 벡터로 구성되는 얼굴 데이터베이스를 얻는 것을 특징으로 하는 청구항1에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.In step 5), the facial image from the database is input into a trained neural network model, the obtained facial feature vector is covered with the corresponding facial image in the database, and a facial database composed of facial feature vectors is finally obtained. A face recognition method based on the heuristic Gaussian cloud transformation according to claim 1. 상기 단계5)중, 목표인의 얼굴 특징 벡터를 얼굴 데이터베이스중의 얼굴영상 특징 백터와 합병하여, 휴리스틱 가우스 클라우드 변환 알리고즘을 통해, 최종적으로 목표영상과 얼굴 데이너베이스중 영상과의 상사도를 얻는 것을 특징으로 하는 청구항1에 기재된 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 방법.
In step 5), the target person's facial feature vector is merged with the facial image feature vector in the face database, and through a heuristic Gaussian cloud transformation algorithm, finally obtaining the similarity between the target image and the image in the face database. A face recognition method based on the heuristic Gaussian cloud transformation according to claim 1, characterized in that.
KR1020217009596A 2019-11-06 2020-10-20 Face recognition technology based on heuristic Gaussian cloud transformation KR102593835B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911075387.6 2019-11-06
CN201911075387.6A CN111104852B (en) 2019-11-06 2019-11-06 Face recognition technology based on heuristic Gaussian cloud transformation
PCT/CN2020/122249 WO2021088640A1 (en) 2019-11-06 2020-10-20 Facial recognition technology based on heuristic gaussian cloud transformation

Publications (2)

Publication Number Publication Date
KR20210100592A true KR20210100592A (en) 2021-08-17
KR102593835B1 KR102593835B1 (en) 2023-10-25

Family

ID=70420664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009596A KR102593835B1 (en) 2019-11-06 2020-10-20 Face recognition technology based on heuristic Gaussian cloud transformation

Country Status (3)

Country Link
KR (1) KR102593835B1 (en)
CN (1) CN111104852B (en)
WO (1) WO2021088640A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104852B (en) * 2019-11-06 2020-10-16 重庆邮电大学 Face recognition technology based on heuristic Gaussian cloud transformation
CN113806578A (en) * 2021-09-01 2021-12-17 浪潮卓数大数据产业发展有限公司 Missing person inquiry method and system based on artificial intelligence and big data
CN115880727A (en) * 2023-03-01 2023-03-31 杭州海康威视数字技术股份有限公司 Training method and device for human body recognition model
CN117475091B (en) * 2023-12-27 2024-03-22 浙江时光坐标科技股份有限公司 High-precision 3D model generation method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530866A (en) * 2012-12-31 2014-01-22 刘玉超 Image processing method and device based on Gaussian cloud transformation
CN107609459A (en) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 A kind of face identification method and device based on deep learning

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198626B2 (en) * 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
KR102587254B1 (en) * 2016-10-31 2023-10-13 한국전자통신연구원 Method and apparatus for key generation based on face recognition using cnn and rnn
CN107423690B (en) * 2017-06-26 2020-11-13 广东工业大学 Face recognition method and device
CN107341463B (en) * 2017-06-28 2020-06-05 苏州飞搜科技有限公司 Face feature recognition method combining image quality analysis and metric learning
GB201710560D0 (en) * 2017-06-30 2017-08-16 Norwegian Univ Of Science And Tech (Ntnu) Detection of manipulated images
KR102117050B1 (en) * 2017-09-08 2020-05-29 삼성전자주식회사 Electronic device and method for human segmentation in image
CN109165566B (en) * 2018-08-01 2021-04-27 中国计量大学 Face recognition convolutional neural network training method based on novel loss function
CN109543606B (en) * 2018-11-22 2022-09-27 中山大学 Human face recognition method with attention mechanism
CN109447053A (en) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 A kind of face identification method based on dual limitation attention neural network model
CN110135236A (en) * 2019-03-21 2019-08-16 云南路普斯数据科技有限公司 A kind of video face identification method based on wavelet transformation and neural network algorithm
CN111104852B (en) * 2019-11-06 2020-10-16 重庆邮电大学 Face recognition technology based on heuristic Gaussian cloud transformation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530866A (en) * 2012-12-31 2014-01-22 刘玉超 Image processing method and device based on Gaussian cloud transformation
CN107609459A (en) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 A kind of face identification method and device based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jia Xiang 외 1명, "Joint Face Detection and Facial Expression Recognition with MTCNN", ICISCE, pp.424-427 (2017.11.16.) 1부.* *

Also Published As

Publication number Publication date
KR102593835B1 (en) 2023-10-25
CN111104852B (en) 2020-10-16
CN111104852A (en) 2020-05-05
WO2021088640A1 (en) 2021-05-14

Similar Documents

Publication Publication Date Title
CN109377448B (en) Face image restoration method based on generation countermeasure network
KR102593835B1 (en) Face recognition technology based on heuristic Gaussian cloud transformation
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
US10417526B2 (en) Object recognition method and device
CN108564129B (en) Trajectory data classification method based on generation countermeasure network
CN109190442B (en) Rapid face detection method based on deep cascade convolution neural network
CN109815826B (en) Method and device for generating face attribute model
CN110738207A (en) character detection method for fusing character area edge information in character image
CN106096538A (en) Face identification method based on sequencing neural network model and device
CN108427921A (en) A kind of face identification method based on convolutional neural networks
CN106096535A (en) A kind of face verification method based on bilinearity associating CNN
CN112801054B (en) Face recognition model processing method, face recognition method and device
CN107657625A (en) Merge the unsupervised methods of video segmentation that space-time multiple features represent
CN111401149B (en) Lightweight video behavior identification method based on long-short-term time domain modeling algorithm
CN113963032A (en) Twin network structure target tracking method fusing target re-identification
CN110705428A (en) Facial age recognition system and method based on impulse neural network
CN115376159A (en) Cross-appearance pedestrian re-recognition method based on multi-mode information
Hou et al. A face detection algorithm based on two information flow block and retinal receptive field block
CN113011307A (en) Face recognition identity authentication method based on deep residual error network
WO2024011859A1 (en) Neural network-based face detection method and device
CN114333038B (en) Training method of object recognition model, object recognition method, device and equipment
Annbuselvi et al. A competent multimodal recognition using imperfect region based face and gait cues using Median-LBPF and Median-LBPG based PCA followed by LDA
CN112508135B (en) Model training method, pedestrian attribute prediction method, device and equipment
CN115310606A (en) Deep learning model depolarization method and device based on data set sensitive attribute reconstruction
CN114120050A (en) Method, device and equipment for extracting surface ecological data and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right