KR102543077B1 - 안면이미지의 안면영역 분할 방법 - Google Patents

안면이미지의 안면영역 분할 방법 Download PDF

Info

Publication number
KR102543077B1
KR102543077B1 KR1020220096557A KR20220096557A KR102543077B1 KR 102543077 B1 KR102543077 B1 KR 102543077B1 KR 1020220096557 A KR1020220096557 A KR 1020220096557A KR 20220096557 A KR20220096557 A KR 20220096557A KR 102543077 B1 KR102543077 B1 KR 102543077B1
Authority
KR
South Korea
Prior art keywords
map
size
generating
processing
facial
Prior art date
Application number
KR1020220096557A
Other languages
English (en)
Inventor
황보택근
사비나 토틀리바예브나 우미르자코바
최형선
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020220096557A priority Critical patent/KR102543077B1/ko
Application granted granted Critical
Publication of KR102543077B1 publication Critical patent/KR102543077B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컨볼루션 신경망(Convolution Neural Network) 모델이 적용된 학습 단말을 통한 얼굴이 포함된 이미지 내의 안면영역을 복수의 영역으로 분할하는 방법에 관한 것으로, X축과 Y축의 픽셀의 수가 동일한 안면이미지를 입력받아, 안면이미지의 RGB(Red, Green, Blue) 채널별로, 각 픽셀의 파라미터의 값을 변형하여 파리미터 값이 정방행렬로 나열된 기준 특성맵(Feature map)을 추출하는 추출단계와 기준 특성맵으로부터 기준 특성맵과 동일한 크기를 가지되 채널의 수를 증가시킨 형태로 가공한 제1 가공맵을 생성하고, 기준 특성맵의 채널별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출한 제2 가공맵을 생성하는 생성단계와 생성단계에서 생성된 제1 가공맵과 제2 가공맵의 크기를 일치시키고, 제1 가공맵과 제2 가공맵에 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 및 연산 결과의 평균 풀링(Average Pooling)을 적용하여, 합성맵을 생성하는 합성단계 및 합성맵이 이루는 행렬의 크기를, 안면이미지가 이루는 X축과 Y축 픽셀 단위와 대응하게 확장시키고, 확장된 합성맵과 사전 학습된 필터를 통한 컨볼루션 연산을 통해 안면영역을 복수의 영역으로 분할하는 합성맵 내의 특징 파라미터 값을 도출하고, 도출된 특징파라미터 간의 분포 유사도에 따라 복수의 영역으로 그루핑한 결과맵을 생성하는 분할단계를 포함한다.
한편, 본 발명은 과학기술정보통신부 정보통신기획평가원 2022년도 정보통신방송혁신인재양성사업(과제번호: 1711152951) [연구과제명: 의료 빅데이터를 활용한 뇌질환 예측·예방 기술개발 및 전문 인력 양성]을 통해 개발된 기술이다.

Description

안면이미지의 안면영역 분할 방법{AREA DIVISION METHOD OF FACIAL IMAGE}
본 발명은, 안면이미지로부터 안면영역을 복수의 영역으로 구분하여 분할하는 기술에 관한 것이다.
근래에 들어, 안면 인식 기술이 발전함에 따라, 종래의 보안시스템에서 지문과 같은 개인정보로의 이용 외에도, 다양한 어플리케이션을 통한 영상 합성 및 대상의 표정을 인식하여 감정을 해석하는 등과 같이 다양한 분야에서 이용되고 있다.
이러한 안면 인식 기술은 대상자의 획득 영상 내에 대상자의 안면이 향하는 방향, 표정 등에 상관없이 안면에서 눈, 코, 입, 귀, 등의 세부영역을 정확하게 구분할 수 있어야한다.
대한민국 공개특허공보 제10-2021-0155303호(출원일: 2020.06.15., 공개일: 2021.12.22., 이하 ‘종래기술’이라 함.)에서는 온라인 시험에서 미리 확보된 응시자의 안면이미지와 획득한 안면 영상 내의 특징점 비교를 통한 응시자의 일치여부 확인 및 응시(凝視) 방향을 확인하는 기술이 개시된 바 있다.
하지만, 종래기술은 표준 얼굴크기로 기반으로 획득한 영상 내의 얼굴영역을 확인하고, 확인된 얼굴영역에서의 기 설정된 비율 영역에 존재할 것으로 예상되는 특징점 위치를 통해 안면 영역을 인식할 뿐, 안면 이미지 또는 안면 영상에서의 눈, 코, 입, 귀, 등의 세부 특징을 세부적으로 구분하기 어려운 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위해, 안면 이미지로부터 안면 영역 내의 특징 요소를 세부적으로 구분하는 안면영역 분할 기술을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 컨볼루션 신경망(Convolution Neural Network) 모델이 적용된 학습 단말을 통한 얼굴이 포함된 이미지 내의 안면영역을 복수의 영역으로 분할하는 안면이미지의 안면영역 분할 방법은, X축과 Y축의 픽셀의 수가 동일한 안면이미지를 입력받아, 안면이미지의 RGB(Red, Green, Blue) 채널별로, 각 픽셀의 파라미터의 값을 변형하여 파리미터 값이 정방행렬로 나열된 기준 특성맵(Feature map)을 추출하는 추출단계; 상기 기준 특성맵으로부터 상기 기준 특성맵과 동일한 크기를 가지되 채널의 수를 증가시킨 형태로 가공한 제1 가공맵을 생성하고, 상기 기준 특성맵의 채널별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출한 제2 가공맵을 생성하는 생성단계; 상기 생성단계에서 생성된 상기 제1 가공맵과 제2 가공맵의 크기를 일치시키고, 상기 제1 가공맵과 제2 가공맵에 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 및 연산 결과의 평균 풀링(Average Pooling)을 적용하여, 합성맵을 생성하는 합성단계; 및 상기 합성맵이 이루는 행렬의 크기를, 상기 안면이미지가 이루는 X축과 Y축 픽셀 단위와 대응하게 확장시키고, 확장된 합성맵과 사전 학습된 필터를 통한 컨볼루션 연산을 통해 안면영역을 복수의 영역으로 분할하는 합성맵 내의 특징 파라미터 값을 도출하고, 도출된 특징파라미터 간의 분포 유사도에 따라 복수의 영역으로 그루핑한 결과맵을 생성하는 분할단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 추출단계는, 안면이미지를 X축과 Y축 픽셀 단위별 필드의 파라미터 값과 3 X 3 정방행렬 형태로 사적 학습된 파라미터가 필드가 입력된 필터와의 적어도 1회 이상의 컨볼루션(Convolution)을 통해, 안면 이미지로부터 각 필드와 필드별 파라미터가 정방행렬 형태로 나열되며 R,G,B 3개 채널의 기준 특성맵을 생성하는 단계인 것을 특징으로 한다.
또한, 상기 생성단계는 상기 기준 특성맵과 사전 학습된 3 x 3 필터의 확장된 컨볼루션(dilated convolution) 연산을 통해 저수준맵과 상기 저수준맵이 이루는 행렬의 크기보다 작은 크기 행렬크기를 가지되 채널 수를 증가시킨 고수준맵을 생성하고, 생성된 저수준맵과 고수준맵을 연결(Concatenation)하여 연결맵을 생성한 이후에, 연결맵을 이후는 행렬의 크기를 상기 기준 특성맵이 이루는 행렬의 크기로 조정하여 제1 가공맵을 생성하는 단계인 것을 특징으로로 한다.
그리고, 상기 생성단계는 상기 연결맵에 적어도 4회의 이중선형 업샘플링(Bilinear Upsampling X4)을 통해, 상기 연결맵이 이루는 행렬의 크기를 증가시킨 이후에, 풀링을 적용하여 상기 기준 특성맵이 이루는 행렬의 크기 단위로 상기 연결맵을 크기를 조정하여 제1 가공맵을 생성하는 단계인 것을 특징으로 한다.
게다가, 상기 생성단계는 상기 기준 특성맵의 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 이후에 CRF(Conditional Random Field)를 적용하여 상기 기준 특성맵의 채널별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출하여 제2 가공맵을 생성하는 단계인 것을 특징으로 한다.
이때, 상기 합성단계는 상기 생성단계에서 생성된 제1 가공맵과 사전 학습된 3 x 3 필터의 컨볼루션 연산 이후에 평균 풀링(Average pooling)을 적용하여, 상기 제1 가공맵이 이루는 행렬의 크기를 상기 제2 가공맵의 크기와 일치시키는 단계인 것을 특징으로 한다.
아울러, 상술한 안면이미지의 안면영역 분할 방법은 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로 마련되는 것을 특징으로 한다.
본 발명에 따른 안면이미지의 안면영역 분할 방법은 생성단계에서 기준 특성맵으로부터, 확장된 컨볼루션을 통해 풍부한 특징적 파라미터 값이 확보된 제1 가공맵과, 조건부 랜덤 필드를 통해 에지 경계(Edge boundary) 정보가 포함된 제2 가공맵을 생성하고, 합성단계에서 제1 가공맵과 제2 가공맵의 각 파라미터 값이 입력되는 필드 크기를 일치화하여 합성시킴으로써, 에지 단위별 특징 추출을 통한 정확도 높은 안면이미지 내의 특징 요소별 안면영역 분할이 가능한 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 안면이미지의 안면영역 분할 방법을 단계적으로 도시한 것이다.
도 2는 본 발명의 바람직한 실시예에 따른 안면이미지의 안면영역 분할 방법을 각 단계를 시각화 하여 나타낸 것이다.
이하, 첨부한 도면을 참조하여 본 발명의 안면이미지의 안면영역 분할 방법에 대한 바람직한 실시 예를 상세히 설명한다.
각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 학습 단말을 통한 안면이미지의 안면영역 분할 방법을 설명하기에 앞서, 본 발명의 안면이미지의 안면영역 분할 방법을 수행하는 주체인 학습 단말은 목적에 따른 딥 러닝 기반의 프로세싱을 통해 입력된 이미지로부터 목표한 결과 값을 도출하는 통상의 컴퓨팅 디바이스 형태로 마련될 수 있으며, 후술할 ‘추출’, ‘연산’, ‘적용’, ‘가공’, ‘생성’ 및 ‘합성’ 등의 기재 또한 상술한 학습 단말의 입력된 안면이미지에 대한 이미지 프로세싱 과정에서의 연산처리로 이해되어져야할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 안면이미지의 안면영역 분할 방법을 단계적으로 도시한 것이고, 도 2는 본 발명의 바람직한 실시예에 따른 안면이미지의 안면영역 분할 방법을 각 단계를 시각화 하여 나타낸 것이다.
도 1 내지 도 2를 참조하여 설명하자면, 본 발명의 바람직한 실시예에 따른 안면이미지의 안면영역 분할 방법은, 정방형 안면이미지가 입력된 컨볼루션 신경망(Convolution Neural Network; CNN) 모델이 적용된 학습 단말(100)에 의해 이루어지며, 추출단계(S100), 생성단계(S200), 합성단계(S300) 및 분할단계(S400)를 포함할 수 있다.
추출단계(S100)는 X축과 Y축의 픽셀의 수가 동일한 안면이미지(F)를 입력받아, 안면이미지의 RGB(Red, Green, Blue) 채널(c)별로, 각 픽셀의 파라미터의 값을 변형하여 파리미터 값이 정방행렬로 나열된 기준 특성맵(S, Feature map)을 추출하는 단계이다.
이 단계에서는 안면이미지(F)를 X축과 Y축 픽셀 단위별 필드의 파라미터 값과 3 X 3 정방행렬 형태로 사적 학습된 파라미터가 필드가 입력된 필터와의 적어도 1회 이상의 컨볼루션(Convolution) 연산을 통해, 안면 이미지로부터 각 필드와 필드별 파라미터가 정방행렬 형태로 나열되며 R,G,B 3개 채널(c)의 기준 특성맵을 생성하는 단계이다.
여기서, 채널(c)은 단일의 특성맵에 해당하며, 채널(c)의 수가 많은 수록 추출하고 하자 하는 특징에 따라 마련된 필터(=Kernal)와의 컨볼루션을 통해 다양하고 디테일한 특징의 추출이 가능해진다. 결과적으로 추출단계(S100)에서는 안면이미지(F)의 R, G, B 색상별 0~255 범위의 파라미터가 픽섹 단위에 대응하는 정방행렬 형태의 필드 내에 각각 입력된 형태로 특성맵이 추출되며, 기준 특성맵은 상술한 R, G, B 채널(c)별로 총 3개의 특성맵(S)이 포함된 형태로 마련된다.
생성단계(S200)는 기준 특성맵으로부터 기준 특성맵(S)과 동일한 크기를 가지되 채널(c)의 수를 증가시킨 형태로 가공한 제1 가공맵(P1)을 생성하고, 기준 특성맵(S)의 채널(c)별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출한 제2 가공맵(P2)을 생성하는 단계이다.
이 단계에서는 기준 특성맵과 사전 학습된 3 x 3 필터의 확장된 컨볼루션(dilated convolution) 연산을 통해 저수준맵(L)과 저수준맵(L)이 이루는 행렬의 크기보다 작은 크기 행렬크기를 가지되 채널(c)수를 증가시킨 고수준맵(H)을 생성하고, 생성된 저수준맵(L)과 고수준맵(H)을 연결(Concatenation)한 연결맵(C)을 생성한 이후에, 연결맵에 적어도 4중의 이중선형 업샘플링(Bilinear Upsampling X4)을 통해, 연결맵(C)이 이루는 정방행렬 형태의 필드의 수를 동일 비율로 증가시킨 이후에, 풀링을 적용하여 연결맵(C)을 기준 특성맵(S) 필드와 동일한 개수와 비율을 가지도록 조정한 제1 가공맵(P1)을 생성한다.
또한. 기준 특성맵의 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 이후에 CRF(Conditional Random Field)를 적용하여 상기 기준 특성맵의 채널(c)별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출한 특성맵인 제2 가공맵 또한 생성할 수 있다.
다시 말해, 생성단계(S200)에서는 세부적인 공간정보를 가지는 특성맵인 제1 가공맵과 에지 정보를 가지는 특성맵인 제2 가공맵을 생성하여 후술할 합성단계(S300)에서의 합성을 통해, 에지 경계로 구획된 영역의 세부적인 특징 추출이 가능한 특성맵을 확보할 수 있게 된다.
합성단계(S300)는 생성단계에서 생성된 제1 가공맵(P1)과 제2 가공맵(P2)의 크기를 일치시키고, 제1 가공맵(P2)과 제2 가공맵(P2)에 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 및 연산 결과의 평균 풀링(Average Pooling)을 적용하여, 합성맵(E)을 생성하는 단계이다.
이 단계에서 생성단계에서 생성된 제1 가공맵(P1)과 사전 학습된 3 x 3 필터의 컨볼루션 연산 이후에 평균 풀링(Average pooling)을 적용하여, 상기 제1 가공맵이 이루는 행렬의 크기를 상기 제2 가공맵(P2)의 크기와 일치시키게 되며, 3 X 3 컨볼루션 연산과 평균 풀링으로 이루어진 과정은 제1 가공맵(P1)의 필드의 비율 및 개수가 제2 가공맵(P2)의 필드가 이루는 비율 및 개수와 동일해질 때까지 반복되며, 제1 및 제2 가공맵(P1, P2)의 필드가 동일한 크기가 되면 합성을 통해 합성맵(E)을 생성하게 된다.
분할단계(S400)는 합성맵(E)이 이루는 행렬의 크기를, 안면이미지(F)가 이루는 X축과 Y축 픽셀 단위와 대응하게 확장시키고, 확장된 합성맵과 사전 학습된 필터를 통한 컨볼루션 연산을 통해 안면영역을 복수의 영역으로 분할하는 합성맵 내의 특징 파라미터 값을 도출하고, 도출된 특징파라미터 간의 분포 유사도에 따라 복수의 영역으로 그루핑한 결과맵(O)을 생성하는 단계이다.
여기서, 결과맵(O)은 에지로 구분된 영역의 파라미터 값의 유사성을 시각화하여 나타낸 이미지로, 에지로 구분된 영역의 유사 파라미터 군에 색상을 적용하되, 에지로 분할된 영역별로 서로 다른 색상을 적용하여 안면이미지(F)의 안면영역 내의 눈, 입술, 귀, 코, 헤어 등과 같은 특징요소 단위로 서로 다른 색상으로 분할된 이미지 형태로 마련되며, 안면이미지(F)에 오버레이되어 안면이미지(F)의 안면영역 내의 특징요소 단위로 서로 다른 색상으로 구분되는 분할이미지(D)를 생성할 수도 있다.
즉, 본 발명에 따른 안면이미지의 안면영역 분할 방법은 생성단계에서 기준 특성맵으로부터, 확장된 컨볼루션을 통해 풍부한 특징적 파라미터 값이 확보된 제1 가공맵과, 조건부 랜덤 필드를 통해 에지 경계(Edge boundary) 정보가 포함된 제2 가공맵을 생성하고, 합성단계에서 제1 가공맵과 제2 가공맵의 각 파라미터 값이 입력되는 필드 크기를 일치화하여 합성시킴으로써, 에지 단위별 특징 추출을 통한 정확도 높은 안면이미지 내의 특징 요소별 안면영역 분할이 가능한 효과가 있다.
상기한 본 발명의 실시 예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허 청구범위에 속하는 것으로 보아야 할 것이다.
100: 학습 단말
D: 분할이미지
E: 합성맵
F: 안면이미지
H: 고수준맵
L: 저수준맵
O: 결과맵
P1: 제1 가공맵
P2: 제2 가공맵
S: 기준 특성맵

Claims (7)

  1. 컨볼루션 신경망(Convolution Neural Network) 모델이 적용된 학습 단말을 통한 얼굴이 포함된 이미지 내의 안면영역을 복수의 영역으로 분할하는 방법에 있어서,
    X축과 Y축의 픽셀의 수가 동일한 안면이미지를 입력받아, 안면이미지의 RGB(Red, Green, Blue) 채널별로, 각 픽셀의 파라미터의 값을 변형하여 파리미터 값이 정방행렬로 나열된 기준 특성맵(Feature map)을 추출하는 추출단계;
    상기 기준 특성맵으로부터 상기 기준 특성맵과 동일한 크기를 가지되 채널의 수를 증가시킨 형태로 가공한 제1 가공맵을 생성하고, 상기 기준 특성맵의 채널별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출한 제2 가공맵을 생성하는 생성단계;
    상기 생성단계에서 생성된 상기 제1 가공맵과 제2 가공맵의 크기를 일치시키고, 상기 제1 가공맵과 제2 가공맵에 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 및 연산 결과의 평균 풀링(Average Pooling)을 적용하여, 합성맵을 생성하는 합성단계; 및
    상기 합성맵이 이루는 행렬의 크기를, 상기 안면이미지가 이루는 X축과 Y축 픽셀 단위와 대응하게 확장시키고, 확장된 합성맵과 사전 학습된 필터를 통한 컨볼루션 연산을 통해 안면영역을 복수의 영역으로 분할하는 합성맵 내의 특징 파라미터 값을 도출하고, 도출된 특징파라미터 간의 분포 유사도에 따라 복수의 영역으로 그루핑한 결과맵을 생성하는 분할단계;를 포함하고,
    상기 추출단계는, 안면이미지를 X축과 Y축 픽셀 단위별 필드의 파라미터 값과 3 X 3 정방행렬 형태로 사적 학습된 파라미터가 필드가 입력된 필터와의 적어도 1회 이상의 컨볼루션(Convolution) 연산을 통해, 안면 이미지로부터 각 필드와 필드별 파라미터가 정방행렬 형태로 나열되며 R,G,B 3개 채널의 기준 특성맵을 생성하는 단계인 것을 특징으로 하는 안면이미지의 안면영역 분할 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 생성단계는 상기 기준 특성맵과 사전 학습된 3 x 3 필터의 확장된 컨볼루션(dilated convolution) 연산을 통해 저수준맵과 상기 저수준맵이 이루는 행렬의 크기보다 작은 크기 행렬크기를 가지되 채널 수를 증가시킨 고수준맵을 생성하고, 생성된 저수준맵과 고수준맵을 연결(Concatenation)하여 연결맵을 생성한 이후에, 연결맵을 이후는 행렬의 크기를 상기 기준 특성맵이 이루는 행렬의 크기로 조정하여 제1 가공맵을 생성하는 단계인 것을 특징으로 하는 안면이미지의 안면영역 분할 방법.
  4. 제3항에 있어서,
    상기 생성단계는 상기 연결맵에 적어도 4회의 이중선형 업샘플링(Bilinear Upsampling X4)을 통해, 상기 연결맵이 이루는 행렬의 크기를 증가시킨 이후에, 풀링을 적용하여 상기 기준 특성맵이 이루는 행렬의 크기 단위로 상기 연결맵을 크기를 조정하여 제1 가공맵을 생성하는 단계인 것을 특징으로 하는 안면이미지의 안면영역 분할 방법.
  5. 제4항에 있어서,
    상기 생성단계는 상기 기준 특성맵의 사전 학습된 3 X 3 필터를 통한 컨볼루션(Convolution) 연산 이후에 CRF(Conditional Random Field)를 적용하여 상기 기준 특성맵의 채널별 파라미터를 통해 안면이미지의 에지(Edge)에 대응하는 파라미터를 추출하여 제2 가공맵을 생성하는 단계인 것을 특징으로 하는 안면이미지의 안면영역 분할 방법.
  6. 제5항에 있어서,
    상기 합성단계는 상기 생성단계에서 생성된 제1 가공맵과 사전 학습된 3 x 3 필터의 컨볼루션 연산 이후에 평균 풀링(Average pooling)을 적용하여, 상기 제1 가공맵이 이루는 행렬의 크기를 상기 제2 가공맵의 크기와 일치시키는 단계인 것을 특징으로 하는 안면이미지의 안면영역 분할 방법.
  7. 제1항, 제3항 내지 제6항 중 어느 한 항의 안면이미지의 안면영역 분할 방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020220096557A 2022-08-03 2022-08-03 안면이미지의 안면영역 분할 방법 KR102543077B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220096557A KR102543077B1 (ko) 2022-08-03 2022-08-03 안면이미지의 안면영역 분할 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220096557A KR102543077B1 (ko) 2022-08-03 2022-08-03 안면이미지의 안면영역 분할 방법

Publications (1)

Publication Number Publication Date
KR102543077B1 true KR102543077B1 (ko) 2023-06-13

Family

ID=86762705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220096557A KR102543077B1 (ko) 2022-08-03 2022-08-03 안면이미지의 안면영역 분할 방법

Country Status (1)

Country Link
KR (1) KR102543077B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112378A (ko) * 2018-03-26 2019-10-07 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
KR20190140527A (ko) * 2018-05-30 2019-12-20 삼성전자주식회사 특징 데이터 획득 방법 및 장치
KR20200029659A (ko) * 2018-09-06 2020-03-19 포항공과대학교 산학협력단 얼굴 인식 방법 및 장치
KR102147052B1 (ko) * 2018-11-16 2020-08-21 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법
KR102332032B1 (ko) * 2019-08-16 2021-11-29 서울여자대학교 산학협력단 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190112378A (ko) * 2018-03-26 2019-10-07 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
KR20190140527A (ko) * 2018-05-30 2019-12-20 삼성전자주식회사 특징 데이터 획득 방법 및 장치
KR20200029659A (ko) * 2018-09-06 2020-03-19 포항공과대학교 산학협력단 얼굴 인식 방법 및 장치
KR102147052B1 (ko) * 2018-11-16 2020-08-21 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법
KR102332032B1 (ko) * 2019-08-16 2021-11-29 서울여자대학교 산학협력단 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이재웅외 2명, ‘잠재적 색상 정보를 활용한 딥러닝 기반 얼굴 분할 모델’, 2020년 한국소프트웨어종합학술대회 논문집, pp 550-552(2020.12.)* *

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
US10198624B2 (en) Segmentation-guided real-time facial performance capture
CN106778785B (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN103839223B (zh) 图像处理方法及装置
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
Lin Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network
Sablatnig et al. Hierarchical classification of paintings using face-and brush stroke models
CN110991258B (zh) 一种人脸融合特征提取方法及***
CN107169508B (zh) 一种基于融合特征的旗袍图像情感语义识别方法
CN111881743B (zh) 一种基于语义分割的人脸特征点定位方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
US10846568B2 (en) Deep learning-based automatic gesture recognition method and system
CN109190535A (zh) 一种基于深度学习的人脸面部肤色分析方法和***
CN111429416B (zh) 一种人脸色素斑识别方法、装置及电子设备
CN107203963A (zh) 一种图像处理方法及装置、电子设备
CN110969631A (zh) 一种精细化照片染发方法及***
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及***
CN113255561A (zh) 头发信息识别方法、装置、设备及存储介质
CN114565508B (zh) 虚拟换装方法及装置
CN113076916B (zh) 基于几何特征加权融合的动态人脸表情识别方法及***
CN113052783A (zh) 一种基于人脸关键点的人脸图像融合方法
CN114359030B (zh) 一种人脸逆光图片的合成方法
KR102543077B1 (ko) 안면이미지의 안면영역 분할 방법
CN109766860B (zh) 基于改进的Adaboost算法的人脸检测方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant