KR102578209B1 - 영상 처리 방법과 장치 - Google Patents

영상 처리 방법과 장치 Download PDF

Info

Publication number
KR102578209B1
KR102578209B1 KR1020170182979A KR20170182979A KR102578209B1 KR 102578209 B1 KR102578209 B1 KR 102578209B1 KR 1020170182979 A KR1020170182979 A KR 1020170182979A KR 20170182979 A KR20170182979 A KR 20170182979A KR 102578209 B1 KR102578209 B1 KR 102578209B1
Authority
KR
South Korea
Prior art keywords
image
quality
quality evaluation
type
regression model
Prior art date
Application number
KR1020170182979A
Other languages
English (en)
Other versions
KR20180109658A (ko
Inventor
한재준
최창규
장 차오
펭 하오
슈 징타오
샨 얀후
안 야오주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/922,237 priority Critical patent/US10902244B2/en
Publication of KR20180109658A publication Critical patent/KR20180109658A/ko
Application granted granted Critical
Publication of KR102578209B1 publication Critical patent/KR102578209B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

일 실시예에 따르면, 영상에서 얼굴검출(face verification)을 수행하여 결과영상을 도출하는 단계; 미리 설정된 얼굴 영상 회귀 모델을 이용하여, 상기 결과영상에 대한 품질 평가를 수행하는 단계; 상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계를 포함하는 영상 처리 방법일 수 있다.

Description

영상 처리 방법과 장치{APPARATUS AND METHOD FOR IMAGE PROCESSING}
아래 실시예는 영상 처리 방법 및 장치에 관한 것이고, 특히 CNN 회귀 트레이닝에 의한 얼굴 형상 회귀 모델을 이용하여 영상에서 얼굴인식하는 영상 처리 방법 과 장치에 관한 것이다.
통제되지 않은 조건(예를 들면, 조도, 카메라 흔들림 및 움직이는 피사체)하에서 수집된 영상은 대량의 저품질 영상(예를 들면, 강한 백라이트 영상, 저조도 영상, 흐릿한(blurred) 영상)을 포함할 수 있다. 고품질 영상을 이용하는 기존의 영상 처리 방법은 저품질 영상에서 얼굴 인식 및/또는 생체 검출할 때 문제를 가지고 있다.
기존의 영상 처리 방법은 전처리를 통해 조도와 같은 외부 조건으로 인해 영상에 발생한 간섭을 제거하거나 감소시킴으로써 품질을 향상시킬 수 있다. 또한, 기존의 영상 처리 방법은 입력된 영상을 블록으로 나누어 밝기를 계산하고, 작은 블록 사이의 밝기 비교관계에 기초하여 배경의 밝기를 결정함으로써 백라이트 영상을 처리할 수 있다. 또한, 기존의 영상 처리 방법은 입력된 영상의 바운더리 영상을 블록으로 나누어 선명도 또는 흐릿함을 계산하여 전체 영상의 흐릿함을 결정하여 흐릿한 영상을 처리할 수 있다.
데이터베이스가 일반적으로 유사하거나 비슷한 조도 조건을 가지는 경우에, 기존의 영상 처리 방법은 만족스러운 영상 처리 효과를 얻을 수 있다. 그러나 일부 데이터베이스 중의 영상과 차이가 비교적 큰 영상이 있는 경우, 기존의 영상 처리 방법은 영상 처리 효과가 매우 떨어질 수 있다.
도 1a는 백라이트 영상유형에 적용된 기존의 영상 처리 방법에 의한 샘플예이고, 도 1b는 저조도 영상유형에 적용된 기존의 영상 처리 방법에 의한 샘플예이며, 도 1c는 흐릿한 영상유형에 적용된 기존의 영상 처리 방법에 의한 샘플예이다.
일 측면에 따르면, 영상에서 얼굴검출(face verification)을 수행하여 결과영상을 도출하는 단계; 미리 설정된 얼굴 영상 회귀 모델을 이용하여, 상기 결과영상에 대한 품질 평가를 수행하는 단계; 상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계를 포함하는 영상 처리 방법일 수 있다.
상기 영상 처리 방법에서, 상기 품질 레벨에 기초하여, 임계값을 결정하는 단계; 상기 임계값을 이용하여 상기 결과영상으로부터 얼굴인식을 수행하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법에서, 상기 임계값을 결정하는 단계는, 상기 품질 레벨과 임계값 사이의 설정된 대응관계에 따라, 상기 결정된 품질레벨에 따른 상기 임계값을 결정하는 단계를 포함할 수 있다.
상기 영상 처리 방법에서, 상기 얼굴 영상 회귀 모델은, 영상을 유형에 따라 하나 이상의 영상유형으로 분류하고, 상기 각각의 영상유형에 포함된 트레이닝 영상에 대해 CNN(Convolution Neural Network) 회귀 트레이닝을 적용함으로써, 상기 각각의 영상유형에 대응하는 상기 얼굴 영상 회귀 모델을 획득할 수 있다.
상기 영상 처리 방법에서, 상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계는, 상기 품질 평가를 이용하여 가중 평균을 계산하는 단계; 상기 계산된 가중 평균을 상기 품질 레벨로 결정하는 단계를 포함할 수 있다.
상기 영상 처리 방법에서, 상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계는, 상기 품질 평가와 상기 얼굴 영상 회귀 모델의 임계값을 비교하여, 상기 얼굴 영상 회귀 모델의 임계값보다 상기 품질 평가가 낮은 경우, 상기 품질 평가를 상기 품질 레벨로 결정하는 단계를 포함할 수 있다.
상기 영상 처리 방법에서, 상기 CNN 회귀 트레이닝은, 상기 트레이닝 영상에서 얼굴검출을 수행하여 결과영상을 도출하고, 상기 결과영상으로부터 얼굴인식에 따른 확률점수를 획득한 후, 상기 결과영상과 상기 확률점수에 기초하여 상기 CNN 회귀 트레이닝을 수행할 수 있다.
상기 영상 처리 방법에서, 상기 CNN 회귀 트레이닝은, CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 사용하고, 상기 각각의 영상유형에 대응하는 얼굴 영상 회귀 모델을 트레이닝 할 때, 상기 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터는 공유될 수 있다.
상기 영상 처리 방법에서, 상기 영상유형은, 저조도 영상유형, 백라이트 영상유형, 흐릿한 영상유형을 포함할 수 있다.
일 측면에 따르면, 영상에서 얼굴검출을 수행하여 결과영상을 품질평가 모듈로 출력하는 얼굴검출 모듈, 상기 얼굴검출 모듈로부터 수신한 결과영상에 대해 미리 설정된 얼굴 영상 회귀 모델을 이용하여 품질 평가를 수행하고, 상기 품질 평가에 기초하여 품질 레벨을 결정하는 품질평가 모듈을 포함하는 영상 처리 장치일 수 있다.
상기 영상 처리 장치에서, 상기 품질레벨에 기초하여 임계값을 결정하는 임계값 결정 모듈을 더 포함하고, 상기 임계값은 상기 결과영상으로부터 얼굴인식이 수행될 때 이용될 수 있다.
도 1a는 백라이트 영상의 샘플예를 나타낸다.
도 1b는 저조도 영상의 샘플예를 나타낸다.
도 1c는 흐릿한 영상의 샘플예를 나타낸다.
도 2는 일 실시예에 따른, 영상 처리 방법의 과정을 나타낸 도면이다.
도 3은 일 실시예에 따른, CNN 회귀 트레이닝을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른, CNN 모델을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른, 품질레벨을 평가하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른, 생체 검출(liveness detection)에 이용되는 임계값의 결정을 나타내는 도면이다.
도 7은 일 실시예에 따른, 얼굴인식에 이용되는 임계값의 결정을 나타내는 도면이다.
도 8은 일 실시예에 따른, 영상 처리 장치를 나타낸 도면이다.
도 9는 일 실시예에 따른, 저조도 영상유형의 얼굴 영상 회귀 모델, 백라이트 영상유형의 얼굴 영상 회귀 모델, 흐릿한 영상유형의 얼굴 영상 회귀 모델의 트레이닝 결과를 나타낸 도면이다.
도 10은 일 실시예에 따른, 테스트 결과를 나타낸 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1a 내지 도 1c는 기존 영상 처리 방법을 이용하여, 백라이트 영상/저조도 영상/흐릿한 영상에 대해 얼굴검출한 결과영상을 나타낸 도면이다.
도 2는 일 실시예에 따른, 영상 처리 방법의 과정을 나타낸 도면이다.
일 실시예에 따르면, 영상 처리 방법은 복수의 서로 다른 영상유형이 대응하는 얼굴 영상 회귀 모델을 이용하여, 영상에 대해 효과적인 품질평가를 할 수 있고, 품질평가의 정확성을 개선할 수 있다.
일 실시예에 따르면, 영상 처리 방법은 얼굴 영상에 대하여 효과적인 품질평가를 하고, 품질평가에 의거하여 생체 검출 및/또는 얼굴 인식에 이용되는 임계값을 동적으로 선택할 수 있다. 영상 처리 방법은 처리대상인 영상 품질에 임계값을 적응하도록 할 수 있다. 그래서, 영상 처리 방법은 처리할 영상 품질이 너무 낮고 임계값이 너무 높아 초래되는 잘못 검출, 오검출 및 인식 못하는 문제를 줄이고, 영상에서 생체 검출 및/또는 얼굴 인식의 성능을 향상시킬 수 있다. 이때, 영상은 저품질 영상, 고품질 영상을 포함할 수 있다.
일 실시예에 따르면, CNN 회귀 트레이닝에 기초하여 서로 다른 영상 유형이 대응하는 얼굴 영상 회귀 모델을 사전에 트레이닝하는 것이 필요할 수 있으며, 이로 인해 영상 처리 방법의 효율성은 향상될 수 있다. 또한, 영상 처리 방법은 기존의 영상 처리 방법과 응용되어/결합되어 사용됨으로써 기존의 영상 처리 방법의 성능을 향상시킬 수 있다. 또한 영상 처리 방법은 기존의 영상 처리 방법과 비교하여 비교적 높은 계산효율을 가질 수 있다.
구체적으로, 저품질 영상에서 생체 검출을 할 때, 오 검출률이 높은 문제를 가지고 있는 기존의 영상 처리 방법과 비교하여, 영상 처리 방법은 CNN 회귀 트레이닝에 기초한 얼굴 영상 회귀 모델을 이용하여 영상에 대해 품질 평가를 하고, 품질 평가에 기초하여 품질 레벨을 결정하고, 품질 레벨에 기초하여 생체 검출의 임계값을 조절할 수 있다. 여기서, CNN 회귀 트레이닝은 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 사용할 수 있고, 이때 각각의 영상 유형은 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 공유할 수 있고, 공유된 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 사용할 수 있다.
또한, 저품질 영상에서 얼굴 인식을 할 때, 인식이 어려운 문제를 가지고 있는 기존의 영상 처리 방법과 비교하여, 영상 처리 방법은 CNN 회귀 트레이닝에 기초한 얼굴 영상 회귀 모델을 이용하여 영상에 대해 품질 평가를 하고, 품질 평가에 기초하여 품질 레벨을 결정하고, 품질 레벨에 기초하여 얼굴 인식의 임계값을 조절할 수 있다. 여기서, CNN 회귀 트레이닝은 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 사용할 수 있고, 이때 각각의 영상 유형은 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 공유할 수 있고, 공유된 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 사용할 수 있다.
이하, 영상 처리 방법에 대해 자세히 설명한다.
단계(201)에서, 영상 처리 방법은 영상유형에 포함된 트레이닝 영상에 대하여 CNN회귀 트레이닝을 적용함으로써, 각각의 영상유형에 대응하는 얼굴 영상 회귀 모델을 획득할 수 있다. 여기서, 품질평가를 효과적으로 수행하기 위하여, 서로 다른 영상유형이 대응하는 얼굴 영상 회귀 모델은 사전에 획득될 수 있다.
이때, 영상 특성에 따라 각종 영상을 분류하여, 서로 다른 영상유형은 획득될 수 있다. 예를 들면, 영상유형은 저조도 영상유형, 백라이트 영상유형 및/또는 흐릿한 영상유형 등을 포함할 수 있고, 영상유형은 이에 한정되지 않는다.
각각의 영상유형에 대하여 트레이닝 영상을 이용하여 CNN회귀 트레이닝을 적용함으로써, 영상유형에 대응하는 얼굴 영상 회귀모델은 획득될 수 있다. 여기서 트레이닝 영상은 표준적인 영상유형의 저품질 영상을 포함할 수 있다. 예를 들면, 트레이닝 영상은 표준적인 백라이트 영상, 저조도 영상, 흐릿한 영상 중에서 하나 이상을 포함할 수 있다. 또는 트레이닝 영상은 얼굴을 포함하는 고품질 영상을 포함할 수 있다.
일 실시예에 따르면, 얼굴 영상 회귀 모델은 미리 완성되어 저장될 수 있고, 또는 계속 업데이트되어 저장될 수 있다. 따라서, 생체 검출 및/또는 얼굴 인식을 수행할 때, 저장된 얼굴 영상 회귀 모델은 이용될 수 있다.
또한, 일 실시예에 따르면, 얼굴 영상 회귀 모델에 적용되는 CNN회귀 트레이닝은 미리 완성되어 저장될 수 있고, 또는 계속 업데이트되어 저장될 수 있다. 따라서, 생체 검출 및/또는 얼굴 인식을 수행할 때, 저장된 CNN 회귀 트레이닝은 이용될 수 있다.
단계(202)에서, 영상 처리 방법은 영상에서 얼굴검출을 수행하여 결과영상을 도출하고, 얼굴 영상 회귀 모델을 이용하여 결과영상에 대한 품질평가를 수행하고, 품질평가에 기초하여 품질레벨을 결정할 수 있다. 이때, 얼굴 영상 회귀 모델은 각각의 영상유형에 대응할 수 있다.
여기서, 얼굴검출은 영상에서 얼굴부분을 검출하는 것으로, 결과영상은 얼굴을 포함할 수 있다. 일 실시예에 따르면, 영상 처리 방법은 저품질 영상의 처리에 적절할 수 있다. 또한, 영상 처리 방법은 기타 품질의 영상의 처리를 수행할 수 있으며, 저품질 영상의 처리에 한정되지 않는다.
얼굴 영상 회귀 모델을 이용하여 결과영상에 대한 품질평가를 수행하고, 품질평가의 결과를 종합하여 품질레벨은 결정될 수 있다. 따라서, 처리대상인 영상로부터 도출된 결과영상에 대해 서로 다른 영상유형에서의 품질평가를 효과적으로 수행하여, 종합적인 품질레벨이 결정될 수 있다.
단계(203)에서, 품질결과에 기초하여 임계값을 결정하고, 임계값을 이용하여 결과영상으로부터 생체검출 및/또는 얼굴인식은 수행될 수 있다. 단계(203)은 단계(202)에서 결정된 품질레벨을 이용할 수 있다.
여기서, 임계값은 처리대상인 영상의 품질레벨 기초하여 조절될 수 있다. 즉, 임계값은 동적으로 조절될 수 있다. 조절된 임계값을 이용하여 생체검출 및/또는 얼굴인식을 수행함으로써, 생체검출 및/또는 얼굴인식의 성능은 향상될 수 있다.
이하, 도 2의 각 단계(201~203)의 구체적인 과정에 대해 상세하게 기재한다. 여기서, 일 실시예에 따라, 영상유형은 백라이트 영상유형, 저조도 영상유형, 흐릿한 영상유형 3가지 영상유형을 이용하여 설명한다.
1. 단계(201)에서 얼굴 영상 회귀 모델의 획득
각각의 영상유형(백라이트 영상유형, 저조도 영상유형, 흐릿한 영상유형)이 대응하는 얼굴 영상 회귀 모델은, 각각의 영상유형에 포함된 트레이닝 영상에 대해 CNN 회귀 트레이닝을 적용함으로써 각각의 영상유형에 대응하는 얼굴 영상 회귀 모델은 획득될 수 있다.
이때, 트레이닝 영상에서 얼굴검출을 수행하여 결과영상을 도출하고, 결과영상으로부터 얼굴인식에 따른 확률점수를 획득한 후, 결과영상과 확률점수에 기초하여 CNN 회귀 트레이닝은 수행될 수 있다.
보다 구체적으로, CNN 회귀 트레이닝은 도 3을 참조하여 설명될 수 있다. 도 3은 일 실시예에 따른, CNN 회귀 트레이닝을 설명하기 위한 도면이다.
트레이닝 영상에서 얼굴검출하여 결과영상은 획득될 수 있다. 획득된 결과영상에 대해 특징 포인트 검출 표준화는 수행될 수 있고, 이후 얼굴인식이 수행될 수 있다. 얼굴인식을 통해 획득한 확률점수와 결과영상은 CNN 회귀 트레이닝에 사용될 수 있다. CNN 회귀 트레이닝을 적용하여 얼굴 영상 회귀 모델은 획득될 수 있다.
예를 들면, CNN 회귀 트레이닝을 적용하여, 백라이트 영상유형에 대응하는 얼굴 영상 회귀 모델, 저조도 영상유형에 대응하는 얼굴 영상 회귀 모델, 흐릿한 영상유형에 대응하는 얼굴 영상 회귀 모델은 획득될 수 있다.
CNN 회귀 트레이닝은 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 이용할 수 있다. 이때, 저장 용량을 절약하고 계산효과를 높이기 위해 서로 다른 영상유형의 얼굴 영상 회귀 모델에 대해, 같은 CNN 모델와 컨볼루션층 및 풀링층 파라미터는 사용될 수 있다.
예를 들면, 저장 용량을 절약하고 계산효과를 높이기 위해 백라이트 영상유형에 대응하는 얼굴 영상 회귀 모델, 저조도 영상유형에 대응하는 얼굴 영상 회귀 모델, 흐릿한 영상유형에 대응하는 얼굴 영상 회귀 모델은 같은 CNN 모델와 컨볼루션층 및 풀링층 파라미터를 사용될 수 있다.
도 4는 일 실시예에 따른, CNN 모델를 설명하기 위한 도면이다. 일 실시예에 따르면, 3개의 서로 다른 영상유형에 적용되는 CNN 모델은 도 4와 같다. CNN 모델은 복수의 레이어를 포함할 수 있다. 예를 들면, CNN 모델은 좌에서 우로 입력 레이어, 7개의 히든 레이어, 출력 레이어을 포함할 수 있다.
여기서, 7개의 히든 레이어은 좌에서 우로 순차적으로 제1층 컨볼루션층(제1층 필터층이라고도 함), 제1층 풀링층, 제2층 컨볼루션층, 제2층 풀링층, 제3층 컨볼루션층, 제3층 풀링층과 완전연결층일 수 있다. 얼굴 영상 회귀 모델은 얼굴 영상 데이터베이스?z 통해 모든 컨볼루션층, 풀링층 및 완전연결층의 파라미터에 대한 트레이닝을 통해 트레이닝 파라미터를 획득할 수 있다.
구체적으로, 도 4에서 좌에서 첫번째 아이콘(즉, 직사각형)은 입력 레이어을 나타낼 수 있다. 직사각형의 고도(48)과 깊이(48)는 입력 레이어이 48*48개 뉴런으로 구성된 행렬을 의미하고, 행렬은 입력된 영상의 48*48개 픽셀포인트로 구성된 픽셀포인트 행렬일 수 있다.
도 4에서 좌에서 두번째 아이콘은 고도(44), 깊이(44)와 너비(32)인 직육면체이고, 직육면체는 입력된 영상이 제1층 컨볼루션층을 통과한 후 컨볼루션을 통해 획득한 것을 제1층 컨볼루션 결과로 하는 32개의 특징도(feature map)를 의미할 수 있고, 32개의 특징도에서 각각의 특징도는 44*44개 픽셀포인트를 포함할 수 있다.
도 4에서 좌에서 세번째 아이콘은 고도(22), 깊이(22)와 너비(32)인 직육면체이고, 직육면체는 제1층 컨볼루션 결과로 하는 32개의 특징도가 제1층 풀링층을 통과한 후, 획득한 것을 제1층 풀링 결과로 하는 32개의 특징도를 의미할 수 있다. 여기서, 제1층 풀링 결과로 하는 32개의 특징도에서 각각의 특징도는 22*22개 픽셀포인트를 포함할 수 있다.
도 4에서 좌에서 네번째 아이콘은 고도(18), 깊이(18)와 너비(32)인 직육면체이고, 직육면체는 제1층 풀링 결과로 하는 32개의 특징도가 제2층 컨볼루션층을 통과한 후, 획득한 것을 제1층 컨볼루션 결과로 하는 32개의 특징도를 의미할 수 있다. 여기서, 제2층 컨볼루션 결과로 하는 32개의 특징도에서 각각의 특징도는 18*18개 픽셀포인트를 포함할 수 있다.
도 4에서 좌에서 다섯번째 아이콘은 고도(9), 깊이(9)와 너비(64)인 직육면체이고, 직육면체는 제2층 컨볼루션 결과로 하는 32개의 특징도가 제2층 풀링층을 통과한 후, 획득한 것을 제2층 풀링 결과로 하는 64개의 특징도를 의미할 수 있다. 여기서, 제2층 풀링 결과로 하는 64개의 특징도에서 각각의 특징도는 9*9개 픽셀포인트를 포함할 수 있다.
도 4에서 좌에서 여섯번째 아이콘은 고도(7), 깊이(7)와 너비(64)인 직육면체이고, 직육면체는 제2층 풀링 결과로 하는 64개의 특징도가 제3층 컨볼루션층을 통과한 후, 획득한 것을 제3층 컨볼루션 결과로 하는 64개의 특징도를 의미할 수 있다. 여기서, 제3층 컨볼루션 결과로 하는 64개의 특징도에서 각각의 특징도는 7*7개 픽셀포인트를 포함할 수 있다.
도 4에서 좌에서 일곱번째 아이콘은 고도(3), 깊이(3)와 너비(64)인 직육면체이고, 직육면체는 제3층 컨볼루션 결과로 하는 64개의 특징도가 제3층 풀링층을 통과한 후, 획득한 것을 제3층 풀링 결과로 하는 64개의 특징도를 의미할 수 있다. 여기서, 제3층 풀링 결과로 하는 64개의 특징도에서 각각의 특징도는 3*3개 픽셀포인트를 포함할 수 있다.
그 외에, 도 4에서 왼쪽으로부터 여덟번째 아이콘(즉, 직사각형)은 완전 연결 층(full connection layer)을 표시할 수 있다. 이때, 완전연결층 아래의 문자는 완전연결층이 포함하는 뉴런의 개수를 의미할 수 있다. 예를 들면, 저조도 영상유형의 완전연결층 아래의 a는 완전연결층이 a개의 뉴런을 포함하는 것을 의미할 수 있다. 또한, 백라이트 영상유형의 완전연결층 아래의 b는 완전연결층이 b개의 뉴런을 포함하는 것을 의미할 수 있다. 또한, 흐릿한 영상유형의 완전연결층 아래의 c는 완전연결층이 c개의 뉴런을 포함하는 것을 의미할 수 있다.
도 4에서 왼쪽으로부터 아홉번째(즉, 오른쪽으로부터 첫번째) 아이콘의 직사각형은 출력 층을 표시하며, 출력 층은 얼굴 영상 회귀 모델에 대응하는 결과를 출력할 수 있다. 완전연결층 중 각 뉴런은 모두 독립적으로 제3층 풀링층의 각 뉴런과 연결될 수 있다. 출력층 중 각 뉴런은 모두 독립적으로 완전연결층의 각 뉴런과 연결될 수 있다.
도 4에서, 서로 다른 영상유형에 대응하는 얼굴 영상 회귀 모델을 획득하기 위해 적용되는 CNN 회귀 트레이닝은 CNN 모델에서 가운데 6개의 히든 레이어의 파라미터를 공유하여 계산효율을 높일 수 있으며, 또한 저장용량을 줄일 수 있다. 여기서, 완전연결층의 파라미터는 서로 다른 영상유형에 따라 구별될 수 있다.
2. 단계(202)에서 품질평가의 수행
3개의 서로 다른 영상유형이 대응하는 얼굴 영상 회귀 모델을 이용하여, 3개의 영상유형에서의 결과영상의 품질평가를 계산하고, 3개의 영상유형에서의 품질평가를 이용하여 품질레벨을 평가할 수 있다. 품질레벨을 평가하는 과정은 도 5를 참조하여 설명될 수 있다. 도 5는 일 실시예에 따른, 품질레벨을 평가하는 과정을 설명하기 위한 도면이다.
구체적으로, 3개의 영상유형의 품질평가에 기초하여 품질레벨을 결정하는 것은 아래의 2가지 방법에 따라 결정될 수 있다. 서로 다른 영상유형의 품질평가에 기초하여 품질레벨을 결정하는 것은 아래 두 가지에 한정되지 않는다.
1) 3개 영상유형의 품질평가를 이용하여 가중평균은 계산될 수 있고, 계산된 가중평균은 품질레벨로 결정될 수 있다. 예를 들면, 품질레벨=(저조도 영상유형의 품질평가 + 백라이트 영상유형의 품질평가 + 흐릿한 영상유형의 품질평가)/3일 수 있다.
2) 각각의 영상유형이 대응하는 품질평가와 얼굴 영상 회귀 모델의 임계값(T)을 비교하고, 임의의 영상유형이 대응하는 품질평가가 얼굴 영상 회귀 모델의 임계값(T)보다 낮은 경우, 임의의 영상유형이 대응하는 품질평가를 품질레벨로 결정할 수 있다. 품질레벨이 결정될 경우, 품질평가와 얼굴 영상 회귀 모델의 임계값을 비교하는 과정은 종료될 수 있다.
이때, 영상유형의 우선순위는 설정될 수 있고, 우선순위가 높은 영상유형에서 낮은 영상유형으로 순차적으로 각 영상유형이 대응하는 품질평가와 얼굴 영상 회귀 모델의 임계값을 비교하여 품질레벨은 결정될 수 있다.
예를 들면, 저조도 영상유형>백라이트 영상유형>흐릿한 영상유형으로 우선순위가 설정되고 얼굴 영상 회귀 모델의 임계값(T)가 0.5인 경우, 우선순위에 기초하여 저조도 영상유형의 품질평가가 임계값(T)보다 작으면 저조도 영상유형의 품질평가를 품질레벨로 결정할 수 있다. 그렇지 않고, 저조도 영상유형의 품질평가가 임계값(T)보다 크면 저조도 영상유형의 결과영상은 고품질 영상으로 판단될 수 있다.
또한, 백라이트 영상유형의 품질평가가 임계값(T)보다 작으면 백라이트 영상유형의 품질평가를 품질레벨로 결정할 수 있다. 그렇지 않고, 백라이트 영상유형의 품질평가가 임계값(T)보다 크면 백라이트 영상유형의 결과영상은 고품질 영상으로 판단될 수 있다.
또한, 흐릿한 영상유형의 품질평가가 임계값(T)보다 작으면 흐릿한 영상유형의 품질평가를 품질레벨로 결정할 수 있다. 그렇지 않고, 흐릿한 영상유형의 품질평가가 임계값(T)보다 크면 흐릿한 영상유형의 결과영상은 고품질 영상으로 판단될 수 있다.
3. 단계(203)에서 임계값을 결정
단계(202)에서 결정된 품질레벨에 기초하여 생체 검출 및/또는 얼굴 인식에 이용되는 임계값은 결정될 수 있다. 임계값을 결정하는 자세한 과정은 도 6과 도 7을 참조하여 설명될 수 있다.
도 6은 일 실시예에 따른, 생체 검출에 이용되는 임계값의 결정을 나타내는 도면이다. 품질레벨과 생체 검출간의 대응관계는 미리 설정될 수 있다. 따라서, 품질레벨을 입력(601)할 경우, 품질레벨과 생체 검출간의 대응관계를 검색(602)하여, 생체 검출할 때 이용되는 임계값은 결정(603)될 수 있다. 여기서, 대응관계는 아래의 표 1과 같을 수 있다.
도 7은 일 실시예에 따른, 얼굴인식에 이용되는 임계값의 결정을 나타내는 도면이다. 품질레벨과 얼굴인식간의 대응관계는 미리 설정될 수 있다. 따라서, 품질레벨을 입력(601)할 경우, 품질레벨과 얼굴인식간의 대응관계를 검색(602)하여, 얼굴인식할 때 이용되는 임계값은 결정(603)될 수 있다. 여기서, 대응관계는 아래의 표 1과 같을 수 있다.
0<품질레벨<0.3 0.3<품질레벨<0.6 0.6<품질레벨<1
임계값 0.9 0.7 0.5
생체 검출에 이용되는 알고리즘(예를 들면, 깊이 컨볼루션 뉴럴 네트워크(deep convolution neural netrok)에 기초한 분류 알고리즘, 지지 벡터 기계(support vector machine)와 로컬 2진법 방식 연산자(local two value mode operator)에 기초한 분류 알고리즘) 및/또는 얼굴 인식에 이용되는 알고리즘(예를 들면, 깊이 컨볼루션 신경망에 기초한 분류 알고리즘)을 이용하고, 상술한 품질레벨에 따라 임계값을 동적으로 결정할 수 있다. 따라서, 생체 검출 및/또는 얼굴인식할 때, 더욱 탄탄한(robust) 효과를 획득할 수 있다.
도 8은 일 실시예에 따른, 영상 처리 장치를 나타낸 도면이다.
영상 처리 장치는 영상 처리 방법을 수행하는데 사용될 수 있다. 영상 처리 장치는 얼굴 검출 모듈(801)과 품질 평가 모듈(802)을 포함할 수 있다. 여기서, 얼굴 검출 모듈(801)은 처리대상인 영상에 대하여 얼굴검출 한 후, 얼굴검출의 결과영상을 품질평가모듈(802)로 출력할 수 있다. 품질 평가 모듈(802)는 하나 이상의 영상유형이 각각 대응하는 얼굴 영상 회귀 모델을 이용하여 결과영상에 대해 품질평가를 하고, 품질레벨을 결정할 수 있다.
그 외에, 영상 처리 장치는 임계값 결정 모듈(803)을 더 포함할 수 있다. 임계값 결정 모듈(803)은 품질레벨에 기초하여 임계값을 결정할 수 있다. 임계값은 생체 검출 및/또는 얼굴인식 할 때 사용될 수 있다.
도 9는 일 실시예에 따른, 저조도 영상유형의 얼굴 영상 회귀 모델, 백라이트 영상유형의 얼굴 영상 회귀 모델, 흐릿한 영상유형의 얼굴 영상 회귀 모델의 트레이닝 결과를 나타낸 도면이다. 도 10은 일 실시예에 따른, 테스트 결과를 나타낸 도면이다.
저조도+선명한 영상은 저조도 영상유형의 얼굴 영상 회귀 모델을 트레이닝하는데 사용되고, 백라이트+선명한 영상은 백라이트 영상유형의 얼굴 영상 회귀 모델을 트레이닝하는데 사용되며, 흐릿한+선명한 영상은 흐릿한 영상유형의 얼굴 영상 회귀 모델을 트레이닝하는데 사용될 수 있다.
그래프(901)은 저조도 영상유형의 얼굴 영상 회귀 모델의 트레이닝 결과를 나타낼 수 있다. 그래프(902)는 백라이트 영상유형의 얼굴 얼굴 영상 회귀 모델의 트레이닝 결과를 나타낼 수 있다. 그래프(903)는 흐릿한 영상유형의 얼굴 얼굴 영상 회귀 모델의 트레이닝 결과를 나타낼 수 있다.
그래프(1001)은 저조도 영상유형의 얼굴 영상 회귀 모델을 이용한 테스트 결과를 나타낼 수 있다. 그래프(1002)는 백라이트 영상유형의 얼굴 얼굴 영상 회귀 모델을 이용한 테스트 결과를 나타낼 수 있다. 그래프(1003)는 흐릿한 영상유형의 얼굴 얼굴 영상 회귀 모델을 이용한 테스트 결과를 나타낼 수 있다.
도 9와 도 10은 매칭이 비교적 높아, 각각의 영상유형에 대응하는 얼굴 영상 회귀 모델을 이용하여 저품질 영상의 처리 성능을 효과적으로 향상시켰음을 나타낼 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. 영상에서 얼굴검출을 수행하여 결과영상을 도출하는 단계;
    미리 설정된 얼굴 영상 회귀 모델을 이용하여, 상기 결과영상에 대한 품질 평가를 수행하는 단계;
    상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계
    를 포함하고,
    상기 얼굴 영상 회귀 모델은,
    영상을 유형에 따라 하나 이상의 영상유형으로 분류하고, 상기 각각의 영상유형에 포함된 트레이닝 영상에 대해 CNN(Convolution Neural Network) 회귀 트레이닝을 적용함으로써, 상기 각각의 영상유형에 대응하는 상기 얼굴 영상 회귀 모델을 획득하는
    영상 처리 방법.
  2. 제1항에 있어서,
    상기 품질 레벨에 기초하여, 임계값을 결정하는 단계;
    상기 임계값을 이용하여 상기 결과영상으로부터 얼굴인식을 수행하는 단계
    를 더 포함하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 임계값을 결정하는 단계는,
    상기 품질 레벨과 임계값 사이의 설정된 대응관계에 따라, 상기 결정된 품질레벨에 따른 상기 임계값을 결정하는 단계
    를 포함하는 영상 처리 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계는,
    상기 품질 평가를 이용하여 가중 평균을 계산하는 단계;
    상기 계산된 가중 평균을 상기 품질 레벨로 결정하는 단계
    를 포함하는 영상 처리 방법.
  6. 제1항에 있어서,
    상기 품질 평가에 기초하여 품질 레벨을 결정하는 단계는,
    상기 품질 평가와 상기 얼굴 영상 회귀 모델의 임계값을 비교하여, 상기 얼굴 영상 회귀 모델의 임계값보다 상기 품질 평가가 낮은 경우, 상기 품질 평가를 상기 품질 레벨로 결정하는 단계
    를 포함하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 CNN 회귀 트레이닝은,
    상기 트레이닝 영상에서 얼굴검출을 수행하여 결과영상을 도출하고, 상기 결과영상으로부터 얼굴인식에 따른 확률점수를 획득한 후, 상기 결과영상과 상기 확률점수에 기초하여 상기 CNN 회귀 트레이닝을 수행하는 영상 처리 방법.
  8. 제7항에 있어서,
    상기 CNN 회귀 트레이닝은, CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터를 이용하고,
    상기 각각의 영상유형에 대응하는 얼굴 영상 회귀 모델을 트레이닝 할 때, 상기 CNN 모델, 컨볼루션층 파라미터 및 풀링층 파라미터는 공유되는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 영상유형은,
    저조도 영상유형, 백라이트 영상유형, 흐릿한 영상유형을 포함하는 영상 처리 방법.
  10. 영상에서 얼굴검출을 수행하여 결과영상을 품질평가 모듈로 출력하는 얼굴검출 모듈,
    상기 얼굴검출 모듈로부터 수신한 결과영상에 대해 미리 설정된 얼굴 영상 회귀 모델을 이용하여 품질 평가를 수행하고, 상기 품질 평가에 기초하여 품질 레벨을 결정하는 품질평가 모듈
    을 포함하고,
    상기 얼굴 영상 회귀 모델은,
    영상을 유형에 따라 하나 이상의 영상유형으로 분류하고, 상기 각각의 영상유형에 포함된 트레이닝 영상에 대해 CNN(Convolution Neural Network) 회귀 트레이닝을 적용함으로써, 상기 각각의 영상유형에 대응하는 상기 얼굴 영상 회귀 모델을 획득하는
    영상 처리 장치.
  11. 제10항에 있어서,
    상기 품질레벨에 기초하여 임계값을 결정하는 임계값 결정 모듈을 더 포함하고,
    상기 임계값은 상기 결과영상으로부터 얼굴인식이 수행될 때 이용되는 영상 처리 장치.
KR1020170182979A 2017-03-27 2017-12-28 영상 처리 방법과 장치 KR102578209B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/922,237 US10902244B2 (en) 2017-03-27 2018-03-15 Apparatus and method for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710187197.8 2017-03-27
CN201710187197.8A CN108664839B (zh) 2017-03-27 2017-03-27 一种图像处理方法和设备

Publications (2)

Publication Number Publication Date
KR20180109658A KR20180109658A (ko) 2018-10-08
KR102578209B1 true KR102578209B1 (ko) 2023-09-12

Family

ID=63785490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170182979A KR102578209B1 (ko) 2017-03-27 2017-12-28 영상 처리 방법과 장치

Country Status (2)

Country Link
KR (1) KR102578209B1 (ko)
CN (1) CN108664839B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210399B (zh) * 2018-11-22 2023-10-17 杭州海康威视数字技术股份有限公司 一种成像质量评价方法、装置及设备
WO2020133072A1 (en) * 2018-12-27 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for target region evaluation and feature point evaluation
CN109784230A (zh) * 2018-12-29 2019-05-21 中国科学院重庆绿色智能技术研究院 一种人脸视频图像质量寻优方法、***及设备
CN111160299A (zh) * 2019-12-31 2020-05-15 上海依图网络科技有限公司 活体识别方法及装置
CN112561813B (zh) * 2020-12-10 2024-03-26 深圳云天励飞技术股份有限公司 人脸图像增强方法、装置、电子设备及存储介质
CN114373218B (zh) * 2022-03-21 2022-06-14 北京万里红科技有限公司 一种用于检测活体对象的卷积网络的生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070989A1 (en) * 2014-09-10 2016-03-10 VISAGE The Global Pet Recognition Company Inc. System and method for pet face detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011143223A2 (en) * 2010-05-10 2011-11-17 Board Of Regents, The University Of Texas System Determining quality of an image or a video using a distortion classifier
CN102800111B (zh) * 2012-07-19 2015-01-21 北京理工大学 基于颜色协调性的彩色融合图像颜色质量评价方法
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及***
JP5881576B2 (ja) * 2012-09-28 2016-03-09 富士フイルム株式会社 画像評価装置、画像評価方法、画像評価システム、及びプログラム
JP5813611B2 (ja) * 2012-09-28 2015-11-17 富士フイルム株式会社 画像評価装置、画像評価方法、及びプログラム
US9098552B2 (en) * 2013-02-05 2015-08-04 Google Inc. Scoring images related to entities
CN103475897B (zh) * 2013-09-09 2015-03-11 宁波大学 一种基于失真类型判断的自适应图像质量评价方法
US9405960B2 (en) * 2014-06-17 2016-08-02 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
CN104778446A (zh) * 2015-03-19 2015-07-15 南京邮电大学 一种图像质量评价与人脸识别效率关系模型的构建方法
CN105894047B (zh) * 2016-06-28 2019-08-27 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类***
CN106331492B (zh) * 2016-08-29 2019-04-16 Oppo广东移动通信有限公司 一种图像处理方法及终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070989A1 (en) * 2014-09-10 2016-03-10 VISAGE The Global Pet Recognition Company Inc. System and method for pet face detection

Also Published As

Publication number Publication date
CN108664839B (zh) 2024-01-12
CN108664839A (zh) 2018-10-16
KR20180109658A (ko) 2018-10-08

Similar Documents

Publication Publication Date Title
KR102578209B1 (ko) 영상 처리 방법과 장치
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频***
US10740912B2 (en) Detection of humans in images using depth information
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
WO2016138838A1 (zh) 基于投影极速学习机的唇语识别方法和装置
US8406535B2 (en) Invariant visual scene and object recognition
US8649612B1 (en) Parallelizing cascaded face detection
CN108665421B (zh) 人脸图像高光分量去除装置和方法、存储介质产品
US9734424B2 (en) Sensor data filtering
WO2011042601A1 (en) Face recognition in digital images
CN113221768A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
WO2019201029A1 (zh) 备选框更新方法及装置
Sun et al. Can shape structure features improve model robustness under diverse adversarial settings?
Chetouani Convolutional neural network and saliency selection for blind image quality assessment
KR102369413B1 (ko) 영상 처리 장치 및 방법
US11023781B2 (en) Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机
Lou et al. Smoke root detection from video sequences based on multi-feature fusion
CN113902959A (zh) 图像识别方法、装置、计算机设备和存储介质
Chetouani et al. A novel ranking algorithm of enhanced images using a convolutional neural network and a saliency-based patch selection scheme
CN111783655A (zh) 一种图像处理方法、装置、电子设备和存储介质
KR20200106111A (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant