KR20180074556A - Face detection method and apparatus thereof - Google Patents
Face detection method and apparatus thereof Download PDFInfo
- Publication number
- KR20180074556A KR20180074556A KR1020170098513A KR20170098513A KR20180074556A KR 20180074556 A KR20180074556 A KR 20180074556A KR 1020170098513 A KR1020170098513 A KR 1020170098513A KR 20170098513 A KR20170098513 A KR 20170098513A KR 20180074556 A KR20180074556 A KR 20180074556A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- face
- images
- quality
- blurry
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G06K9/00268—
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
얼굴영상을 처리하는 방법 및 장치가 개시된다.A method and apparatus for processing facial images is disclosed.
통제되지 않은 조건(예를 들면, 조명, 카메라 흔들림 및 움직이는 피사체) 하에서 포착한 영상에는 대량의 저품질 영상(예를 들면, 강한 백라이트 영상, 어두운 영상 및 흐릿한(blurred) 영상 등)이 존재할 수 있다. 고품질 영상을 이용하는 기존의 얼굴 검출 방법은 저품질 영상의 얼굴영상에 대한 인식률이 낮다.Images captured under uncontrolled conditions (e.g., lighting, camera shake, and moving subjects) can have a large number of low quality images (e.g., strong backlight, dark and blurred images, etc.). Conventional face detection methods using high quality images have low recognition rates for face images of low quality images.
기존의 얼굴검출 방법은 유사한 광량 조건 하에서의 고품질 영상에 기초하여 생성된 트레이닝 테스트 데이터베이스를 이용할 경우, 만족스러운 검출효과를 얻을 수 있다. 그러나, 데이터베이스 영상의 조명 조건과 차이가 비교적 큰 저품질 영상 또는 모션 아티팩트(artifacts)가 존재하는 영상, 특히 얼굴영역의 차이가 클수록 얼굴검출 효과가 감소한다. 즉, 기존의 얼굴검출 방법에 따르면, 저광량에서 획득된 저품질 영상 및 흐릿한 영상에 대한 얼굴검출률이 낮다.Existing face detection methods can obtain a satisfactory detection effect when a training test database generated based on high-quality images under similar light amount conditions is used. However, the larger the difference between the low-quality image or the motion image artifacts having a relatively large difference from the illumination condition of the database image, especially the face region, the more the face detection effect decreases. That is, according to the conventional face detection method, the face detection rate is low for low-quality images and blurry images obtained at low light amounts.
기존의 얼굴검출 방법은 영상의 배경 건축물을 얼굴로 잘못 검출하고, 백라이트 영상의 얼굴을 검출하지 못한다. 또한, 기존의 얼굴검출 방법은 저광량 영상 또는 흐릿한 영상에서 얼굴을 검출하기 어렵다.The existing face detection method erroneously detects the background of the image as a face and fails to detect the face of the backlight image. In addition, it is difficult to detect a face from a low intensity image or a blurred image.
기존의 얼굴검출 방법은 전처리(pre-processing)를 통해 조명 등의 외부 조건으로 인해 영상에 발생한 간섭을 제거하거나 감소시킴으로써 얼굴검출률을 향상시킬 수 있다. 그러나, 기존의 얼굴검출 방법은 주로 서로 다른 유형의 저품질 영상에 대해 전처리를 수행하고, 특정 검출방법을 이용하여 입력영상을 결정할 필요가 있다. 이러한 얼굴검출 방법은 동시에 복수의 영상유형을 결정하거나 전처리하기 어렵다.Conventional face detection methods can enhance the face detection rate by eliminating or reducing the interference caused by the external conditions such as illumination through pre-processing. However, existing face detection methods are mainly required to perform preprocessing on different types of low-quality images, and to determine an input image using a specific detection method. Such a face detection method is difficult to determine or preprocess a plurality of image types at the same time.
따라서, 흐릿한 영상 및 저광량 영상을 포함하는 다양한 종류의 저품질 영상을 처리할 수 있는 영상처리 방법 및 장치가 요구된다.Therefore, there is a need for an image processing method and apparatus capable of processing various kinds of low-quality images including blurred images and low-intensity images.
영상처리 장치는, 입력영상이 저품질 영상인지 고품질 영상인지를 결정하도록 구성된 영상분류모듈 및 상기 영상분류모듈이 결정한 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하도록 구성된 영상평가모듈을 포함한다.An image processing apparatus includes an image classification module configured to determine whether an input image is a low-quality image or a high-quality image, and an image evaluation module configured to determine a first predetermined number of highest-clarity images among a plurality of low- .
상기 영상분류모듈은 제1 합성곱 신경망(CNN: Convolutional Neural Network) 분류기 모델을 이용하여 상기 입력영상이 복수의 서로 다른 품질유형 중의 각종 유형으로 분류될 영상분류 확률값을 계산할 수 있고, 상기 입력영상의 영상분류 확률값에 따라 상기 입력영상이 저품질 영상인지 고품질 영상인지를 결정하도록 구성될 수 있다.The image classification module may calculate an image classification probability value that the input image is classified into various types among a plurality of different quality types using a first convolutional neural network (CNN) classifier model, And determine whether the input image is a low-quality image or a high-quality image according to the image classification probability value.
상기 영상평가모듈은 상기 복수의 저품질 영상 중 각각의 저품질 영상에 대해 영상 선명도를 계산하고, 상기 복수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정하도록 구성될 수 있다.Wherein the image evaluation module calculates an image sharpness for each low quality image among the plurality of low quality images and outputs a low quality image having a first predetermined number of high image sharpness from the highest image sharpness among the plurality of low quality images, 1 < / RTI > predetermined number of high-definition images.
영상처리 장치는 제2 합성곱 신경망 분류기 모델을 통해 영상분류모듈이 결정한 고품질 영상 및 영상평가모듈이 결정한 최고선명도 영상에 대해 얼굴검출을 수행하여 결과영상을 출력하도록 구성된 얼굴검출모듈을 더 포함하고, 상기 결과영상은 얼굴영상 또는 얼굴이 포함되지 않은 영상일 수 있다.The image processing apparatus further includes a face detection module configured to perform face detection on the highest-definition image determined by the high-quality image and image evaluation module determined by the image classification module through the second artificial neural network classifier model, and output a resultant image, The resultant image may be a face image or an image not including a face.
영상처리 장치는 상기 얼굴검출모듈이 출력하는 얼굴영상이 흐릿한(blurred) 얼굴영상인지 여부를 결정하도록 구성된 얼굴영상 분류모듈 및 얼굴영상분류모듈이 결정한 복수의 흐릿한 얼굴 영상 중 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하도록 구성된 얼굴영상 평가모듈을 더 포함할 수 있다.The image processing apparatus includes a facial image classifying module configured to determine whether the facial image output from the face detecting module is a blurred facial image and a second predetermined number of blurry facial images determined by the facial image classifying module And a face image evaluation module configured to determine a sharpness face image.
영상처리 장치는, 상기 얼굴영상분류모듈은 제3 합성곱 신경망 분류기 모델을 이용하여 상기 얼굴영상이 선명한 얼굴영상 또는 흐릿한 얼굴영상으로 분류되는 얼굴영상분류 확률값을 계산하고, 상기 얼굴영상분류 확률값에 따라 상기 얼굴영상이 흐릿한 얼굴영상인지 선명한 얼굴영상인지 결정하도록 구성될 수 있다.In the image processing apparatus, the face image classification module may calculate a face image classification probability value that the face image is classified into a clear face image or a blurry face image by using a third artificial neural network classifier model, And determine whether the face image is a blurry face image or a clear face image.
상기 얼굴영상 평가모듈은 상기 복수의 흐릿한 얼굴영상 중 각각의 흐릿한 얼굴영상에 대해 얼굴 선명도를 계산할 수 있고, 상기 복수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정하도록 구성될 수 있다.Wherein the face image evaluation module is capable of calculating a face sharpness for each blurry face image among the plurality of blurry face images and calculating a face sharpness from a highest face sharpness to a second predetermined number of high face sharpness And determine a blurry face image as the second predetermined number of maximum sharpness face images.
얼굴영상이 흐릿한(blurred) 얼굴영상인지 여부를 결정하도록 구성된 얼굴영상 분류모듈 및 상기 얼굴영상 분류모듈이 결정한 복수의 흐릿한 얼굴영상 중 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하도록 구성된 얼굴영상 평가모듈을 포함할 수 있다.A face image classification module configured to determine whether a face image is a blurred face image and a face image evaluation module configured to determine a second predetermined number of the highest sharpness face images among a plurality of blurry face images determined by the face image classification module Modules.
상기 얼굴영상 분류모듈은 합성곱 신경망 분류기 모델을 이용하여 상기 얼굴영상이 선명한 얼굴영상 및 흐릿한 얼굴영상 중 하나로 분류될 얼굴영상분류 확률값을 계산할 수 있고, 상기 얼굴영상의 얼굴영상분류 확률값에 따라 상기 얼굴영상이 선명한 얼굴영상인지, 흐릿한 얼굴영상인지를 결정하도록 구성될 수 있다.The face image classification module may calculate a face image classification probability value to be classified as one of a clear face image and a blurry face image by using the composite neural network classifier model, Whether the image is a clear face image or a blurry face image.
영상처리 방법은, 입력영상이 저품질 영상인지 고품질 영상인지를 결정하는 단계 및 결정한 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하는 단계를 포함할 수 있다.The image processing method may include the steps of determining whether the input image is a low-quality image or a high-quality image, and determining a first predetermined number of the highest clarity images among the plurality of determined low-quality images.
상기 입력영상이 저품질 영상인지 고품질 영상인지를 결정하는 단계는, 제1 합성곱 신경망 분류기 모델을 사용하여 입력영상이 복수의 서로 다른 품질 유형 중의 각종 유형으로 분류될 영상분류 확률값을 계산하는 단계 및 상기 입력영상의 영상분류 확률값에 따라 상기 입력영상이 저품질 영상인지 고품질 영상인지를 결정하는 단계를 포함할 수 있다.Wherein the step of determining whether the input image is a low-quality image or a high-quality image includes calculating an image classification probability value in which an input image is classified into various types among a plurality of different quality types using a first artificial neural network classifier model, And determining whether the input image is a low-quality image or a high-quality image according to an image classification probability value of the input image.
결정한 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하는 단계는, 상기 복수의 저품질 영상 중 각각의 저품질 영상에 대해 영상 선명도를 계산하는 단계 및 상기 복수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정하는 단계를 포함할 수 있다.Wherein the step of determining a first predetermined number of high-definition images of the determined plurality of low-quality images comprises: calculating image sharpness for each low-quality image among the plurality of low-quality images; And determining a first predetermined number of high-definition images having a high image clarity as the first predetermined number of high-definition images.
영상처리 방법은, 제2 합성곱 신경망 분류기 모델을 통해 결정한 고품질 영상 및 결정한 최고선명도 영상에 대하여 얼굴검출을 수행하여 결과영상을 출력하는 단계를 더 포함할 수 있고, 상기 결과영상은 얼굴영상 또는 얼굴이 포함되지 않은 영상일 수 있다.The image processing method may further include performing face detection on the high-quality image and the determined highest-definition image determined through the second artificial neural network classifier model and outputting the resultant image, May not be included.
영상처리 방법은, 상기 얼굴영상이 흐릿한 얼굴영상인지 여부를 결정하는 단계 및 결정된 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는 단계를 더 포함할 수 있다.The image processing method may further include determining whether the facial image is a blurry facial image, and determining a second predetermined number of the highest-clarity facial images from the determined plurality of blurry facial images.
상기 얼굴영상이 흐릿한 얼굴영상인지 여부를 결정하는 단계는, 제3 합성곱 신경망 분류기 모델을 사용하여 상기 얼굴영상이 선명한 얼굴영상 또는 흐릿한 얼굴영상으로 분류되는 얼굴영상분류 확률값을 계산하는 단계 및 상기 얼굴영상분류 확률값에 따라 상기 얼굴영상이 흐릿한 얼굴영상인지 또는 선명한 얼굴영상인지를 결정하는 단계를 포함할 수 있다.Wherein the step of determining whether the face image is a blurry face image includes calculating a face image classification probability value in which the face image is classified as a clear face image or a blurry face image using a third artificial neural network classifier model, And determining whether the face image is a blurry face image or a clear face image according to the image classification probability value.
결정된 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는 단계는, 상기 복수의 흐릿한 얼굴영상 중 각각의 흐릿한 얼굴영상에 대해 얼굴 선명도를 계산하는 단계 및 상기 복수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정하는 단계를 포함할 수 있다.Determining the second predetermined number of highest clarity face images from the determined plurality of obscured face images may include calculating facial sharpness for each blurry face image among the plurality of obscure face images, And determining a blurry face image having a second predetermined number of high face sharpness from the highest face sharpness as the second predetermined number of highest clarity face images.
영상처리 방법은, 얼굴영상이 흐릿한(blurred) 얼굴영상인지 여부를 결정하는 단계 및 결정된 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는 단계를 포함할 수 있다.The image processing method may include determining whether the facial image is a blurred facial image, and determining a second predetermined number of the highest clarity facial images from the determined plurality of blurred facial images.
상기 얼굴영상이 흐릿한 얼굴영상인지 여부를 결정하는 단계는, 합성곱 신경망 분류기 모델을 이용하여 상기 얼굴영상이 선명한 얼굴영상 및 흐릿한 얼굴영상 중 하나로 분류될 얼굴영상분류 확률값을 계산하는 단계 및 상기 얼굴영상의 얼굴영상분류 확률값에 따라 상기 얼굴영상이 선명한 얼굴영상인지, 흐릿한 얼굴영상인지를 결정하는 단계를 포함할 수 있다.The step of determining whether the face image is a blurry face image may include calculating a face image classification probability value to be classified as one of a clear face image and a blurry face image by using the composite neural network classifier model, And determining whether the face image is a clear face image or a blurry face image according to the face image classification probability value of the face image.
동시에 복수의 영상유형을 결정하고 처리할 수 있다.At the same time, multiple image types can be determined and processed.
다양한 종류의 저품질 영상을 처리할 수 있다.It can process various kinds of low quality images.
도 1은 기존 얼굴검출 방법의 백라이트 영상에 대한 검출결과를 도시한다.
도 2는 기존 얼굴검출 방법의 저광량 영상에 대한 검출결과를 도시한다.
도 3은 기존 얼굴검출 방법의 흐릿한 영상에 대한 검출결과를 도시한다.
도 4는 일실시예에 따른 제1 영상처리 장치의 블록도이다.
도 5는 4분류 합성곱 신경망(CNN) 저품질 영상 분류기 모델을 도시한다.
도 6은 일실시예에 따른 영상처리 방법의 흐름도이다.
도 7 일실시예에 따른 제2 영상처리 장치의 블록도이다.
도 8은 2분류 CNN 흐릿한 얼굴영상 분류기 모델을 도시한다.
도 9는 일실시예에 따른 영상처리 방법의 흐름도이다.
도 10은 영상처리 장치의 블록도이다.
도 11은 영상 처리방법의 흐름도이다.FIG. 1 shows detection results of a backlight image of a conventional face detection method.
FIG. 2 shows detection results for a low light amount image of a conventional face detection method.
FIG. 3 shows the detection result of a blurred image of the existing face detection method.
4 is a block diagram of a first image processing apparatus according to an embodiment.
FIG. 5 shows a four-classification articulated neural network (CNN) low-quality image classifier model.
6 is a flowchart of an image processing method according to an embodiment.
7 is a block diagram of a second image processing apparatus according to an embodiment of the present invention.
Figure 8 shows a two-class CNN blurry facial image classifier model.
9 is a flowchart of an image processing method according to an embodiment.
10 is a block diagram of an image processing apparatus.
11 is a flowchart of an image processing method.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, embodiments will be described in detail with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Various modifications may be made to the embodiments described below. It is to be understood that the embodiments described below are not intended to limit the embodiments, but include all modifications, equivalents, and alternatives to them.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used only to illustrate specific embodiments and are not intended to limit the embodiments. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.
도 1 내지 도 3은 기존 얼굴검출 방법의 백라이트 영상 및 저광량 영상에 대한 얼굴검출 결과를 도시한다.1 to 3 show face detection results for a backlight image and a low light amount image of the conventional face detection method.
도 4는 일실시예에 따른 제1 영상처리 장치의 블록도이다.4 is a block diagram of a first image processing apparatus according to an embodiment.
제1 영상처리 장치(100)는 얼굴검출을 수행하는 입력영상을 전처리(pre-processing)한다. 도 4에 도시된 바와 같이, 제1 영상처리 장치(100)는 영상분류모듈(110) 및 영상평가모듈(120)을 포함할 수 있다.The first
영상분류모듈(110)은 입력영상이 저품질 영상인지 고품질 영상인지를 판단(또는 결정)할 수 있다. 구체적으로, 영상분류모듈(110)은 제1 CNN 분류기 모델을 이용하여 입력영상이 복수의 서로 다른 품질 유형 중 어느 하나의 유형으로 분류될 영상분류 확률값을 계산하고, 상기 입력영상이 영상분류 확률값에 따라 저품질 영상인지 고품질 영상인지를 결정할 수 있다. 예를 들면, 제1 CNN 분류기 모델은 CNN 저품질 영상 분류기 모델일 수 있고, 영상분류모듈(110)은 CNN 저품질 영상 분류기 모델을 이용하여 영상분류 확률값에 따라 입력영상이 저품질 영상인지 여부를 결정할 수 있다. 또한, 입력영상이 영상분류모듈(110)에 의해 저품질 영상이라고 판단된 경우, 영상분류모듈(110)은 CNN 저품질 영상 분류기 모델을 통하여 계산한 상기 입력영상이 복수의 서로 다른 품질유형 중 어느 하나의 유형으로 분류될 영상분류 확률값을 영상평가모듈(120)로 전송하여 영상 선명도를 계산할 수 있다.The
CNN 저품질 영상 분류기 모델의 합성곱 신경망(Convolutional Neural Network)은 복수의 망 구조를 이용할 수 있다. 도 5를 함께 참조하면, CNN 저품질 영상 분류기 모델은 좌에서 우로 입력층(input layer), 7개의 은폐층(hidden layer) 및 출력층(output layer)을 포함할 수 있다. 상기 7개 은폐층은 좌에서 우로 순차적으로 제1 합성곱층(제1 필터층), 제1 풀링층(pooling), 제2 합성곱층, 제2 풀링층, 제3 합성곱층, 제3 풀링층 및 완전연결층(Full-connected layer)일 수 있다. 상기 4분류 CNN 저품질 영상 분류기 모델은 저품질 영상 데이터베이스를 통해 모든 합성곱층, 풀링층 및 완전연결층의 파라미터에 대한 트레이닝을 통해 트레이닝 파라미터를 획득할 수 있다.Convolutional Neural Network of CNN low quality image classifier model can use multiple network structure. 5, the CNN low-quality image classifier model may include left to right input layers, seven hidden layers, and an output layer. The seventh concealment layer includes a first composite layer (first filter layer), a first pooling layer, a second composite multi-layer, a second pooling layer, a third composite multi-layer, a third pooling layer, It may be a full-connected layer. The 4-classified CNN low-quality image classifier model can acquire training parameters through training on parameters of all the convolution layer, the pooling layer and the full connection layer through the low-quality image database.
계속해서 도 5를 참조하면, 왼쪽으로부터 첫 번째 도형(즉, 직사각형)은 입력층을 의미하고, 상기 직사각형의 높이(48)와 깊이(48)는 입력층이 48×48개 뉴런으로 구성된 행렬을 의미하고, 상기 행렬은 입력영상의 48×48개 픽셀포인트로 구성된 픽셀포인트 행렬일 수 있다5, the first figure (i.e., the rectangle) from the left represents the input layer, and the
도 5에서 왼쪽으로부터 두 번째 도형은 높이(44), 깊이(44) 및 너비(32)인 직육면체이고, 상기 직육면체는 입력영상이 제1 합성곱층을 통과한 후 합성곱을 통해 획득한 것을 제1 합성곱 결과로 하는 32개의 특징도(feature map)를 의미하고, 상기 32개의 특징도에서 각각의 특징도는 44×44개 픽셀포인트를 포함할 수 있다.5, the second figure from the left is a rectangular parallelepiped having a
도 5에서 왼쪽으로부터 세 번째 도형은 높이(22), 깊이(22) 및 너비(32)인 직육면체이고, 상기 직육면체는 제1 합성곱의 결과인 32개 특징도가 제1 풀링층을 통과한 후, 획득한 것을 제1 풀링 결과로 하는 32개의 특징도를 의미하고, 상기 32개 특징도에서 각각의 특징도는 22×22개 픽셀포인트를 포함할 수 있다.The third figure from the left in FIG. 5 is a rectangular parallelepiped having a
제2 합성곱층 및 제3 합성곱층의 합성곱 과정은 상술한 제1 합성곱층의 합성곱 과정과 유사하고, 제2 풀링층과 제3 풀링층의 풀링과정은 상술한 제1 풀링층의 풀링과정과 유사하다.The second product multiply layer and the third product multiply layer are similar to the product multiply process of the first composite multiply layer and the pooling process of the second pooling layer and the third pooling layer is similar to the pooling process of the first pooling layer .
도 5에서 왼쪽으로부터 여덟 번째 도형(즉, 직사각형)은 완전연결층을 의미하고, 완전연결층 하측의 64는 상기 층이 64개 뉴런을 포함하는 것을 의미한다.In FIG. 5, the eighth figure from the left (i.e., the rectangle) means the complete connecting layer, and 64 below the complete connecting layer means that the layer contains 64 neurons.
도 5에서 왼쪽으로부터 아홉 번째(즉, 오른쪽으로부터 첫 번째) 도형은 직사각형이고 출력층을 의미하며, 출력층 하측의 4는 상기 출력층이 4개의 뉴런을 포함하는 것을 의미한다. 완전연결층 중 각 뉴런은 모두 독립적으로 제3 풀링층의 각 뉴런과 연결될 수 있다. 출력층의 각 뉴런은 모두 독립적으로 완전연결층의 각 뉴런과 연결될 수 있다.In Fig. 5, the ninth figure from the left (i.e., the first figure from the right) is a rectangle and means an output layer, and 4 on the output layer means that the output layer includes four neurons. Each neuron in the complete connecting layer can be independently connected to each neuron in the third pooling layer. Each neuron in the output layer can be independently connected to each neuron in the fully connected layer.
CNN 저품질 영상 분류기 모델이 4분류 CNN 저품질 영상 분류기 모델인 경우, 입력영상은 4분류 CNN 저품질 영상 분류기 모델에 의해 서로 다른 4가지 품질의 유형(즉, 백라이트 영상유형, 저광량 영상유형, 흐릿한 영상유형과 선명한 영상유형)으로 분류될 수 있다. 영상분류모듈(110)은 입력영상이 선명한 영상유형으로 분류될 영상분류 확률값이 백라이트 영상유형, 저광량 영상유형 또는 흐릿한 영상유형으로 분류될 영상분류 확률값보다 클 경우, 현재 입력영상이 고품질 영상이라고 판단할 수 있다.When the CNN low-quality video classifier model is a four-class CNN low-quality video classifier model, the input video is classified into four types of quality (ie, backlight video type, low-light video type, blurry video type And a clear image type). The
다른 일실시예에 있어서, 입력영상이 백라이트 영상유형, 저광량 영상유형 및 흐릿한 영상유형 중 적어도 한가지 유형으로 분류될 영상분류 확률값이 선명한 영상유형으로 분류될 영상분류 확률값보다 클 경우, 영상분류모듈(110)은 현재 입력영상이 저품질 영상이라고 판단할 수 있다. 상기 영상분류 확률값은 영상평가모듈(120)에 미리 저장되어 있을 수 있다.In another embodiment, if the image classification probability value to be classified into at least one of the backlight image type, the low light amount image type, and the blurry image type is larger than the image classification probability value to be classified into the clear image type, 110) can determine that the current input image is a low-quality image. The image classification probability value may be stored in the
영상분류모듈(110)은 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하는데 이용될 수 있다. 구체적으로, 영상평가모듈(120)은 복수의 저품질 영상 중 각각의 저품질 영상의 영상 선명도를 계산할 수 있고, 상기 복수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정할 수 있다. 상기 제1 미리 정해진 개수는 적어도 하나 이상일 수 있고, 상기 복수의 저품질 영상의 개수보다 작거나 같을 수 있다.The
영상분류모듈(110)이 입력영상을 저품질 영상이라고 판단할 경우, 영상평가모듈(120)은 영상분류모듈(110)로부터 상기 입력영상들에 대한 영상분류 확률값을 수신할 수 있고, 상기 입력영상의 영상분류 확률값의 표준편차의 역수를 계산하여 상기 입력영상의 영상 선명도로 설정하거나, 상기 입력영상이 선명한 영상유형으로 분류될 영상분류 확률값을 상기 입력영상의 영상 선명도로 설정할 수 있다.When the
예를 들면, CNN 저품질 분류기 모델이 4분류 CNN 저품질 영상 분류기 모델이고, 입력영상이 저품질 영상이라고 판단될 경우, 영상평가모듈(120)은 영상분류모듈(110)로부터 상기 입력영상이 각각 4가지 서로 다른 품질유형(즉, 백라이트 영상유형, 저광량 영상유형, 흐릿한 영상유형 및 선명한 영상유형)으로 분류될 영상분류 확률값(즉, 상기 입력영상이 백라이트 영상, 저광량 영상, 흐릿한 영상유형 및 선명한 영상유형으로 분류될 각각의 확률값)을 수신할 수 있다. 영상평가모듈(120)은 상기 4개 영상분류 확률값의 표준편차의 역수를 계산하여 상기 입력영상의 영상 선명도로 설정하거나, 상기 입력영상이 선명한 영상유형으로 분류될 영상분류 확률값을 상기 입력영상의 영상 선명도로 설정할 수 있다.For example, if the CNN low-quality classifier model is a four-class CNN low-quality image classifier model and the input image is determined to be a low-quality image, the
예를 들어, 상기 입력영상이 백라이트 영상유형으로 분류될 확률값이 
또한, 영상평가모듈(120)은 상기 입력영상(즉, 저품질 영상) 및 상기 입력영상에 대해 계산한 영상 선명도를 저장할 수 있다. 영상평가모듈(120)이 미리 정해진 개수의 저품질 영상을 저장한 경우, 영상평가모듈(120)은 상기 미리 정해진 개수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 판단할 수 있다. 상기 미리 정해진 개수는 상기 제1 미리 정해진 개수보다 크거나 같을 수 있다.In addition, the
예를 들면, 10개의 저품질 영상을 저장한 경우, 영상평가모듈(120)은 상기 10개 저품질 영상 중 가장 높은 영상 선명도부터 제3 높은 영상 선명도를 가진 3개의 저품질 영상을 3개의 최고선명도 영상으로 판단할 수 있다.For example, when ten low-quality images are stored, the
상술한 것과 같이, 제1 영상처리 장치(100)를 이용하여 입력영상을 처리함으로써, 저품질 영상에서 얼굴검출 시의 오검출, 누락검출률을 감소시킬 수 있다.As described above, by processing the input image using the first
도 6은 일실시예에 따른, 영상 처리방법의 흐름도이다.6 is a flowchart of an image processing method according to an embodiment.
영상분류모듈(110)은, 입력영상이 저품질 영상인지 고품질 영상인지를 판단한다(S100).The
구체적으로, 영상분류모듈(110)은 제1 CNN 분류기 모델을 이용하여 입력영상이 복수의 서로 다른 품질유형 중 어느 하나의 유형으로 분류될 영상분류 확률값을 계산하고, 상기 영상분류 확률값에 따라 상기 입력영상이 저품질 영상인지 고품질 영상인지를 판단할 수 있다.In detail, the
일례에 있어서, 제1 CNN 분류기 모델은 CNN 저품질 영상분류기 모델일 수 있다. 영상분류모듈(110)은 CNN 저품질 영상 분류기 모델을 이용하여 입력영상을 분류한 후, 영상분류 확률값에 따라 입력영상이 저품질 영상인지 여부를 판단할 수 있다. 또한, 입력영상이 저품질 영상으로 판단될 경우, 영상분류모듈(110)은 CNN 저품질 영상 분류기 모델을 통해 계산한 상기 입력영상이 복수의 서로 다른 품질유형 중 각종 유형으로 분류될 영상분류 확률값을 상기 입력영상의 영상 선명도 계산 시 이용할 수 있다.In one example, the first CNN classifier model may be a CNN low-quality image classifier model. The
CNN 저품질 영상 분류기 모델이 4분류 CNN 저품질 영상분류기 모델일 경우, 입력영상은 4분류 CNN 저품질 영상 분류기 모델에 의해 4가지(즉, 백라이트 영상유형, 저광량 영상유형, 흐릿한 영상유형 및 선명한 영상유형) 서로 다른 품질 영상유형으로 분류될 수 있다. 4분류 CNN 저품질 영상 분류기 모델을 통하여 계산한 영상분류 확률값이, 입력영상이 백라이트 영상분류, 저광량 영상분류 및 흐릿한 영상분류 중 어느 하나의 유형으로 분류될 영상분류 확률값보다 클 경우, 영상분류모듈(110)은 현재 입력영상을 고품질 영상이라고 판단할 수 있다.When the CNN low-quality video classifier model is a four-class CNN low-quality video classifier model, the input video is divided into four categories (ie, backlight video type, low-light video type, blurry video type, and crisp video type) They can be classified into different quality image types. 4 classification If the image classification probability value calculated through the low-quality image classifier model is larger than the image classification probability value to be classified as any one of the backlight image classification, the low-light image classification, and the blurry image classification, 110) can determine that the current input image is a high-quality image.
4분류 CNN 저품질 영상 분류기 모델을 이용하여 계산한 입력영상의 백라이트 영상분류, 저광량 영상분류 및 흐릿한 영상분류 중 적어도 한가지 유형으로 분류될 영상분류 확률값이 선명한 영상분류로 분류될 영상분류 확률값보다 클 경우, 영상분류모듈(110)은 현재의 입력영상이 저품질 영상이라고 판단할 수 있다. 저품질 영상 및 상기 저품질 영상이 상기 4가지 서로 다른 품질 영상유형 중 각종 유형으로 분류될 영상분류 확률값은 영상분류모듈(110)이 상기 저품질 영상의 선명도를 결정하는데 이용될 수 있다.4 classification When the image classification probability value to be classified into at least one type of the backlight image classification, the low light amount image classification, and the blurry image classification of the input image calculated using the low-quality image classifier model is larger than the image classification probability value to be classified into the clear image classification , The
영상분류모듈(120)은 상기 입력영상이 고품질 영상이라고 판단되는 경우, 상기 입력영상을 출력할 수 있다(S110).If it is determined that the input image is a high-quality image, the
영상분류모듈(120)은 저품질 영상으로 판단된 복수의 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하고, 결정된 최고선명도 영상들을 출력할 수 있다(S120).The
구체적으로, 영상분류모듈(120)은 상기 복수의 저품질 영상 중 각각의 저품질 영상의 영상 선명도를 계산하고, 상기 복수의 저품질 영상을 영상 선명도에 따라 내림차순(또는, 오름차순)으로 정렬할 수 있으며, 상기 복수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정할 수 있다.In detail, the
영상평가모듈(120)은 상기 각각의 저품질 영상의 영상분류 확률값의 표준편차의 역수를 상기 각각의 저품질 영상의 영상 선명도로 설정하거나, 상기 각각의 저품질 영상이 상기 복수의 서로 다른 품질유형 중 선명한 영상유형으로 분류될 영상분류 확률값을 상기 각각의 저품질 영상의 영상 선명도로 설정할 수 있다. 구체적으로, 영상평가모듈(120)은 입력영상이 저품질 영상이라고 판단될 경우, 상기 입력영상이 각종 품질유형으로 분류될 영상분류 확률값을 이용하여 상기 입력영상(즉, 저품질 영상)의 영상분류 확률값의 표준편차의 역수를 계산하여 상기 입력영상의 영상 선명도로 설정하거나, 상기 입력영상이 상기 복수의 서로 다른 품질유형 중 선명한 영상유형으로 분류될 영상분류 확률값을 상기 입력영상의 영상 선명도로 설정할 수 있다.The
예를 들면, CNN 저품질 분류기 모델이 4분류 CNN 저품질 영상 분류기 모델이고, 상기 입력영상이 저품질 영상이라고 판단될 경우, 영상분류모듈(110)은 상기 입력영상이 4가지 서로 다른 품질유형(즉, 백라이트 영상유형, 저광량 영상유형, 흐릿한 영상유형 및 선명한 영상유형) 중 각종 유형으로 분류될 영상분류 확률값(즉, 상기 입력영상이 백라이트 영상유형, 저광량 영상유형, 흐릿한 영상유형 및 선명한 영상유형 중 어느 하나로 분류될 확률값)의 표준편차의 역수를 이용하여 상기 입력영상의 영상 선명도로 설정하거나, 상기 출력영상이 선명한 영상분류로 분류될 확률값을 상기 입력영상의 영상 선명도로 설정하고, 상기 입력영상(즉, 저품질 영상) 및 상기 입력영상에 대해 계산한 영상 선명도를 저장할 수 있다. 영상분류모듈(110)은 미리 정해진 개수의 저품질 영상을 저장한 경우, 상기 미리 정해진 개수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정할 수 있다.For example, if the CNN low-quality classifier model is a four-class CNN low-quality image classifier model and the input image is determined to be a low-quality image, the
도 7은 다른 일례에 따른, IQA(Image Quality Assessment)에 기초한 제2 영상처리 장치의 블록도이다.7 is a block diagram of a second image processing apparatus based on IQA (Image Quality Assessment) according to another example.
제2 영상처리 장치(200)는 얼굴검출을 수행하는 입력영상에 대한 전처리에 이용될 수 있고, 상기 입력영상은 얼굴검출장치가 검출할 영상에 대한 얼굴검출 수행 시 출력한 얼굴을 포함한 영상(이하, "얼굴영상"으로 약칭됨)일 수 있다. 구체적으로, 얼굴검출장치는 검출할 영상에 대한 얼굴검출 수행을 통해 결과영상을 획득할 수 있다. 상기 결과영상은 얼굴검출을 수행 시, 검출할 영상 중 얼굴이 위치한 영역에서 생성된 영상이거나, 얼굴을 검출할 영상 중 얼굴 위치에 대하여 포지셔닝 한 후의 영상이거나, 또는 얼굴을 검출하지 못한 영상일 수 있다. 상기 생성된 영상 또는 포지셔닝 영상은 모두 얼굴영상으로 지칭될 수 있고, 얼굴을 검출하지 못한 영상은 얼굴미검출 영상으로 지칭될 수 있다.The second
도 7에 도시된 것과 같이, 제2 영상처리 장치(200)는 얼굴영상 분류모듈(210) 및 얼굴영상 평가모듈(220)을 포함할 수 있다.As shown in FIG. 7, the second
얼굴영상 분류모듈(210)은 얼굴영상이 흐릿한 얼굴영상인지 여부를 판단하는데 이용할 수 있다. 구체적으로, 얼굴영상 분류모듈(210)은 제2 CNN 분류기 모델을 이용하여 얼굴영상이 선명한 얼굴영상유형과 흐릿한 얼굴영상유형 중 어느 하나로 분류될 얼굴영상분류 확률값을 계산할 수 있고, 상기 얼굴영상분류 확률값에 따라 얼굴영상이 흐릿한 얼굴영상인지 선명한 얼굴영상인지를 판단할 수 있다.The face
예를 들면, 제2 CNN 분류기 모델은 CNN 흐릿한 얼굴영상 분류기 모델일 수 있고, 얼굴영상 분류모듈(210)은 CNN 흐릿한 얼굴영상분류기 모델을 이용하여 얼굴영상을 분류하고, 영상분류 확률값에 따라 얼굴영상이 흐릿한 얼굴영상인지 여부를 판단할 수 있다. 또한, 얼굴영상이 흐릿한 얼굴영상으로 판단될 경우, 얼굴영상 분류모듈(210)은 CNN 흐릿한 얼굴영상 분류기 모델을 이용하여 계산한 얼굴영상이 선명한 얼굴영상유형과 흐릿한 얼굴영상유형 중 어느 하나로 분류될 영상분류 확률값을 얼굴영상 평가 모듈(220)로 전송할 수 있다.For example, the second CNN classifier model may be a CNN blurry facial image classifier model, the facial
CNN 흐릿한 얼굴영상 분류기 모델은 복수의 망 구조를 이용할 수 있다.The CNN blurry face image classifier model can use multiple network structures.
도 8을 함께 참조하면, CNN 흐릿한 얼굴영상 분류기 모델은 좌에서 우로 입력층, 7개 은폐층 및 출력층을 포함할 수 있다. 상기 7개 은폐층은 좌에서 우로 순서적으로 제1 합성곱층(제1 필터층), 제1 풀링층, 제2 합성곱층, 제2 풀링층, 제3 합성곱층, 제3 풀링층 및 완전연결층이다. 또한, 상기 2분류 CNN 흐릿한 얼굴영상 분류기 모델은 흐릿한 얼굴영상 데이터베이스를 이용하여 모든 합성곱층, 풀링층 및 완전연결층의 파라미터에 대한 트레이닝을 통해 트레이닝 파라미터를 획득할 수 있다.Referring to FIG. 8, the CNN blurry facial image classifier model may include left to right input layers, seven hidden layers, and an output layer. The seventh concealment layer includes a first composite layer (first filter layer), a first pooling layer, a second composite multi-layer, a second pooling layer, a third composite multi-layer, a third pooling layer, to be. In addition, the 2-classified CNN blurry facial image classifier model can acquire training parameters through training on parameters of all the convolutional, pooled, and fully connected layers using a blurry facial image database.
도 8에서 왼쪽으로부터 첫 번째 도형(즉, 직사각형)은 입력층을 의미하고, 상기 직사각형의 높이(48) 및 깊이(48)는 입력층이 48×48개 뉴런으로 구성된 행렬을 의미하고, 상기 행렬은 입력영상의 48×48개 픽셀포인트로 구성된 픽셀포인트 행렬에 대응할 수 있다.8, the first figure (i.e., the rectangle) from the left represents the input layer, and the
도 8에서 왼쪽으로부터 두 번째 도형은 높이(44), 깊이(44) 및 너비(32)인 직육면체이고, 상기 직육면체는 입력영상이 제1 합성곱층을 통과한 후, 합성곱을 통해 획득한 것을 제1 합성곱 결과로 하는 32개 특징도를 표시하고, 제1 합성곱 결과로 하는 32개 특징도에서 각 특징도는 44×44개 픽셀포인트를 포함할 수 있다.The second figure from the left in FIG. 8 is a rectangular parallelepiped having a
도 8에서 왼쪽으로부터 세 번째 도형은 높이(22), 깊이(22) 및 너비(32)인 직육면체이고, 상기 직육면체는 제1 합성곱 결과로 하는 32개 특징도가 제1 풀링층을 통과한 후, 획득한 것을 제1 풀링 결과로 하는 32개 특징도를 의미하고, 제1 풀링결과로 하는 32개 특징도에서 각 특징도는 22×22개 픽셀포인트를 포함할 수 있다.The third figure from the left in FIG. 8 is a rectangular parallelepiped having a
제2 합성곱층과 제3 합성곱층 중 각 층의 합성곱 과정 및 상술한 제1 합성곱층의 합성곱 과정은 유사하고, 제2 풀링층과 제3 풀링층 중 각 층의 풀링과정과 상술한 제1 풀링층의 풀링과정은 유사하므로 더 이상 반복하여 설명하지 않는다.The composite product of the layers of the second and third composite multipliers is similar to the composite product of the first and the third composite multipliers, and the pooling process of each layer of the second and third pooling layers, Since the pooling process of one pulling layer is similar, it will not be described repeatedly.
도 8에서 왼쪽으로부터 여덟 번째 도형(즉, 직사각형)은 완전연결층을 의미하고, 완전연결층 아래측의 64는 상기 완전연결층이 64개 뉴런을 포함함을 의미한다.In FIG. 8, the eighth figure (i.e., a rectangle) from the left indicates a complete connecting layer, and 64 on the lower side of the complete connecting layer means that the complete connecting layer includes 64 neurons.
도 8에서 왼쪽으로부터 아홉 번째(즉, 오른쪽으로부터 첫 번째) 도형은 직사각형이고 출력층을 의미하며, 출력층 아래측의 2는 상기 출력층이 2개의 뉴런을 포함함을 의미한다. 완전연결층의 각 뉴런은 모두 독립적으로 제3 풀링층의 각 뉴런과 연결될 수 있다. 출력층의 각 뉴런은 모두 독립적으로 완전연결층의 각 뉴런과 연결될 수 있다.In Fig. 8, the ninth figure from the left (i.e., the first figure from the right) is a rectangle and means an output layer, and 2 on the lower side of the output layer means that the output layer includes two neurons. Each neuron of the fully connected layer can be independently connected to each neuron of the third pooling layer. Each neuron in the output layer can be independently connected to each neuron in the fully connected layer.
일례에 있어서, CNN 저품질 영상 분류기 모델이 2분류 CNN 흐릿한 얼굴영상 분류기 모델일 경우, 입력영상은 2분류 CNN 흐릿한 얼굴영상 분류기 모델에 의하여 선명한 얼굴영상유형과 흐릿한 얼굴영상유형의 2가지 영상유형으로 분류될 수 있다. 2분류 CNN 흐릿한 얼굴영상 분류기 모델을 이용하여 계산한 얼굴영상이 선명한 얼굴영상유형으로 분류될 얼굴영상분류 확률값이 상기 얼굴영상이 흐릿한 얼굴영상유형으로 분류될 얼굴영상분류 확률값보다 클 경우, 얼굴영상분류모듈(210)은 상기 얼굴영상이 흐리지 않은 얼굴영상이라고 판단할 수 있다.In one example, when the CNN low-quality image classifier model is a two-class CNN hazy face image classifier model, the input image is classified into two image types of crisp face image type and blurry face image type by the two-class CNN blurry face image classifier model . 2 Classification CNN When the facial image classification probability value, which is calculated by using the blurry facial image classifier model, is classified into a clear facial image type, if the facial image is larger than the facial image classification probability value to be classified as a blurred facial image type, The
다른 일례에 있어서, 2분류 CNN 흐릿한 얼굴영상분류기 모델을 이용하여 계산한 얼굴영상이 흐릿한 얼굴영상유형으로 분류될 얼굴영상분류 확률값이 상기 얼굴영상이 선명한 얼굴영상유형으로 분류될 얼굴영상분류 확률값보다 작을 경우, 얼굴영상분류모듈(210)은 상기 얼굴영상이 흐릿한 얼굴영상이라고 판단하고, 상기 얼굴영상이 선명한 얼굴영상유형 및 흐릿한 얼굴영상유형 중 하나의 유형으로 분류될 영상분류 확률값을 얼굴영상평가모듈(220)로 전송하여 영상 선명도를 계산에 이용하도록 할 수 있다.In another example, if the facial image classification probability value to be classified as a blurred facial image type by the facial image calculated using the 2-class CNN blurry facial image classifier model is smaller than the facial image classification probability value that the facial image is classified as a clear facial image type The face
얼굴영상 평가모듈(220)은 얼굴영상 분류모듈(210)이 판단한 복수의 흐릿한 얼굴영상 중 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는데 이용될 수 있다. 구체적으로, 얼굴영상 평가모듈(220)은 상기 복수의 흐릿한 얼굴영상 중 각 흐릿한 얼굴영상의 얼굴 선명도를 계산할 수 있고, 상기 복수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정할 수 있다. 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상은 얼굴검출 장치에 입력되어 얼굴검출 수행 시 이용될 수 있고, 상기 제2 미리 정해진 개수는 적어도 하나 이상일 수 있고, 상기 복수의 흐릿한 얼굴영상의 개수보다 작거나 같을 수 있다.The face
얼굴영상 분류모듈(210)이 얼굴영상을 흐릿한 얼굴영상이라고 판단할 경우, 얼굴영상 평가모듈(220)은 얼굴영상분류모듈(210)로부터 상기 얼굴영상에 대한 영상분류 확률값을 수신하고, 상기 얼굴영상의 2개의 영상분류 확률값의 표준편차의 역수를 계산하여 상기 얼굴영상의 얼굴 선명도로 설정하거나, 상기 얼굴영상이 선명한 얼굴영상유형으로 분류될 확률값을 상기 얼굴영상의 얼굴 선명도를 설정할 수 있다. 또한, 얼굴영상 평가모듈(220)은 상기 얼굴영상(즉, 흐릿한 얼굴영상) 및 상기 입력영상에 대해 계산한 얼굴 선명도를 저장할 수 있다. 미리 정해진 개수의 흐릿한 얼굴영상을 저장할 경우, 얼굴영상 평가모듈(220)은 상기 미리 정해진 개수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정할 수 있고, 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상은 얼굴 식별장치가 얼굴검출을 수행할 때 이용될 수 있다.If the face
도 9는 일실시예에 따른 제2 영상처리 장치에 의해 수행되는 영상처리 방법의 흐름도를 도시한다.FIG. 9 shows a flowchart of an image processing method performed by a second image processing apparatus according to an embodiment.
얼굴영상 분류모듈(220)은 입력영상이 흐릿한 얼굴영상인지 선명한 얼굴영상인지 여부를 판단한다(S200).The face
상기 입력영상은 얼굴검출 장치가 영상에 대해 얼굴검출을 수행할 때 출력한 영상일 수 있다. 구체적으로, 얼굴검출 장치는 영상에 대하여 얼굴검출을 수행할 때, 결과영상을 획득할 수 있고, 상기 결과영상은 얼굴검출 장치가 영상에 대해 얼굴검출을 수행할 때, 검출할 영상 중 얼굴이 위치한 영역에서 생성된 영상이거나, 얼굴을 검출할 영상 중 얼굴 위치에 대하여 포지셔닝 한 후의 영상이거나, 얼굴을 검출하지 못한 영상일 수 있다. 상기 생성된 영상 및 포지셔닝 영상은 모두 얼굴영상으로 지칭될 수 있고, 얼굴을 검출하지 못한 영상은 얼굴미검출 영상으로 지칭될 수 있다.The input image may be an image output when the face detection apparatus performs face detection on the image. Specifically, when performing face detection on an image, the face detection apparatus can acquire a resultant image, and when the face detection apparatus performs face detection on the resultant image, An image generated in the region, an image after the face is positioned with respect to the face to be detected, or a face that can not be detected. The generated image and positioning image may all be referred to as a face image, and an image not detecting a face may be referred to as a face non-detection image.
얼굴영상 분류모듈(220)은 제2 CNN 분류기 모델을 이용하여 얼굴영상이 선명한 얼굴영상유형과 흐릿한 얼굴영상유형 중 어느 하나의 유형으로 분류될 얼굴영상분류 확률값을 계산할 수 있고, 상기 얼굴영상분류 확률값에 따라 얼굴영상이 흐릿한 얼굴영상인지 선명한 얼굴영상인지를 판단할 수 있다.The face
일례에 있어서, 상기 제2 CNN 분류기 모델은 CNN 흐릿한 얼굴영상 분류기 모델일 수 있다. 얼굴영상 분류모듈(220)은 CNN 흐릿한 얼굴영상분류기 모델을 이용하여 얼굴영상에 대하여 분류 및 식별을 수행하고, 영상분류 확률값에 따라 그 영상이 흐릿한 얼굴영상인지 여부를 판단할 수 있다. 또한, 그 영상이 흐릿한 얼굴영상으로 판단될 경우, CNN 흐릿한 얼굴영상 분류기 모델을 이용하여 계산한 얼굴영상이 선명한 얼굴영상유형과 흐릿한 얼굴영상유형 중 어느 하나의 유형으로 분류될 영상분류 확률값은 얼굴 선명도를 계산하는데 이용될 수 있다.In one example, the second CNN classifier model may be a CNN blurry facial image classifier model. The facial
얼굴영상 분류모듈(220)은 CNN 저품질 영상분류기 모델이 2분류 CNN 흐릿한 얼굴영상 분류기 모델인 경우, 상기 2분류 CNN 흐릿한 얼굴영상 분류기 모델에 의해 입력영상을 선명한 얼굴영상유형 및 흐릿한 얼굴영상유형 중 하나로 분류할 수 있다. 2분류 CNN 흐릿한 얼굴영상 분류기 모델을 이용하여 계산한 얼굴영상이, 선명한 얼굴영상유형으로 분류될 얼굴영상분류 확률값이 흐릿한 얼굴영상유형으로 분류될 얼굴영상분류 확률값보다 클 경우, 얼굴영상 분류모듈(220)은 상기 얼굴영상이 선명한 얼굴영상이라고 판단할 수 있다. 상기 선명한 얼굴영상은 얼굴 식별장치에 입력되어 얼굴검출에 이용될 수 있다.If the CNN low-quality image classifier model is a two-class CNN blurry facial image classifier model, the facial
다른 일례에 있어서, 2분류 CNN 흐릿한 얼굴영상 분류기 모델을 통해 계산한 얼굴영상이 흐릿한 얼굴영상유형으로 분류될 얼굴영상분류 확률값이 선명한 얼굴영상유형으로 분류될 얼굴영상분류 확률값보다 작지 않을 때, 얼굴영상 분류모듈(220)은 상기 얼굴영상이 흐릿한 얼굴영상이라고 판단할 수 있다. 상기 얼굴영상(즉, 흐릿한 얼굴영상)이 선명한 얼굴영상유형과 흐릿한 얼굴영상유형 중 어느 하나로 분류될 얼굴영상분류 확률값은 상기 얼굴영상의 얼굴 선명도 판단에 이용될 수 있다.In another example, when the face image classification probability value to be classified as a blurry face image type calculated by the 2-class CNN blurry face image classifier model is not smaller than the face image classification probability value to be classified as a clear face image type, The
얼굴영상 분류모듈(220)은 상기 얼굴영상이 선명한 얼굴영상이라고 판단되는 경우, 상기 얼굴영상을 출력할 수 있다(S210).If the facial
얼굴영상 평가모듈(220)은, 복수의 흐릿한 얼굴영상 중 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하고, 결정된 최고선명도 얼굴영상을 출력할 수 있다(S220).The face
구체적으로, 얼굴영상 평가모듈(220)은 상기 복수의 흐릿한 얼굴영상 중 각각의 흐릿한 얼굴영상의 얼굴 선명도를 계산할 수 있고, 상기 복수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정할 수 있다. 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상은 얼굴검출 시 이용될 수 있다. Specifically, the facial
구체적으로, 얼굴영상 평가모듈(220)이 상기 얼굴영상을 흐릿한 얼굴영상이라고 판단할 경우, 얼굴영상 평가모듈(220)은 상기 얼굴영상의 2개 영상분류 확률값(즉, 상기 얼굴영상이 선명한 얼굴영상유형으로 분류될 확률값 및 흐릿한 얼굴영상유형으로 분류될 확률값)을 이용하여 상기 2개 영상분류 확률값의 표준편차의 역수를 계산하여 상기 얼굴영상의 얼굴 선명도로 설정하거나, 상기 얼굴영상이 선명한 얼굴영상유형으로 분류될 얼굴영상분류 확률값을 상기 얼굴영상의 얼굴 선명도로 설정할 수 있으며, 상기 얼굴영상(즉, 흐릿한 얼굴영상) 및 상기 입력영상에 대해 계산한 얼굴 선명도를 저장할 수 있다. 미리 정해진 개수의 흐릿한 얼굴영상을 저장할 경우, 얼굴영상 평가모듈(220)은 상기 미리 정해진 개수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정할 수 있다. 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상은 얼굴검출 시 이용될 수 있다. Specifically, when the face
도 10은 다른 일실시예에 따른 IQA에 기초한 영상처리 장치의 블록도를 도시한다.10 shows a block diagram of an image processing apparatus based on IQA according to another embodiment.
도 10에 도시된 바와 같이, 영상처리 장치(1000)는 제1 영상처리 장치(100), 얼굴검출모듈(300) 및 제2 영상처리 장치(200)를 포함할 수 있다.As shown in FIG. 10, the
구체적으로, 제1 영상처리 장치(100)는 복수의 입력영상 중 각각의 입력영상이 저품질 영상인지 고품질 영상인지를 판단할 수 있고, 판단한 복수의 저품질 영상에서 제1 미리 정해진 개수의 최고선명도 영상을 결정할 수 있다. 최고선명도 영상을 결정하는 방법에 대해서는 위에서 도 4를 참조하여 자세히 설명하였으므로 생략한다.Specifically, the first
얼굴검출모듈(300)은 제1 영상처리 장치(100)가 결정한 고품질 영상과 최고선명도 영상에 대해 얼굴검출을 수행하여 결과영상을 획득할 수 있다. 상기 결과영상은 얼굴검출모듈(300)이 영상에 대해 얼굴검출을 수행할 경우, 검출할 영상 중 얼굴이 위치한 영역에서 생성된 영상이거나, 얼굴을 검출할 영상 중 얼굴 위치에 대하여 포지셔닝 한 후의 영상이거나, 또는 얼굴을 검출하지 못한 영상일 수 있다. 상기 생성된 얼굴영상과 포지셔닝 영상은 모두 얼굴영상으로 지칭될 수 있고, 얼굴을 검출하지 못한 영상은 얼굴미검출 영상으로 지칭될 수 있다. 상기 결과 영상이 상기 얼굴영상인 경우, 결과영상은 제2 영상처리 장치(200)로 입력될 수 있고, 결과영상이 상기 얼굴미검출 영상인 경우, 결과영상은 제2 영상처리 장치(200)에 입력되지 않을 수 있다. 얼굴검출모듈(300)은 복수의 얼굴검출방법(예를 들어, Viola-Jones얼굴검출방법, 국부 이진패턴(LBP) 얼굴검출방법, 복수 국부 이진패턴(MB-LBP) 얼굴검출방법 및 CNN 얼굴검출방법 등)을 이용하여 얼굴검출을 수행할 수 있다.The
얼굴검출모듈(300)은 다단계 CNN 얼굴검출모델에 기초한 CNN 얼굴검출기를 이용하여 얼굴검출을 수행할 수 있다. 저장모델의 저장공간을 줄이고, 트레이닝 파라미터의 계산시간을 감소시키기 위해 상기 다단계 CNN 얼굴검출모델의 1단계 합성곱 신경망 분류기 모델, 4분류 CNN 저품질 영상분류기 모델 및 2분류 CNN 흐릿한 얼굴 분류기 모델 중 적어도 두 개의 합성곱 신경망 모델은 미리 정해진 개수의 합성곱층과 풀링층의 파라미터를 공유할 수 있다. 예를 들면, 상기 다단계 CNN 얼굴검출모델의 1단계 합성곱 신경망 모델은 4분류 CNN 저품질 영상분류기 모델 및 2분류 CNN 흐릿한 얼굴 분류기 모델과 함께 제1 합성곱층, 제2 합성곱층, 제1 풀링층 및 제2 풀링층의 트레이닝 파라미터를 공유할 수 있다. 상기 4분류 CNN 저품질 영상분류기 모델은 저품질 영상 얼굴영상 데이터베이스를 이용하여 제3 합성곱층, 제3 풀링층 및 완전연결층의 파라미터에 대한 트레이닝을 통해 트레이닝 파라미터를 획득할 수 있다. 상기 2분류 CNN 흐릿한 얼굴영상분류기 모델은 흐릿한 얼굴영상 데이터베이스를 이용하여 제3 합성곱층, 제3 풀링층 및 완전연결층의 파라미터에 대한 트레이닝을 통해 트레이닝 파라미터를 획득할 수 있다.The
제2 영상처리 장치(200)는 얼굴검출모듈(300)로 출력한 얼굴영상이 흐릿한 얼굴영상인지 여부를 판단할 수 있고, 판단한 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정할 수 있다. 상기 선명한 얼굴영상과 최고선명도 얼굴영상은 얼굴검출에 이용될 수 있다.The second
영상처리 장치(1000)는 얼굴식별모듈(도시되지 않음)을 더 포함할 수 있고, 상기 얼굴식별모듈은 제2 영상처리 장치(200)가 결정한 선명한 얼굴영상 및 최고선명도 얼굴영상을 이용하여 얼굴식별을 수행할 수 있다. 또한, 상기 얼굴식별모듈은 복수의 얼굴식별 알고리즘을 이용하여 얼굴식별을 수행할 수 있다. 상기 얼굴식별모듈은 CNN 모델에 기초한 얼굴식별 알고리즘을 이용하여 얼굴식별을 수행할 수 있다.The
도 11은 일실시예에 따른 영상 처리방법의 흐름도이다.11 is a flowchart of an image processing method according to an embodiment.
영상분류모듈(110)은, 입력영상이 저품질 영상인지 고품질 영상인지를 판단한다(S300). 단계(S300)의 수행 과정은 상술한 도 6의 단계(S110)와 동일하거나 유사할 수 있다.The
판단 결과, 상기 입력영상이 저품질 영상인 경우, 영상분류모듈(110)은 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하여 얼굴검출모듈(300)로 전송할 수 있다(S310).As a result of the determination, if the input image is a low-quality image, the
판단 결과, 상기 입력영상이 고품질 영상인 경우, 영상분류모듈(110)은 상기 입력영상을 얼굴검출모듈(300)로 전송한다.As a result of the determination, if the input image is a high-quality image, the
얼굴검출모듈(300)은 상기 고품질 영상 또는 최고선명도 영상에 대하여 얼굴검출을 수행하여 얼굴영상을 획득할 수 있다(S330).The
상기 결과영상은 상술한 얼굴영상 또는 얼굴미검출 영상일 수 있다. 얼굴영상 분류모듈(210)은 상기 결과영상이 얼굴영상인 경우, 다음 단계(S340)를 수행하고, 상기 결과영상이 얼굴미검출 영상인 경우, 결과영상은 이용되지 않을 수 있다. 얼굴검출모듈(300)은 복수의 얼굴검출방법(예를 들면, Viola-Jones얼굴검출방법, 국부 이진패턴(LBP) 얼굴검출방법, 복수 국부 이진패턴(MB-LBP) 얼굴검출방법 및 CNN 얼굴검출방법 등)을 이용하여 얼굴검출을 수행할 수 있고, 다단계 CNN 모델에 기초한 CNN 얼굴검출방법을 이용하여 얼굴검출을 수행할 수 있다.The resultant image may be the face image or the non-face detected image described above. If the resultant image is a facial image, the facial
상기 결과영상은 상술한 얼굴영상 또는 얼굴미검출 영상일 수 있다. 얼굴영상 분류모듈(210)은 결과영상이 상기 얼굴영상인 경우, 단계(S340)를 수행하고, 결과영상이 상기 얼굴미검출 영상인 경우, 상기 결과영상을 이용하지 않을 수 있다.The resultant image may be the face image or the non-face detected image described above. If the resultant image is the face image, the facial
얼굴영상 평가모듈(220)은, 상기 검출된 얼굴영상이 흐릿한 얼굴영상인지 여부를 판단할 수 있다(S330).The face
단계(S340)의 수행 과정은 상술한 도 9의 단계(S210)와 동일하거나 유사할 수 있다.The process of step S340 may be the same as or similar to the process of step S210 of FIG. 9 described above.
얼굴영상 평가모듈(220)은 상기 얼굴영상이 선명한 얼굴영상이라고 판단된 경우, 상기 판단된 선명한 얼굴영상을 출력할 수 있다(S340).If it is determined that the facial image is a clear facial image, the facial
영상처리장치(1000)는 상기 얼굴영상이 흐릿한 얼굴영상이라고 판단된 경우, 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정한다(S350).If it is determined that the face image is a blurry face image, the
단계(S350)의 수행 과정은 상술한 도 9의 단계(S220)와 동일하거나 유사할 수 있다. 또한, 단계(S340)에서 획득한 선명한 얼굴영상 및 단계(S350)에서 획득한 최고선명도 얼굴영상은 얼굴 식별처리에 더 이용될 수 있다.The process of step S350 may be the same as or similar to that of step S220 of FIG. In addition, the clear face image obtained in step S340 and the highest sharpness face image obtained in step S350 may be further used in the face identification process.
영상처리 장치 및 방법은 얼굴검출 또는 얼굴 식별 전에 영상을 처리할 수 있으므로, 효과적으로 얼굴검출을 수행할 수 있다. 또한, 저품질 영상에 대한 얼굴검출 시에 발생하는 오검출 또는 누락검출률을 감소시킬 수 있고, 흐릿한 얼굴영상에 대해 부정확하게 얼굴을 검출하는 문제를 개선할 수도 있다.Since the image processing apparatus and method can process an image before face detection or face identification, face detection can be effectively performed. In addition, it is possible to reduce the erroneous detection or missing detection rate that occurs at the time of detecting a face of a low-quality image, and it is possible to improve the problem of detecting a face inaccurately with respect to a blurred face image.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (18)
상기 영상분류모듈이 결정한 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하도록 구성된 영상평가모듈
을 포함하는,
영상처리 장치.
An image classification module configured to determine whether the input image is a low-quality image or a high-quality image; And
An image evaluation module configured to determine a first predetermined number of highest clarity images of the plurality of low-quality images determined by the image classification module,
/ RTI >
Image processing apparatus.
상기 영상분류모듈은 제1 합성곱 신경망(CNN: Convolutional Neural Network) 분류기 모델을 이용하여 상기 입력영상이 복수의 서로 다른 품질유형 중의 각종 유형으로 분류될 영상분류 확률값을 계산하고,
상기 입력영상의 영상분류 확률값에 따라 상기 입력영상이 저품질 영상인지 고품질 영상인지를 결정하도록 구성된,
영상처리 장치.
The method according to claim 1,
Wherein the image classification module calculates an image classification probability value for the input image to be classified into various types among a plurality of different quality types using a first convolutional neural network (CNN)
And determining whether the input image is a low-quality image or a high-quality image according to an image classification probability value of the input image.
Image processing apparatus.
상기 영상평가모듈은 상기 복수의 저품질 영상 중 각각의 저품질 영상에 대해 영상 선명도를 계산하고, 상기 복수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정하도록 구성된,
영상처리 장치.
3. The method according to claim 1 or 2,
Wherein the image evaluation module calculates an image sharpness for each low quality image among the plurality of low quality images and outputs a low quality image having a first predetermined number of high image sharpness from the highest image sharpness among the plurality of low quality images, 1 < / RTI > to a predetermined number of highest sharpness images,
Image processing apparatus.
제2 합성곱 신경망 분류기 모델을 통해 영상분류모듈이 결정한 고품질 영상 및 영상평가모듈이 결정한 최고선명도 영상에 대해 얼굴검출을 수행하여 결과영상을 출력하도록 구성된 얼굴검출모듈
을 더 포함하고,
상기 결과영상은 얼굴영상 또는 얼굴이 포함되지 않은 영상인
영상처리 장치.
4. The method according to any one of claims 1 to 3,
A face detection module configured to perform face detection on the highest-definition image determined by the high-quality image and image evaluation module determined by the image classification module through the second composite neural network classifier model, and output a resultant image;
Further comprising:
The resultant image is a face image or an image not including a face
Image processing apparatus.
상기 얼굴검출모듈이 출력하는 얼굴영상이 흐릿한(blurred) 얼굴영상인지 여부를 결정하도록 구성된 얼굴영상 분류모듈; 및
얼굴영상분류모듈이 결정한 복수의 흐릿한 얼굴 영상 중 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하도록 구성된 얼굴영상 평가모듈
을 더 포함하는,
영상처리 장치.
5. The method of claim 4,
A face image classification module configured to determine whether a face image output by the face detection module is a blurred face image; And
A face image evaluation module configured to determine a second predetermined number of highest clarity face images among a plurality of blurry face images determined by the face image classification module,
≪ / RTI >
Image processing apparatus.
상기 얼굴영상분류모듈은 제3 합성곱 신경망 분류기 모델을 이용하여 상기 얼굴영상이 선명한 얼굴영상 또는 흐릿한 얼굴영상으로 분류되는 얼굴영상분류 확률값을 계산하고,
상기 얼굴영상분류 확률값에 따라 상기 얼굴영상이 흐릿한 얼굴영상인지 선명한 얼굴영상인지 결정하도록 구성된,
영상처리 장치.
6. The method of claim 5,
The face image classification module calculates a face image classification probability value classified as a clear face image or a blurry face image by using the third composite neural network classifier model,
And determining whether the face image is a blurry face image or a clear face image according to the face image classification probability value,
Image processing apparatus.
상기 얼굴영상 평가모듈은 상기 복수의 흐릿한 얼굴영상 중 각각의 흐릿한 얼굴영상에 대해 얼굴 선명도를 계산하고,
상기 복수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정하도록 구성된,
영상처리 장치.
The method according to claim 5 or 6,
Wherein the face image evaluation module calculates a face sharpness for each blurry face image among the plurality of blurry face images,
And a blurred face image having a second predetermined number of high face clarity from the highest face clearance of the plurality of blurry face images to the second predetermined number of highest clarity face images.
Image processing apparatus.
상기 얼굴영상 분류모듈이 결정한 복수의 흐릿한 얼굴영상 중 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하도록 구성된 얼굴영상 평가모듈
을 포함하는,
영상처리 장치.
A facial image classifying module configured to determine whether a facial image is a blurred facial image; And
And a face image evaluation module configured to determine a second predetermined number of maximum sharpness face images of the plurality of blurry face images determined by the face image classification module,
/ RTI >
Image processing apparatus.
상기 얼굴영상 분류모듈은 합성곱 신경망 분류기 모델을 이용하여 상기 얼굴영상이 선명한 얼굴영상 및 흐릿한 얼굴영상 중 하나로 분류될 얼굴영상분류 확률값을 계산하고,
상기 얼굴영상의 얼굴영상분류 확률값에 따라 상기 얼굴영상이 선명한 얼굴영상인지, 흐릿한 얼굴영상인지를 결정하도록 구성된
영상처리 장치.
9. The method of claim 8,
Wherein the face image classification module calculates a face image classification probability value to be classified as one of a clear face image and a blurry face image by using the composite neural network classifier model,
And determine whether the face image is a clear face image or a blurry face image according to a face image classification probability value of the face image
Image processing apparatus.
결정한 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하는 단계
를 포함하는,
영상처리 방법.
Determining whether the input image is a low-quality image or a high-quality image; And
Determining a first predetermined number of highest clarity images of the determined plurality of low-quality images
/ RTI >
Image processing method.
상기 입력영상이 저품질 영상인지 고품질 영상인지를 결정하는 단계는,
제1 합성곱 신경망 분류기 모델을 사용하여 입력영상이 복수의 서로 다른 품질 유형 중의 각종 유형으로 분류될 영상분류 확률값을 계산하는 단계; 및
상기 입력영상의 영상분류 확률값에 따라 상기 입력영상이 저품질 영상인지 고품질 영상인지를 결정하는 단계
를 포함하는,
영상처리 방법.
11. The method of claim 10,
Wherein the step of determining whether the input image is a low-quality image or a high-
Calculating an image classification probability value in which an input image is classified into various types among a plurality of different quality types using a first artificial neural network classifier model; And
Determining whether the input image is a low-quality image or a high-quality image according to an image classification probability value of the input image;
/ RTI >
Image processing method.
결정한 복수의 저품질 영상 중 제1 미리 정해진 개수의 최고선명도 영상을 결정하는 단계는,
상기 복수의 저품질 영상 중 각각의 저품질 영상에 대해 영상 선명도를 계산하는 단계; 및
상기 복수의 저품질 영상 중 가장 높은 영상 선명도부터 제1 미리 정해진 개수의 높은 영상 선명도를 가진 저품질 영상을 상기 제1 미리 정해진 개수의 최고선명도 영상으로 결정하는 단계
를 포함하는,
영상처리 방법.
The method according to claim 10 or 11,
Wherein determining the first predetermined number of highest clarity images of the determined plurality of low-
Calculating image clarity for each low-quality image among the plurality of low-quality images; And
Determining a first low-quality image having a first predetermined number of high-definition images from the highest image clarity among the plurality of low-quality images as the first predetermined number of highest-definition images;
/ RTI >
Image processing method.
제2 합성곱 신경망 분류기 모델을 통해 결정한 고품질 영상 및 결정한 최고선명도 영상에 대하여 얼굴검출을 수행하여 결과영상을 출력하는 단계
를 더 포함하고,
상기 결과영상은 얼굴영상 또는 얼굴이 포함되지 않은 영상인,
영상처리 방법.
The method according to any one of claims 10 to 12,
Performing a face detection on the determined high-quality image and the determined highest-definition image through the second artificial neural network classifier model, and outputting the resultant image
Further comprising:
The resultant image is a face image or a face-
Image processing method.
상기 얼굴영상이 흐릿한 얼굴영상인지 여부를 결정하는 단계; 및
결정된 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는 단계
를 더 포함하는,
영상처리 방법.
14. The method of claim 13,
Determining whether the face image is a blurred face image; And
Determining a second predetermined number of highest clarity face images from the determined plurality of blurry face images
≪ / RTI >
Image processing method.
상기 얼굴영상이 흐릿한 얼굴영상인지 여부를 결정하는 단계는,
제3 합성곱 신경망 분류기 모델을 사용하여 상기 얼굴영상이 선명한 얼굴영상 또는 흐릿한 얼굴영상으로 분류되는 얼굴영상분류 확률값을 계산하는 단계; 및
상기 얼굴영상분류 확률값에 따라 상기 얼굴영상이 흐릿한 얼굴영상인지 또는 선명한 얼굴영상인지를 결정하는 단계
를 포함하는,
영상처리 방법.
15. The method of claim 14,
Wherein the determining whether the face image is a blurry face image comprises:
Calculating a face image classification probability value in which the face image is classified as a clear face image or a blurry face image using a third composite neural network classifier model; And
Determining whether the face image is a blurry face image or a clear face image according to the face image classification probability value
/ RTI >
Image processing method.
결정된 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는 단계는,
상기 복수의 흐릿한 얼굴영상 중 각각의 흐릿한 얼굴영상에 대해 얼굴 선명도를 계산하는 단계; 및
상기 복수의 흐릿한 얼굴영상 중 가장 높은 얼굴 선명도부터 제2 미리 정해진 개수의 높은 얼굴 선명도를 가진 흐릿한 얼굴영상을 상기 제2 미리 정해진 개수의 최고선명도 얼굴영상으로 결정하는 단계
를 포함하는,
영상처리 방법.
16. The method according to claim 14 or 15,
Determining a second predetermined number of highest clarity face images from the determined plurality of blurry face images,
Calculating facial sharpness for each blurry facial image among the plurality of blurry facial images; And
Determining a blurred facial image having a second predetermined number of high facial sharpness from the highest facial sharpness of the plurality of blurry facial images as the second predetermined number of highest clarity facial images
/ RTI >
Image processing method.
결정된 복수의 흐릿한 얼굴영상에서 제2 미리 정해진 개수의 최고선명도 얼굴영상을 결정하는 단계
를 포함하는,
영상처리 방법.
Determining whether the facial image is a blurred facial image; And
Determining a second predetermined number of highest clarity face images from the determined plurality of blurry face images
/ RTI >
Image processing method.
상기 얼굴영상이 흐릿한 얼굴영상인지 여부를 결정하는 단계는,
합성곱 신경망 분류기 모델을 이용하여 상기 얼굴영상이 선명한 얼굴영상 및 흐릿한 얼굴영상 중 하나로 분류될 얼굴영상분류 확률값을 계산하는 단계; 및
상기 얼굴영상의 얼굴영상분류 확률값에 따라 상기 얼굴영상이 선명한 얼굴영상인지, 흐릿한 얼굴영상인지를 결정하는 단계
를 포함하는,
영상처리 방법.18. The method of claim 17,
Wherein the determining whether the face image is a blurry face image comprises:
Calculating a face image classification probability value to be classified as one of a clear face image and a blurry face image by using the composite neural network classifier model; And
Determining whether the face image is a clear face image or a blurred face image according to a face image classification probability value of the face image
/ RTI >
Image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/842,190 US10963676B2 (en) | 2016-12-23 | 2017-12-14 | Image processing method and apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611204669.8 | 2016-12-23 | ||
| CN201611204669.8A CN108241821A (en) | 2016-12-23 | 2016-12-23 | Image processing equipment and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180074556A true KR20180074556A (en) | 2018-07-03 |
| KR102476022B1 KR102476022B1 (en) | 2022-12-09 |
Family
ID=62704034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170098513A KR102476022B1 (en) | 2016-12-23 | 2017-08-03 | Face detection method and apparatus thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102476022B1 (en) |
| CN (1) | CN108241821A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110636100A (en) * | 2019-04-02 | 2019-12-31 | 宋秀梅 | Network downloading mechanism and method based on data identification |
| CN113111888A (en) * | 2021-04-15 | 2021-07-13 | 广州图匠数据科技有限公司 | Picture distinguishing method and device |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921806B (en) * | 2018-08-07 | 2020-08-07 | Oppo广东移动通信有限公司 | Image processing method, image processing device and terminal equipment |
| US10785419B2 (en) * | 2019-01-25 | 2020-09-22 | Pixart Imaging Inc. | Light sensor chip, image processing device and operating method thereof |
| CN110378235B (en) * | 2019-06-20 | 2024-05-28 | 平安科技（深圳）有限公司 | Fuzzy face image recognition method and device and terminal equipment |
| US11727721B2 (en) * | 2019-09-30 | 2023-08-15 | Mcafee, Llc | Methods and apparatus to detect deepfake content |
| TWI817702B (en) * | 2022-09-05 | 2023-10-01 | 宏碁股份有限公司 | Picture filtering method and picture filtering apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011070A1 (en) * | 2007-05-07 | 2013-01-10 | The Penn State Research Foundation | Studying aesthetics in photographic images using a computational approach |
| KR20160103398A (en) * | 2015-02-24 | 2016-09-01 | 삼성전자주식회사 | Method and apparatus for measuring the quality of the image |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9405960B2 (en) * | 2014-06-17 | 2016-08-02 | Beijing Kuangshi Technology Co., Ltd. | Face hallucination using convolutional neural networks |
| WO2016011589A1 (en) * | 2014-07-21 | 2016-01-28 | 宇龙计算机通信科技(深圳)有限公司 | Image classification method and image classification apparatus |
| CN104834898B (en) * | 2015-04-09 | 2018-05-15 | 华南理工大学 | A kind of quality classification method of personage's photographs |
| CN105373785B (en) * | 2015-11-30 | 2019-08-02 | 北京地平线机器人技术研发有限公司 | Gesture identification detection method and device based on deep neural network |
| CN105740758A (en) * | 2015-12-31 | 2016-07-06 | 上海极链网络科技有限公司 | Internet video face recognition method based on deep learning |
| CN106203497B (en) * | 2016-07-01 | 2019-05-31 | 浙江工业大学 | Finger vena area-of-interest method for screening images based on image quality evaluation |
| CN106228556B (en) * | 2016-07-22 | 2019-12-06 | 北京小米移动软件有限公司 | image quality analysis method and device |
-
2016
- 2016-12-23 CN CN201611204669.8A patent/CN108241821A/en active Pending
-
2017
- 2017-08-03 KR KR1020170098513A patent/KR102476022B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011070A1 (en) * | 2007-05-07 | 2013-01-10 | The Penn State Research Foundation | Studying aesthetics in photographic images using a computational approach |
| KR20160103398A (en) * | 2015-02-24 | 2016-09-01 | 삼성전자주식회사 | Method and apparatus for measuring the quality of the image |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110636100A (en) * | 2019-04-02 | 2019-12-31 | 宋秀梅 | Network downloading mechanism and method based on data identification |
| CN113111888A (en) * | 2021-04-15 | 2021-07-13 | 广州图匠数据科技有限公司 | Picture distinguishing method and device |
| CN113111888B (en) * | 2021-04-15 | 2024-04-26 | 广州图匠数据科技有限公司 | Picture discrimination method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102476022B1 (en) | 2022-12-09 |
| CN108241821A (en) | 2018-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180074556A (en) | Face detection method and apparatus thereof | |
| US10963676B2 (en) | Image processing method and apparatus | |
| KR102641115B1 (en) | A method and apparatus of image processing for object detection | |
| JP6294615B2 (en) | System and method for detection and tracking of moving objects | |
| CN108960266B (en) | Image target detection method and device | |
| EP3333768A1 (en) | Method and apparatus for detecting target | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| US9317784B2 (en) | Image processing apparatus, image processing method, and program | |
| US20210232846A1 (en) | Image processing method and apparatus for object detection | |
| US20130259307A1 (en) | Object detection apparatus and method therefor | |
| US11145046B2 (en) | Detection of near-field occlusions in images | |
| US9418440B2 (en) | Image segmenting apparatus and method | |
| CN109840883B (en) | Method and device for training object recognition neural network and computing equipment | |
| KR20160144149A (en) | A video surveillance apparatus for removing overlap and tracking multiple moving objects and method thereof | |
| CN109284673B (en) | Object tracking method and device, electronic equipment and storage medium | |
| KR101890538B1 (en) | Method and apparatus for transforming image | |
| KR102074073B1 (en) | Method for detecting vehicles and apparatus using the same | |
| US20150221097A1 (en) | Harmless frame filter, harmful image blocking apparatus having the same, and method for filtering harmless frames | |
| Avula et al. | A novel forest fire detection system using fuzzy entropy optimized thresholding and STN-based CNN | |
| KR20180109658A (en) | Apparatus and method for image processing | |
| KR20200027887A (en) | Learning method, learning device for optimizing parameters of cnn by using multiple video frames and testing method, testing device using the same | |
| CN112733929A (en) | Improved method for detecting small target and shielded target of Yolo underwater image | |
| CN114937086A (en) | Training method and detection method for multi-image target detection and related products | |
| Hsu | Automatic pedestrian detection in partially occluded single image | |
| CN114821194B (en) | Equipment running state identification method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |