KR20180109665A - A method and apparatus of image processing for object detection - Google Patents
A method and apparatus of image processing for object detection Download PDFInfo
- Publication number
- KR20180109665A KR20180109665A KR1020180000698A KR20180000698A KR20180109665A KR 20180109665 A KR20180109665 A KR 20180109665A KR 1020180000698 A KR1020180000698 A KR 1020180000698A KR 20180000698 A KR20180000698 A KR 20180000698A KR 20180109665 A KR20180109665 A KR 20180109665A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- target
- target area
- evaluation score
- detection
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 62
- 238000010606 normalization Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000013178 mathematical model Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
아래 실시예들은 객체의 인식을 위한 영상 처리 방법 및 장치에 관한 것이다.The following embodiments relate to an image processing method and apparatus for object recognition.
종래의 영상 처리 방법은 다양한 업종에서 광범위하게 사용되고 있다. 일반적으로 영상 처리 기술은 사용자가 기대한 목표물을 검출하는데 사용되며, 컴퓨터를 이용하여 영상처리와 검출을 수행한다.Conventional image processing methods are widely used in various industries. In general, image processing technology is used to detect a target that a user expects, and performs image processing and detection using a computer.
이 때, 제공된 영상을 분석하여 제공된 영상에서 검출하고자 하는 목표물을 추출한다. 영상 처리 기술은 비디오, 인식, 인터페이스 영상검색, 감시 시스템 등 여러 영역에 광범위하게 사용된다.At this time, the provided image is analyzed and the target to be detected is extracted from the provided image. Image processing technology is widely used in various fields such as video, recognition, interface image search, and surveillance system.
종래의 영상 처리 방법은 비접촉식 방법을 사용하여 목표물을 인식하기 때문에, 영상의 촬영 환경 또는 촬영 장비 등에 의하여 흐림, 저조도, 역광 등의 영상의 품질 저하를 발생시킬 수 있다.Since the conventional image processing method recognizes the target by using the non-contact method, it can cause degradation of the image quality such as blur, low light, and back light due to the image capturing environment or the photographing equipment.
영상의 품질 저하는 기존의 영상품질평가방법을 통하여 선별 인식할 수 있는 반면, 알고리즘 실패로 초래된 영상 내용의 손상(damage), 얼굴 인식 시 얼굴 각도가 너무 큰 경우와 같은 영상 내용의 품질 저하는 기존의 영상품질평가방법으로 선별 인식할 수 없다.The degradation of the image quality can be recognized through the conventional image quality evaluation method. On the other hand, the degradation of the image contents such as the damage of the image content caused by the algorithm failure, It can not be recognized by the conventional image quality evaluation method.
영상 내용의 품질이 저하된 영상에 대하여 선별 인식할 때, 종래의 영상 처리 방법은 인식에 어려움이 있고, 많은 시간을 소비하여 선별 인식할 뿐만 아니라 인식의 정확도가 낮아 잘못된 매칭 결과를 초래할 수 있다.Conventional image processing methods have difficulty in recognition when images are deteriorated in the quality of the video content. In addition, the conventional image processing method consumes a lot of time and is not only selective recognition but also low recognition accuracy.
일 실시예에 따른 이미지 처리 방법은, 이미지를 수신하는 단계와, 상기 이미지로부터 객체(object)를 포함하는 목표 이미지(target image)를 획득하는 단계와, 상기 목표 이미지의 품질(quality)을 평가하여 평가 점수(evaluation score)를 계산하는 단계와, 상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 단계를 포함한다.An image processing method according to an embodiment includes the steps of receiving an image, obtaining a target image including an object from the image, evaluating the quality of the target image Calculating an evaluation score, and detecting the object from the target image based on the evaluation score.
상기 획득하는 단계는, 상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 단계와, 상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 단계와, 상기 정보에 기초하여 상기 목표 영역을 정규화(normalization)하여 상기 목표 이미지를 획득하는 단계를 포함할 수 있다.Wherein the acquiring comprises: obtaining a target area including the object from the image; extracting information related to the feature of the object from the target area; and normalizing the target area based on the information and normalizing the target image to obtain the target image.
상기 목표 영역을 획득하는 단계는, 상기 이미지에 포함된 상기 객체를 검출하는 단계와, 상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득하는 단계를 포함할 수 있다.The obtaining of the target region may include detecting the object included in the image, and detecting the characteristic of the object from the object to obtain the target region.
상기 정보는, 상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적 중 적어도 하나를 포함할 수 있다.The information may include at least one of a feature of the object itself, an outline of the feature of the object, a relative position of the feature of the object in the target area, and an area occupied by the feature of the object in the target area.
상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 단계는, 상기 목표 영역을 확대 또는 축소하여 근사 처리 하는 단계와, 상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화(scale normalization)하는 단계와, 척도 정규화된 근사 처리된 목표 영역을 조도 정규화(illumination normalization)하여 상기 목표 이미지를 획득하는 단계를 포함할 수 있다.Wherein the step of normalizing the target area to obtain the target image comprises: magnifying or reducing the target area to approximate the target area; performing scale normalization on the approximated target area using the information; And acquiring the target image by performing illumination normalization on the scale-normalized approximated processed target area.
상기 척도 정규화하는 단계는, 상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정하는 단계를 포함할 수 있다.The scaling normalization step may include correcting the size and the angle of the feature of the object with respect to the approximated target area.
상기 검출하는 단계는, 상기 평가 점수와 검출 기준 점수를 비교하는 단계와, 비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정하는 단계를 포함할 수 있다.The detecting may include comparing the evaluation score with a detection reference score, and determining whether to perform detection of the object based on the comparison result.
상기 결정하는 단계는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하는 단계와, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행하는 단계를 포함할 수 있다.Wherein said determining step comprises: stopping the detection of the object when the evaluation score is less than the detection reference score in the comparison result; and when the evaluation score is not less than the detection reference score, And performing the steps of:
상기 결정하는 단계는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정하는 단계를 더 포함할 수 있다.Determining whether to perform detection of an object included in the next frame based on an evaluation score of an object included in a next frame when the evaluation score is less than the detection reference score in the comparison result; As shown in FIG.
상기 객체를 검출하는 단계는, 에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출하는 단계를 포함할 수 있다.Detecting the object may include detecting the object using an AdaBoost algorithm.
일 실시예에 따른 이미지 처리 장치는, 이미지를 수신하는 수신기와, 상기 이미지의 품질을 평가함으로써 상기 이미지에 포함된 객체(object)를 검출하는 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 이미지로부터 상기 객체를 포함하는 목표 이미지(target image)를 획득하는 목표 이미지 획득기(target image acquirer)와, 상기 목표 이미지의 품질을 평가하여 평가 점수(evaluation score)를 계산하는 품질 평가기(quality evaluator)와, 상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 객체 검출기(object detector)를 포함한다.An image processing apparatus according to an embodiment includes a receiver for receiving an image and a controller for detecting an object included in the image by evaluating the quality of the image, A target image acquirer for acquiring a target image including the target image and a quality evaluator for evaluating the quality of the target image and calculating an evaluation score; And an object detector for detecting the object from the target image based on the evaluation score.
상기 목표 이미지 획득기는, 상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 목표 영역 획득기(target area acquirer)와, 상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 정보 추출기(information extractor)와, 상기 정보에 기초하여 상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 정규화기(normalizator)를 포함할 수 있다.The target image acquirer includes a target area acquirer for obtaining a target area including the object from the image, an information extractor for extracting information related to the feature of the object from the target area, And a normalizer for normalizing the target region based on the information to obtain the target image.
상기 목표 영역을 획득기는, 상기 이미지에 포함된 상기 객체를 검출하고, 상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득할 수 있다.The acquiring unit of the target area can detect the object included in the image and detect the characteristic of the object from the object to acquire the target area.
상기 정보는, 상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적 중 적어도 하나를 포함할 수 있다.The information may include at least one of a feature of the object itself, an outline of the feature of the object, a relative position of the feature of the object in the target area, and an area occupied by the feature of the object in the target area.
상기 정규화기는, 상기 목표 영역을 확대 또는 축소하여 근사 처리 하고, 상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화하고, 척도 정규화된 근사 처리된 목표 영역을 조도 정규화하여 상기 목표 이미지를 획득할 수 있다.The normalizer may enlarge or reduce the target area, approximate the target area, normalize the approximated target area using the information, and normalize the scale-normalized approximated target area to obtain the target image have.
상기 정규화기는, 상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정할 수 있다.The normalizer may correct the size and the angle of the characteristic of the object with respect to the approximated target area.
상기 객체 검출기는, 상기 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정할 수 있다.The object detector may compare the evaluation score with a detection reference score, and determine whether to perform detection of the object based on the comparison result.
상기 객체 검출기는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하고, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행할 수 있다.Wherein the object detector stops detection of the object when the evaluation score is less than the detection reference score in the comparison result and performs detection of the object when the evaluation score is not less than the detection reference score .
상기 객체 검출기는, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정할 수 있다.The object detector may determine whether or not to perform detection of the object included in the next frame based on the evaluation score of the object included in the next frame when the evaluation score is less than the detection reference score in the comparison result.
상기 객체 검출기는, 에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출할 수 있다.The object detector may detect the object using an AdaBoost algorithm.
도 1은 일 실시예에 따른 이미지 처리 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 목표 이미지 획득기의 개략적인 블록도를 나타낸다.
도 4는 도 1의 이미지 처리 장치의 동작의 예를 나타낸다.
도 5는 일 실시예에 따른 MB-LBP(Multi-scale Block Local Binary Patterns)의 그리드를 나타낸다.
도 6은 일 실시예에 따른 이미지 처리 방법의 동작의 순서도를 나타낸다.Figure 1 shows a schematic block diagram of an image processing apparatus according to one embodiment.
Fig. 2 shows a schematic block diagram of the controller shown in Fig.
Figure 3 shows a schematic block diagram of the target image acquister shown in Figure 2;
Fig. 4 shows an example of the operation of the image processing apparatus of Fig.
FIG. 5 shows a grid of MB-LBP (Multi-scale Block Local Binary Patterns) according to an embodiment.
6 shows a flowchart of the operation of the image processing method according to one embodiment.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of embodiments are set forth for illustration purposes only and may be embodied with various changes and modifications. Accordingly, the embodiments are not intended to be limited to the specific forms disclosed, and the scope of the disclosure includes changes, equivalents, or alternatives included in the technical idea.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second, etc. may be used to describe various elements, but such terms should be interpreted solely for the purpose of distinguishing one element from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected or connected to the other element, although other elements may be present in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", and the like, are used to specify one or more of the features, numbers, steps, operations, elements, But do not preclude the presence or addition of steps, operations, elements, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning of the context in the relevant art and, unless explicitly defined herein, are to be interpreted as ideal or overly formal Do not.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.
도 1은 일 실시예에 따른 이미지 처리 장치의 개략적인 블록도를 나타낸다.Figure 1 shows a schematic block diagram of an image processing apparatus according to one embodiment.
도 1을 참조하면, 이미지 처리 장치(10)는 이미지의 품질을 평가하여 효율적으로 객체를 검출할 수 있는 이미지 처리 방법을 제공할 수 있다. 이미지 처리 장치(10)는 객체를 검출하기 전에 품질이 낮은 이미지에 대해서는 객체의 검출을 수행하지 않는 방법으로, 객체 인식의 정확도를 향상시키고, 빠른 속도로 객체를 검출할 수 있다.Referring to FIG. 1, the image processing apparatus 10 can provide an image processing method capable of efficiently detecting an object by evaluating the quality of the image. The image processing apparatus 10 can improve the accuracy of object recognition and detect an object at a high speed in a manner that does not perform detection of an object for an image of low quality before detecting the object.
이미지 처리 장치(10)는 품질이 낮은 이미지에 대한 검출 수행함으로써 소모되는 시간을 제거함으로써, 객체 검출의 정확도와 속도를 향상시킬 수 있다. 객체에 대한 검출은 객체에 대한 인식을 포함할 수 있다.The image processing apparatus 10 can improve the accuracy and speed of object detection by eliminating the time consumed by performing detection on low quality images. Detection for an object may include recognition of the object.
이미지 처리 장치(10)는 이미지를 수신하여 목표 이미지를 획득하고, 획득한 목표 이미지에 대하여 품질 평가를 수행하여 평가 점수를 계산할 수 있다. 이미지 처리 장치(10)는 평가 점수와 검출 기준 점수를 비교하여 객체를 검출할지 여부를 결정할 수 있다.The image processing apparatus 10 can receive an image, acquire a target image, and perform a quality evaluation on the acquired target image to calculate an evaluation score. The image processing apparatus 10 can compare the evaluation score and the detection reference score to determine whether to detect the object.
이미지 처리 장치(10)는 평가 점수가 검출 기준 점수 미만인 경우 수신한 이미지에 대해서는 객체에 대한 검출을 수행하지 않을 수 있다. 이를 통해, 이미지 처리 장치(10)는 이미지 처리 속도를 향상시킬 수 있고, 이미지 처리 시간을 크게 감소시킬 수 있으며, 객체에 대한 검출율을 향상시킬 수 있다.The image processing apparatus 10 may not perform detection on the object for the received image if the evaluation score is less than the detection reference score. Thereby, the image processing apparatus 10 can improve the image processing speed, greatly reduce the image processing time, and improve the detection rate for the object.
또한, 이미지 처리 장치(10)는 객체 검출의 정확도를 높이고, 객체의 검출 속도를 향상시킬 수 있다.Further, the image processing apparatus 10 can improve the accuracy of object detection and improve the object detection speed.
이미지 처리 장치(10)는 객체의 검출을 수행하는 과정에 품질 평가 단계를 결합시킴으써, 불량한 이미지에 의한 검출율의 감소를 방지할 수 있다. 예를 들어, 이미지 처리 장치(10)를 통해 사람의 얼굴을 인식할 경우, 얼굴의 변형, 사람의 얼굴이 아닌 경우, 얼굴의 각도가 큰 경우 등 이미지의 품질이 낮아지는 경우에 얼굴 검출과정을 수행하지 않을 수 있다.The image processing apparatus 10 can combine the quality evaluation step in the process of performing the object detection to prevent a decrease in the detection rate due to the bad image. For example, when the face of a person is recognized through the image processing apparatus 10, the face detection process is performed when the quality of the image is lowered, for example, when the face is deformed, It may not be performed.
이미지 처리 장치(10)는 객체에 대한 검출을 수행하기 위한 이미지의 전처리를 수행할 수 있다. 이미지 처리 장치(10)는 이미지를 촬영한 장비, 촬영 환경 및 촬영 내용이 객체의 검출에 미치는 영향을 감소시킴으로써, 객체에 대한 검출 정확도를 향상시킬 수 있다. 예를 들어, 이미지 처리 장치(10)는 감시, 질의, 보안, 인간-기계 간의 상호 작용(man-machine interaction)에 사용되는 얼굴 인식을 효과적으로 수행할 수 있다.The image processing apparatus 10 may perform pre-processing of an image to perform detection on an object. The image processing apparatus 10 can improve the detection accuracy of the object by reducing the influence of the equipment, the shooting environment, and the shooting content of the image on the detection of the object. For example, the image processing apparatus 10 can effectively perform face recognition used for monitoring, querying, security, and man-machine interaction.
이미지 처리 장치(10)는 수신기(100) 및 컨트롤러(200)를 포함한다.The image processing apparatus 10 includes a
수신기(100)는 이미지를 수신할 수 있다. 수신기(100)가 수신하는 이미지는 객체가 나타난 정적 사진 및 영상을 포함할 수 있다. 이미지는 복수의 프레임을 포함할 수 있다. The
수신기는 수신기(100)는 복수의 촬영 장치 또는 단말을 포함할 수 있다. 단말은 컴퓨터, 서버 등을 포함할 수 있다. 수신기(100)는 복수의 촬영 장치를 이용하여 복수의 영상을 수신할 수 있다. 수신기(100)는 단말로부터 이미지를 수신할 수 있다.The
수신기(100)는 수신한 이미지를 컨트롤러(200)로 출력할 수 있다.The
컨트롤러(200)는 수신한 이미지의 품질을 평가함으로써 이미지에 포함된 객체(object)를 검출할 수 있다. 컨트롤러(200)는 기계학습 알고리즘을 이용하여 이미지에 포함된 객체를 검출할 수 있다.The
객체는 이미지 처리를 통해서 검출하고자 하는 이미지 상의 모든 대상을 포함할 수 있다. 객체는 이미지에 포함된 특정 영역을 의미할 수 있다. 예를 들어, 객체는 사람의 얼굴을 포함할 수 있다.An object may contain all objects on an image to be detected through image processing. An object may refer to a specific area included in an image. For example, an object may include a person's face.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.Fig. 2 shows a schematic block diagram of the controller shown in Fig.
도 2를 참조하면, 컨트롤러(200)는, 목표 이미지 획득기(target image acquirer, 210), 품질 평가기(quality evaluator, 230) 및 객체 검출기(object detector, 250)를 포함할 수 있다.Referring to FIG. 2, the
목표 이미지 획득기(210)는 수신한 이미지로부터 객체(100)를 포함하는 목표 이미지(target image)를 획득할 수 있다. 예를 들어, 목표 이미지 획득기(210)는 제1 목표 모델을 이용하여 목표 이미지를 획득할 수 있다. 목표 모델은 에이다부스트 적응형 알고리즘 분류기(adaptive algorithm classifier)를 포함할 수 있다.The
목표 이미지 획득기(210)는 목표 모델(또는 구조 모델)에 기초하여 목표 영역을 획득할 수 있다. 목표 모델(또는 구조 모델)은 서로 다른 형태의 객체를 포함하는 형태 모델의 집합을 포함할 수 있다. 목표 모델(또는 구조 모델)은 서로 다른 각도를 가지는 동일한 유형의 객체를 포함할 수 있다.The
예를 들어, 목표 모델(또는 구조 모델)이 얼굴 모델인 경우, 얼굴 모델은 서로 다른 얼굴 형태와, 서로 다른 각도의 얼굴 형태를 포함할 수 있다.For example, when the target model (or structural model) is a face model, the face model may include different face shapes and face shapes at different angles.
목표 모델(또는 구조 모델)은 통계학, 동일한 유형의 객체 속성의 원리를 결합하여 수립된 수학 모델을 포함할 수 있다. 수학 모델은 생물 통계학 원리와 결합된 수학 모델을 포함할 수 있다.The target model (or structure model) can include a mathematical model established by combining the principles of statistics, object attributes of the same type. The mathematical model may include mathematical models coupled with biostatistical principles.
목표 이미지 획득기(210)는 목표 이미지에 대한 전처리를 수행하여, 후속 처리 과정에서 객체에 대한 검출의 정확도를 향상시킬 수 있다. 예를 들어, 객체가 얼굴인 경우, 목표 이미지 획득기(210)는 얼굴을 포함하는 목표 이미지에 대하여 전처리를 수행할 수 있다.The
목표 이미지 획득기(210)는 에이다부스트 알고리즘의 학습 분류기를 사용하여 목표 이미지를 획득할 수 있다. 목표 이미지 획득기(210)는 획득한 목표 이미지를 품질 평가기(230)로 출력할 수 있다.The
품질 평가기(230)는 목표 이미지의 품질을 평가하여 평가 점수를 계산할 수하는 있다. 품질 평가기(230)는 목표 이미지의 품질이 높을수록 높은 평가 점수를 부여할 수 있고, 목표 이미지의 품질이 낮을수록 낮은 평가 점수를 부여할 수 있다.The
품질 평가기(230)는 목표 이미지가 검출하고자 하는 객체에 부합하는 부분을 포함하고 있을 경우에, 그 부합 정도에 따라 목표 이미지에 대한 평가 점수를 계산할 수 있다. 예를 들어, 얼굴 인식의 경우에, 품질 평가기(230)는 목표 이미지가 얼굴 특성에 잘 부합하는 경우에 높은 평가 점수를 부여할 수 있고, 목표 이미지가 얼굴 특성에 잘 부합하지 않는 경우, 낮은 평가 점수를 부여할 수 있다.The
품질 평가기(230)는 객체 검출기(250)와 동일한 기계 학습 알고리즘을 사용하여 목표 이미지의 품질을 평가할 수 있다. 품질 평가기(230)는 객체 검출기(250)와 동일한 알고리즘을 사용함으로써, 이미지 처리 장치(10)의 제작 단가를 감소시킬 수 있다. 예를 들어, 품질 평가기(230)는 에이다부스트 알고리즘을 이용하여 목표 이미지의 품질을 평가할 수 있다.The
품질 평가기(230)는 목표 이미지로부터 목표 모델을 구축하여 품질을 평가할 수 있다. 품질 평가기(230)는 제2 목표 모델을 이용하여 목표 이미지의 품질을 평가할 수 있다. 목표 모델은 에이다부스트 알고리즘을 통해 구축될 수 있다.The
제1 목표 모델과 제2 목표 모델은 동일한 모델일 수 있다. 제1 모델 및 제2 모델은 모두 에이다부스트 적응형 알고리즘 분류기를 포함할 수 있다.The first target model and the second target model may be the same model. The first model and the second model may all include an AdaBoost adaptive algorithm classifier.
목표 모델은 동일한 유형의 다른 형태의 객체를 포함할 수 있다. 예를 들어, 객체가 얼굴인 경우, 목표 모델은 얼굴 모델일 수 있다. 얼굴 모델은 다른 형태 또는 각도를 가지는 동일한 얼굴을 포함할 수 있다.A target model may contain other types of objects of the same type. For example, if the object is a face, the target model may be a face model. The face model may include the same face having a different shape or angle.
품질 평가기(230)는 목표 모델과 목표 이미지를 매칭함으로써, 목표 이미지의 품질을 평가할 수 있다. 품질 평가기(230)는 목표 모델과 목표 이미지가 잘 매칭되지 않는 경우 목표 이미지의 평가 점수를 낮출 수 있다.The
낮은 평가 점수를 가지는 목표 이미지는 객체에 대한 검출의 실패로 이어질 수 있다. 예를 들어, 객체가 얼굴인 경우, 손상된(damaged) 얼굴 이미지를 사용한 경우 객체 검출기(250)가 얼굴을 제대로 검출하지 못할 수 있다. 손상된 얼굴 이미지는 대각 방향 얼굴, 변형된 얼굴, 얼굴이 아닌 경우, 이미지가 트위스트된 경우, 자세가 이상한 경우, 이미지의 조도가 낮은 경우, 이미지가 흐릿한 경우 등을 포함할 수 있다.A target image with a low score may lead to detection failure for the object. For example, if the object is a face, the
품질 평가기(230)는 통계학을 기초로 구축된 수학 모델을 이용하여 평가 점수를 계산할 수 있다. 예를 들어, 수학 모델은 에이다부스트 알고리즘을 이용하여 구축될 수 있다.The
객체 검출기(250)는 평가 점수에 기초하여 목표 이미지로부터 객체를 검출할 수 있다. 객체 검출기(250)는 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 객체의 검출을 수행할지 여부를 결정할 수 있다.The
객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단할 수 있다. 객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 이상인 경우, 객체의 검출을 수행할 수 있다.The
객체 검출기(250)는 목표 이미지의 평가 점수가 검출 기준 점수 이상인 경우, 미리 저장된 목표 이미지와 동일한 유형의 객체를 포함하는 데이터와 비교할 수 있다. 객체 검출기(250)는 객체 검출 결과를 결정하기 위해서 객체를 식별(identify)할 수 있다.The
예를 들어, 객체가 얼굴이고, 목표 이미지의 평가 점수가 검출 기준 점수 이상인 경우, 객체 검출기(250)는 목표 이미지와 얼굴 이미지가 저장된 빅데이터를 비교하여 목표 이미지의 검출 결과를 획득할 수 있다. For example, when the object is a face and the evaluation score of the target image is equal to or greater than the detection reference score, the
객체 검출기(250)는 보안 영역에서 촬영된 사람의 얼굴 이미지의 평가 점수가 검출 기준 점수 이상인 경우, 얼굴 이미지를 미리 저장된 얼굴 이미지 데이터와 비교하여 촬영된 사람의 인물 정보를 획득하고, 촬영된 사람에 대한 진입의 허용 여부를 결정할 수 있다.If the evaluation score of the face image of the person photographed in the security area is equal to or greater than the detection reference score, the
객체 검출기(250)는 평가 점수가 검출 기준 점수 미만인 경우, 목표 이미지에 대하여 객체의 검출을 중단함으로써, 이미지 처리 시간을 단축시킬 수 있다. 객체 검출기(250)는 현재 프레임에 대한 객체의 검출을 중단한 후, 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정할 수 있다.The
객체 검출기(250)는 비교 결과에서 상기 평가 점수가 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정할 수 있다.The
이미지의 다음 프레임은 동일한 객체가 포함된 복수의 이미지를 연속적으로 촬영하여 획득될 수 있다. 다음 프레임은 동일한 객체에 대해 여러 번 촬영된 상이한 프레임들을 규칙적으로 분류된 프레임들 중에서 다음 프레임을 의미할 수 있고, 동일 유형의 객체를 포함하는 프레임을 의미할 수 있다.The next frame of the image can be obtained by successively photographing a plurality of images including the same object. The next frame may refer to the next frame among the regularly framed frames different frames photographed many times for the same object, and may refer to a frame including objects of the same type.
예를 들어, 객체가 사람의 얼굴인 경우, 얼굴을 포함하는 목표 이미지의 평가 점수가 검출 기준 점수 미만인 경우, 얼굴에 대한 검출을 중단하고, 다음 프레임의 얼굴에 대한 검출을 수행할 수 있다.For example, if the object is a human face, if the evaluation score of the target image including the face is less than the detection reference score, the detection of the face can be stopped and the detection of the face of the next frame can be performed.
다음 프레임은 동일한 촬영자가 연속적으로 촬영한 복수의 프레임 중에서 프레임 순서에 따른 다음 프레임을 의미할 수 있고, 동일한 촬영자가 서로 다른 프레임들을 규칙적으로 분류한 프레임 중에서 다음 프레임을 의미할 수 있고, 또는 상이한 촬영자가 촬영한 프레임을 의미할 수 있다.The next frame may mean the next frame according to the frame order among a plurality of frames continuously shot by the same photographer, may mean the next frame among the frames in which the same photographer regularly classifies different frames, May refer to a frame photographed by a photographer.
객체 검출기(250)는 기계 학습 알고리즘을 이용하여 객체를 검출할 수 있다. 예를 들어, 객체 검출기(250)는 에이다부스트(Adaboost) 알고리즘을 이용하여 객체를 검출할 수 있다.The
객체 검출기(250)는 객체 관한 학습 모델을 채택하여 객체에 대한 검출 속도를 향상시킬 수 있다. 이를 통해 객체 검출기(250)는 검출 속도를 향상시킬 수 있을 뿐만 아니라, 객체의 검출에 대한 품질을 반영할 수 있다. 예를 들어, 객체 검출기(250)는 에이다부스트 학습 모델을 이용하여 얼굴 검출을 수행할 수 있다.The
도 3은 도 2에 도시된 목표 이미지 획득기의 개략적인 블록도를 나타낸다.Figure 3 shows a schematic block diagram of the target image acquister shown in Figure 2;
도 3을 참조하면, 목표 이미지 획득기(210)는 목표 영역 획득기(target area acquirer, 211), 정보 추출기(information extractor, 213) 및 정규화기(normalizator, 215)를 포함할 수 있다.3, the
목표 영역 획득기(211)는 이미지로부터 객체를 포함하는 목표 영역을 획득할 수 있다. 목표 영역 획득기(211)는 이미지에 포함된 객체를 검출하고, 객체로부터 객체의 특징을 검출하여 목표 영역을 획득할 수 있다.The
목표 영역 획득기(211)는 목표 모델을 이용하여 이미지에 포함된 객체를 검출하고, 객체로부터 객체의 특징을 검출하여 목표 영역을 획득할 수 있다. 예를 들어, 객체가 사람의 얼굴인 경우, 목표 영역 획득기(211)는 이미지에 포함된 얼굴을 검출하고, 얼굴의 특징을 검출하고, 얼굴 영역을 획득할 수 있다.The
목표 영역 획득기(211)는 제1 목표 모델을 이용하여 목표 영역을 획득할 수 있다. 또한, 목표 영역 획득기(211)는 에이다부스트 알고리즘을 이용하여 목표 영역을 분리할 수 있다.The
정보 추출기(213)는 목표 영역으로부터 객체의 특징과 관련된 정보를 추출할 수 있다. 객체의 특징과 관련된 정보는 객체의 특징 자체, 객체의 특징의 윤곽선, 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 객체의 특징이 목표 영역에서 차지하는 면적 중 적어도 하나를 포함할 수 있다.The
객체의 특징은 객체를 다른 대상과 차별화시킬 수 있는 객체의 일부를 의미할 수 있다. 예를 들어, 객체가 사람의 얼굴인 경우, 객체의 특징은 사람의 눈, 코, 입 등을 포함할 수 있다.A characteristic of an object can mean a part of an object that can distinguish the object from another object. For example, when the object is a face of a person, the characteristic of the object may include a person's eyes, nose, mouth, and the like.
객체가 사람의 얼굴인 경우, 목표 영역은 얼굴 영역을 의미할 수 있고, 객체의 특징과 관련된 정보는 눈, 코, 윤곽, 입술 및 눈썹과 그들의 형태를 포함할 수 있다.If the object is a face of a person, the target area may refer to a face area, and the information related to the characteristics of the object may include eyes, nose, contours, lips and eyebrows and their shapes.
객체의 특징과 관련된 정보는 복수의 특징에 대한 정보를 포함할 수 있다.The information related to the characteristics of the object may include information about a plurality of features.
객체의 특징과 관련된 정보는 얼굴의 각 특징이 얼굴 영역에서 차지하는 면적 및 각 특징들 사이의 상대 위치를 포함할 수 있다.The information associated with the feature of the object may include an area occupied by each feature of the face in the face region and a relative position between the features.
정보 추출기(213)는 SDM(Supervised Descent Method)를 사용하여 객체의 특징과 관련된 정보를 획득할 수 있다. SDM은 주로 비선형 최소 제곱 함수(nonlinear least squares function)를 최소화 하기 위하여 사용될 수 있다. 정보 추출기(213)는 객체의 특징을 검출하는 목표 함수(objective function)의 최적화, 즉, 객체의 특징과 관련된 정보의 해를 최적화할 수 있다.The
정보 추출기(213)는 에이다부스트 알고리즘을 이용하여 객체의 특징과 관련된 정보를 추출할 수 있다. 예를 들어, 객체가 얼굴인 경우, 정보 추출기(213)는 에이다부스트 알고리즘을 이용하여 얼굴의 특징과 관련된 정보를 추출할 수 있다.The
정규화기(215)는 객체의 특징과 관련된 정보에 기초하여 목표 영역을 정규화하여 목표 이미지를 획득할 수 있다. 정규화기(215)는 목표 영역을 확대 또는 축소하여 근사 처리할 수 있다.The
정규화기(215)는 예정된 정규화 범위 내의 초기 처리된 목표 이미지를 획득할 수 있다. 일반적인 객체의 인식은 범위를 설정하므로, 이미지의 크기가 설정된 범위 내에서만 객체를 인식할 수 있다.The
예를 들어, 수신한 이미지가 비교적 큰 경우, 축소/확대 공식 등에 따라 목표 영역 및 객체와 관련된 특징에 대하여 계산할 수 있다. 정규화기(215)는 객체의 특징, 형태, 크기 및 목표 영역 내에서 객체의 특징이 차지하는 면적이 비례하여 축소/확대시켜 정규화된 크기의 범위 내인 목표 이미지를 획득할 수 있다. 이를 통해, 정규화기(215)는 품질 평가 및 객체의 검출을 용이하게 만들 수 있다.For example, if the received image is relatively large, it can be calculated for features related to the target area and object according to a reduction / enlargement formula and the like. The
목표 이미지의 소스매핑 좌표가 정수가 아닐 경우, 대응 픽셀 위치를 찾지 못하기 때문에, 정규화기(215)는 목표 이미지의 소스매핑 좌표를 정수로 만들기 위해 목표 영역을 근사 처리할 수 있다.If the source mapping coordinates of the target image are not integers, then the
근사 처리는 최근접 보간(nearest neighbor interpolation), 이중 선형 보간(bilinear interpolation), 하이오더 보간(high-order interpolation), 라그랑즈 보간(Lagrange interpolation) 및 뉴튼(Newton) 보간을 포함할 수 있다.The approximation process may include nearest neighbor interpolation, bilinear interpolation, high-order interpolation, Lagrange interpolation, and Newton interpolation.
예를 들어, 정규화기(215)는 객체가 사람의 얼굴인 경우, 얼굴 영역에서 추출한 얼굴의 특징과 관련된 정보에 따라 얼굴 영역의 이미지에 대하여 확대 또는 축소하여 근사처리를 수행할 수 있다. 정규화기(215)는 축소/확대 공식을 이용하여 얼굴 영역과 얼굴의 특징 등에 대하여 확대 또는 축소를 수행할 수 있다 For example, if the object is a human face, the
정규화기(215)는 얼굴의 특징에 포함되는 눈, 코, 윤곽, 입술, 눈썹 및 그들의 형태, 크기 및 목표 영역 내에서 얼굴의 특징이 차지하는 면적에 비례하여 확대 또는 축소시켜 정규화된 범위 내의 목표 이미지를 획득할 수 있다.The
정규화기(215)는 객체의 특징과 관련된 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화할 수 있다. 정규화기(215)는 척도 정규화된 근사 처리된 목표 영역을 조도 정규화하여 목표 이미지를 획득할 수 있다. The
정규화기(215)는 근사 처리된 목표 영역에 대하여 객체의 특징의 크기 및 각도를 보정할 수 있다. 예를 들어, 객체가 얼굴인 경우, 정규화기(215)는 얼굴의 특징에 포함되는 눈, 코, 윤곽, 입술, 눈썹 및 그들의 형태가 차지하는 면적 및 각 얼굴의 특징들의 상대위치 등의 얼굴 영역에 대하여 크기 및 회전 각도를 교정(correct)할 수 있다.The
각도의 교정은 원점을 둘러싼 회전, 임의의 포인트를 중심으로 하는 이미지의 회전을 포함할 수 있다. 근사 처리된 목표 영역이 회전하는 경우 이미지의 픽셀이 증가할 수 있다. 이 경우 정규화기(215)는 규정된 범위를 초과하는 이미지를 클리핑(clipping)하여 규정된 범위 내에 이미지가 존재하도록 할 수 있다.Calibration of the angle may include rotation around the origin, rotation of the image about an arbitrary point. When the approximated target area rotates, the pixels of the image may increase. In this case, the
예를 들어, 정규화기(215)는 얼굴 영역의 각도가 정규화 범위 내에 없으면 얼굴 영역에 대한 회전을 수행할 수 있다. 이 때, 정규화기(215)는 원점 또는 임의의 점을 중심으로 얼굴 영역을 회전 시킬 수 있다.For example, the
정규화기(215)는 얼굴 영역을 정규화하기 위해서 얼굴의 특징의 회전 각도, 얼굴의 회전 각도 및 얼굴 영역의 조도를 획득할 수 있다. 교정 방법은 목표 영역을 계산하기 위한 감마 변환(gamma transform), 가우시안 미분 필터링(Gaussian differential filter) 및 이미지의 명암 균등화(contrast equalization)를 포함할 수 있다.The
정규화기(215)는 목표 이미지의 인식을 편리하게 하기 위하여, 저조도 등을 개선하는 조도 정규화를 수행할 수 있다. 감마 변환은 그레이 스케일(gray scale) 내의 비선형 변환일 수 있다. 정규화기(215)는 상이한 감마 파라미터들을 변화시킴으로써 그레이 스케일 범위의 낮은 밝기를 가지는 영역, 그레이 스케일 압축 범위의 높은 세기의 위상을 가지는 영역을 효과적으로 강화시키고, 전체적인 이미지의 밝기를 조절할 수 있다.The
정규화기(215)는 물체에 따른 반사광과 입사광의 세기와 표면의 반사계수에 의하여 조도 정규화를 수행할 수 있다. 반사 계수는 대상의 구조 정보를 포함할 수 있다. 정규화기(215)는 이미지에 대하여 대수 변환을 통해 조도에 무관한 대상 구조 정보를 획득할 수 있다. The
가우시안 미분 필터링은 밴드패스 필터링 효과를 획득할 수 있다. 가우시안미분 필터링은 가우시안 함수의 2차 미분과 유사하고, 중심과 주변 구의 두 개의 가우시안 함수 응답의 차이를 이용하여 가우시안 스무스(smooth) 및 스무스 후의 결과에 대한 2차 미분을 처리하여 이미지의 가장자리를 검출하고 포지셔닝을 기능을 가질 수 있다.Gaussian differential filtering can achieve the bandpass filtering effect. Gaussian differential filtering is similar to the second derivative of the Gaussian function and uses the difference of the two Gaussian function responses of the center and the surrounding sphere to process the second derivatives of the Gaussian smooth and post- And can have a positioning function.
가우시안 미분 필터링은 이미지의 노이즈에 의한 왜곡과 품질 감소를 제거하거나 감소할 수 있어서, 이미지의 품질을 개선하여 객체의 검출율을 향상시킬 수 있다. 대표 균등화의 목적은 전체 영상의 그레이 레벨을 재조정하여 전체 영상의 밝기가 표준에 도달하게 할 수 있다.Gaussian differential filtering can eliminate or reduce noise distortion and quality degradation of the image, thereby improving the image quality and improving the object detection rate. The purpose of equalization is to re-adjust the gray level of the entire image so that the brightness of the entire image reaches the standard.
얼굴 이미지는 광원의 색상, 이미지 수집 장비의 색상 편차에 쉽게 영향을 받을 수 있다. 얼굴 이미지는 이미지 색상의 따뜻함, 차가움, 파랑, 노랑 등에 치우칠 수 있고, 컴퓨터에 저장, 전송 처리되는 과정에서도 색상의 왜곡이 생길 수 있고, 이는 이미지의 그레이 값 및 명암에도 영향을 미칠 수 있다.Face images can be easily affected by the color of the light source and the color variations of the image acquisition equipment. Face images can be shifted to the warmth, coolness, blue, and yellow of the color of the image, and color distortions may occur in the process of being stored and transmitted to a computer, which may also affect the gray value and contrast of the image.
얼굴 이미지의 왜곡들은 얼굴을 검출하는데 영향을 주기 때문에 정규화기(215)는 조도 정규화를 수행하여 조도를 균일하게 만들 수 있다. 정규화기(215)는 가우시안 미분 필터링과 명암 균등화를 수행하여 광원의 색상, 이미지 수집 장치의 색상 편차에 의한 영향을 감소시켜 객체를 검출하는데 필요한 시각 요소를 획득할 수 있다.Since the distortions of the facial image affect the detection of the face, the
정규화기(215)는 객체의 특징과 관련된 정보를 보정할 수 있다. 보정은 크기 및 각도의 보정을 포함할 수 있다. 정규화기(215)는 크기 및 각도를 교정함으로써 목표 이미지가 정규화 범위 내의 표준 이미지가 되도록 할 수 있다. 예를 들어, 정규화기(2150는 얼굴 이미지를 얼굴의 정면 이미지가 되도록 할 수 있다.The
정규화기(215)는 목표 이미지의 픽셀 값을 미리 설정할 수 있다. 픽셀 값은 미리 정해진 값일 수 있고, 정해진 범위일 수도 있다. 예를 들어, 정규화기(215)는 얼굴 영상의 픽셀 값을 예정된 픽셀 값 또는 예정된 픽셀 값 범위 내로 조정할 수 있다.The
정규화기(215)는 목표 이미지를 품질 평가기(230)로 출력할 수 있다. The
도 4는 도 1의 이미지 처리 장치의 동작의 예를 나타내고, 도 5는 일 실시예에 따른 MB-LBP(Multi-scale Block Local Binary Patterns)의 그리드를 나타낸다.FIG. 4 shows an example of the operation of the image processing apparatus of FIG. 1, and FIG. 5 shows a grid of MB-LBP (Multi-scale Block Local Binary Patterns) according to an embodiment.
도 4 및 도 5를 참조하면, 이미지 처리 장치(10)는 이미지를 수신하고, 이미지를 처리함으로써, 객체를 검출할 수 있다. 이미지 처리 장치(10)는 복수의 분류기를 포함할 수 있다.4 and 5, the image processing apparatus 10 can detect an object by receiving an image and processing the image. The image processing apparatus 10 may include a plurality of classifiers.
이미지 처리 장치(10)는 에이다부스트 알고리즘을 이용하여 이미지 처리를 수행할 수 있다. 에이다부스트 알고리즘은 다수의 약 분류기(weak classifier)를 결합하여 하나의 강 분류기(strong classifier)를 형성하는 반복 알고리즘일 수 있다. 에이다부스트 알고리즘은 후보 약 분류기에서 하나의 약 분류기를 선택하고, 선택된 약 분류기의 분류 오차 함수(classification error function)를 가장 작게 만드는 것일 수 있다.The image processing apparatus 10 can perform image processing using an AdaBoost algorithm. The AdaBoost algorithm can be an iterative algorithm that combines a number of weak classifiers to form a strong classifier. The AdaBoost algorithm may be to select one weak classifier in the candidate weak classifier and minimize the classification error function of the selected weak classifier.
특정 샘플 포인트가 정확하게 분류되면 다음 학습을 수행할 집합을 구축하고, 가중치는 감소될 수 있다. 특정 샘플 포인트가 정확하게 분류되지 않으면, 가중치는 증가될 수 있다.Once a specific sample point is correctly classified, a set is constructed to perform the next learning, and the weight can be reduced. If a particular sample point is not correctly classified, the weight can be increased.
업데이트된 샘플의 집합들은 다음 약 분류기를 학습시키는데 사용될 수 있고, 전체 학습 과정은 반복적으로 이루어질 수 있다.The updated sets of samples can then be used to learn the next weak classifier, and the entire learning process can be iterative.
오차 함수는 아래의 수학식 1과 같이 나타낼 수 있다.The error function can be expressed by Equation (1) below.
여기서, Jwse는 평가 점수를 의미하고, N은 샘플의 수량을 의미하고, wi는 샘플의 가중치(weight)를 의미하고, yi는 샘플의 라벨을 의미하고, fm은 약 분류기를 의미하고, xi는 샘플의 특징을 의미할 수 있다.Here, J wse denotes the evaluation score, N denotes the number of samples, w i denotes the weight of the sample, y i denotes the label of the sample, and f m denotes the weak classifier , And x i can be a characteristic of the sample.
최종적으로 결정되는 강 분류기는 수학식 2와 같이 나타낼 수 있다.The finally determined strong classifier can be expressed as Equation (2).
강 분류기가 샘플 집합을 테스트한 검출율과 정확도가 주어진 임계값에 도달하거나, 모든 약 분류기가 사용되면 학습이 정지될 수 있다. 강 분류기는 배경과 객체를 구별하는 점수를 의미할 수 있다. 강 분류기는 객체와 목표 모델 간의 유사도 점수를 의미할 수 있다. 예를 들어, 강 분류기는 배경과 얼굴을 나누는 점수를 의미할 수 있고, 사람의 얼굴과 이미지 간의 유사도 점수를 의미할 수 있다.Learning can be stopped if the detection rate and accuracy with which the strong classifier has tested the sample set reaches a given threshold, or if all weak classifiers are used. A strong classifier can mean a score that distinguishes the background from the object. A strong classifier can mean a similarity score between an object and a target model. For example, a strong classifier can mean a score that divides the background into faces and can mean a similarity score between a person's face and the image.
객체가 사람의 얼굴인 경우에, 목표 이미지 획득기(210)는 얼굴 이미지를 획득하고, 품질 평가기(230)는 얼굴 이미지의 품질을 평가할 수 있다. If the object is a face of a person, the
품질 평가기(230)는 얼굴 검출 학습 모델을 직접 사용하여 에이다부스트가 출력한 점수를 이미지와 얼굴 모델의 유사점수로 사용할 수 있다.The
객체 검출기(250)는 얼굴 이미지에 대한 평가 점수가 검출 기준 점수보다 낮을 때 얼굴 검출을 수행하지 않고, 평가 점수가 검출 기준 점수보다 크거나 같을 때, 얼굴 검출을 수행할 수 있다. 예를 들어, 검출 기준 점수는 450일 수 있다. 검출 기준 점수는 실험에 따라 변경될 수 있다.The
도 5에서와 같이 에이다 부스트 알고리즘 MB-LBP(Multi-scale Block Local Binary Patterns)를 이용하여 로컬 2차원 패턴에 기초한 이미지와 목표 이미지와 객체의 특징과 관련된 정보를 추출할 수 있다. MB-LBP의 특징은 약 분류기로 입력될 수 있다. MB-LBP는 3×3 그리드 영역일 수 있다. 그리드 영역은 이미지의 임의의 위치에 놓일 수 있다.As shown in FIG. 5, the image based on the local two-dimensional pattern and the information related to the feature of the target image and the object can be extracted using the AdaBoost algorithm MB-LBP (Multi-scale Block Local Binary Patterns). The characteristics of the MB-LBP can be input into the weak classifier. The MB-LBP may be a 3x3 grid area. The grid area may be placed anywhere in the image.
MB-LBP는 그리드 내의 각각의 영역 픽셀의 평균 값을 계산하고, 주위의 그리드 픽셀의 평균 값과 중심 그리드 픽셀의 평균값을 비교할 수 있다. MB-LBP는 이진법 코딩을 이용하여 픽셀 값을 비교할 수 있다.MB-LBP can calculate the average value of each area pixel in the grid and compare the average value of the surrounding grid pixels with the average value of the center grid pixels. MB-LBP can compare pixel values using binary coding.
MB-LBP는 0부터 255 사이의 숫자일 수 있고, 수학식 3과 같이 나타낼 수 있다.MB-LBP may be a number between 0 and 255, and can be expressed by Equation (3).
여기서 gi는 각 그리드 영역의 픽셀 값을 의미할 수 있다. 에이다부스트 분류기는 멀티플 브랜치 트리(multiple branch tree)를 약 분류기로 사용할 수 있다. 멀티플 브랜치 트리는 수학식 4와 같이 정의될 수 있다.Here, g i can mean the pixel value of each grid area. The AdaBoost classifier can use a multiple branch tree as a weak classifier. The multiple branch tree can be defined as Equation (4).
여기서 xk는 MB-LBP의 특징 값을 의미하고, aj(j=0, ..., 255)는 분류기 파라미터를 의미할 수 있다. 분류기 파라미터는 수학식 5를 이용하여 계산될 수 있다.Here, x k denotes the feature value of the MB-LBP, and a j (j = 0, ..., 255) may mean a classifier parameter. The classifier parameter may be calculated using Equation (5).
여기서 wi는 샘플 i의 가중치를 의미하고, xi는 샘플 i의 MB-LBP 특징 값을 의미하고, yi는 샘플 i의 라벨을 의미할 수 있다.Where w i denotes the weight of the sample i, x i denotes the MB-LBP feature value of the sample i, and y i denotes the label of the sample i.
도 6은 일 실시예에 따른 이미지 처리 방법의 동작의 순서도를 나타낸다.6 shows a flowchart of the operation of the image processing method according to one embodiment.
도 6을 참조하면, 목표 이미지 획득기(210)는 이미지로부터 객체를 포함하는 목표 이미지를 획득할 수 있다(S610). 예를 들어, 목표 이미지 획득기(210)는 제1 목표 모델을 이용하여 목표 이미지를 획득할 수 있다. 목표 모델은 에이다부스트 적응형 알고리즘 분류기(adaptive algorithm classifier)를 포함할 수 있다.Referring to FIG. 6, the
품질 평가기(230)는 목표 이미지의 품질을 평가하여 평가 점수를 계산할 수 있다(S630). 품질 평가기(230)는 목표 이미지의 품질이 높을수록 높은 평가 점수를 부여할 수 있고, 목표 이미지의 품질이 낮을수록 낮은 평가 점수를 부여할 수 있다. 품질 평가기(230)는 객체 검출기(250)와 동일한 기계 학습 알고리즘을 사용하여 목표 이미지의 품질을 평가할 수 있다.The
품질 평가기(230)는 목표 이미지로부터 목표 모델을 구축하여 품질을 평가할 수 있다. 품질 평가기(230)는 제2 목표 모델을 이용하여 목표 이미지의 품질을 평가할 수 있다. 목표 모델은 에이다부스트 알고리즘을 통해 구축될 수 있다.The
객체 검출기(250)는 평가 점수에 기초하여 목표 이미지로부터 객체를 검출할 수 있다(S650). 객체 검출기(250)는 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 객체의 검출을 수행할지 여부를 결정할 수 있다.The
객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단할 수 있다. 객체 검출기(250)는 비교 결과에서 평가 점수가 검출 기준 점수 이상인 경우, 객체의 검출을 수행할 수 있다.The
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to the drawings, various technical modifications and variations may be applied to those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (20)
상기 이미지로부터 객체(object)를 포함하는 목표 이미지(target image)를 획득하는 단계;
상기 목표 이미지의 품질(quality)을 평가하여 평가 점수(evaluation score)를 계산하는 단계; 및
상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 단계
를 포함하는 이미지 처리 방법.
Receiving an image;
Obtaining a target image including an object from the image;
Evaluating the quality of the target image and calculating an evaluation score; And
Detecting the object from the target image based on the evaluation score
/ RTI >
상기 획득하는 단계는,
상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 단계;
상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 단계; 및
상기 정보에 기초하여 상기 목표 영역을 정규화(normalization)하여 상기 목표 이미지를 획득하는 단계
를 포함하는 이미지 처리 방법.
The method according to claim 1,
Wherein the acquiring comprises:
Obtaining a target area including the object from the image;
Extracting information related to a characteristic of the object from the target area; And
And normalizing the target region based on the information to obtain the target image
/ RTI >
상기 목표 영역을 획득하는 단계는,
상기 이미지에 포함된 상기 객체를 검출하는 단계; 및
상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득하는 단계
를 포함하는 이미지 처리 방법.
3. The method of claim 2,
Wherein acquiring the target region comprises:
Detecting the object included in the image; And
Detecting a characteristic of the object from the object to obtain the target region
/ RTI >
상기 정보는,
상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적
중 적어도 하나를 포함하는 이미지 처리 방법.
3. The method of claim 2,
The information includes:
A feature of the object, an outline of the feature of the object, a relative position of the feature of the object in the target area, and an area occupied by the feature of the object in the target area
≪ / RTI >
상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 단계는,
상기 목표 영역을 확대 또는 축소하여 근사 처리 하는 단계;
상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화(scale normalization)하는 단계; 및
척도 정규화된 근사 처리된 목표 영역을 조도 정규화(illumination normalization)하여 상기 목표 이미지를 획득하는 단계
를 포함하는 이미지 처리 방법.
3. The method of claim 2,
Wherein normalizing the target region to obtain the target image comprises:
Enlarging or reducing the target area and approximating the target area;
Performing scale normalization on the approximated target area using the information; And
Acquiring the target image by performing illumination normalization on the scaled normalized approximated target area
/ RTI >
상기 척도 정규화하는 단계는,
상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정하는 단계
를 포함하는 이미지 처리 방법.
6. The method of claim 5,
Wherein the scale normalization step comprises:
Correcting a size and an angle of a feature of the object with respect to the approximated target area
/ RTI >
상기 검출하는 단계는,
상기 평가 점수와 검출 기준 점수를 비교하는 단계; 및
비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정하는 단계
를 포함하는 이미지 처리 방법.
The method according to claim 1,
Wherein the detecting comprises:
Comparing the evaluation score with a detection reference score; And
Determining whether to perform detection of the object based on a result of the comparison
/ RTI >
상기 결정하는 단계는,
상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하는 단계; 및
상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행하는 단계
를 포함하는 이미지 처리 방법.
8. The method of claim 7,
Wherein the determining comprises:
Stopping the detection of the object when the evaluation score is less than the detection reference score in the comparison result; And
Performing detection of the object when the evaluation score is equal to or greater than the detection reference score in the comparison result
/ RTI >
상기 결정하는 단계는,
상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정하는 단계
를 더 포함하는 이미지 처리 방법.
9. The method of claim 8,
Wherein the determining comprises:
Determining whether to perform detection of an object included in the next frame based on an evaluation score of an object included in a next frame when the evaluation score is less than the detection reference score in the comparison result
The image processing method further comprising:
상기 객체를 검출하는 단계는,
에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출하는 단계
를 포함하는 이미지 처리 방법.
The method according to claim 1,
Wherein detecting the object comprises:
Detecting the object using an AdaBoost algorithm
/ RTI >
상기 이미지의 품질을 평가함으로써 상기 이미지에 포함된 객체(object)를 검출하는 컨트롤러
를 포함하고,
상기 컨트롤러는,
상기 이미지로부터 상기 객체를 포함하는 목표 이미지(target image)를 획득하는 목표 이미지 획득기(target image acquirer);
상기 목표 이미지의 품질을 평가하여 평가 점수(evaluation score)를 계산하는 품질 평가기(quality evaluator); 및
상기 평가 점수에 기초하여 상기 목표 이미지로부터 상기 객체를 검출하는 객체 검출기(object detector)
를 포함하는 이미지 처리 장치.
A receiver for receiving an image; And
A controller for detecting an object included in the image by evaluating the quality of the image,
Lt; / RTI >
The controller comprising:
A target image acquirer for obtaining a target image including the object from the image;
A quality evaluator for evaluating the quality of the target image and calculating an evaluation score; And
An object detector for detecting the object from the target image based on the evaluation score,
And the image processing apparatus.
상기 목표 이미지 획득기는,
상기 이미지로부터 상기 객체를 포함하는 목표 영역을 획득하는 목표 영역 획득기(target area acquirer);
상기 목표 영역으로부터 상기 객체의 특징과 관련된 정보를 추출하는 정보 추출기(information extractor); 및
상기 정보에 기초하여 상기 목표 영역을 정규화하여 상기 목표 이미지를 획득하는 정규화기(normalizator)
를 포함하는 이미지 처리 장치.
12. The method of claim 11,
The target image acquirer includes:
A target area acquirer for obtaining a target area including the object from the image;
An information extractor for extracting information related to a characteristic of the object from the target area; And
A normalizer for normalizing the target region based on the information to obtain the target image,
And the image processing apparatus.
상기 목표 영역을 획득기는,
상기 이미지에 포함된 상기 객체를 검출하고, 상기 객체로부터 상기 객체의 특징을 검출하여 상기 목표 영역을 획득하는
이미지 처리 장치.
13. The method of claim 12,
The acquiring device for the target area,
Detecting the object included in the image, detecting a characteristic of the object from the object, and acquiring the target region
Image processing device.
상기 정보는,
상기 객체의 특징 자체, 상기 객체의 특징의 윤곽선, 상기 객체의 특징이 상기 목표 영역에서 가지는 상대적 위치 및 상기 객체의 특징이 상기 목표 영역에서 차지하는 면적
중 적어도 하나를 포함하는 이미지 처리 장치.
13. The method of claim 12,
The information includes:
A feature of the object, an outline of the feature of the object, a relative position of the feature of the object in the target area, and an area occupied by the feature of the object in the target area
The image processing apparatus comprising:
상기 정규화기는,
상기 목표 영역을 확대 또는 축소하여 근사 처리 하고, 상기 정보를 이용하여 근사 처리된 목표 영역을 척도 정규화하고, 척도 정규화된 근사 처리된 목표 영역을 조도 정규화하여 상기 목표 이미지를 획득하는
이미지 처리 장치.
13. The method of claim 12,
The normalizer includes:
The target area is enlarged or reduced and approximated, the target area subjected to the approximation process is normalized using the information, and the target area subjected to the scale normalization is subjected to roughness normalization to obtain the target image
Image processing device.
상기 정규화기는,
상기 근사 처리된 목표 영역에 대하여 상기 객체의 특징의 크기 및 각도를 보정하는
이미지 처리 장치.
16. The method of claim 15,
The normalizer includes:
And correcting the size and the angle of the feature of the object with respect to the approximated target area
Image processing device.
상기 객체 검출기는,
상기 평가 점수와 검출 기준 점수를 비교하고, 비교 결과에 기초하여 상기 객체의 검출을 수행할지 여부를 결정하는
이미지 처리 장치.
12. The method of claim 11,
Wherein the object detector comprises:
Compares the evaluation score with a detection reference score, and determines whether to perform detection of the object based on the comparison result
Image processing device.
상기 객체 검출기는,
상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 상기 객체의 검출을 중단하고, 상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 이상인 경우, 상기 객체의 검출을 수행하는
이미지 처리 장치.
18. The method of claim 17,
Wherein the object detector comprises:
And stops detection of the object when the evaluation score is less than the detection reference score in the comparison result and performs detection of the object when the evaluation score is not less than the detection reference score
Image processing device.
상기 객체 검출기는,
상기 비교 결과에서 상기 평가 점수가 상기 검출 기준 점수 미만인 경우, 다음 프레임에 포함된 객체의 평가 점수에 기초하여 상기 다음 프레임에 포함된 객체의 검출을 수행할지 여부를 결정하는
이미지 처리 장치.
19. The method of claim 18,
Wherein the object detector comprises:
Determining whether to perform detection of the object included in the next frame based on the evaluation score of the object included in the next frame when the evaluation score is less than the detection reference score in the comparison result
Image processing device.
상기 객체 검출기는,
에이다부스트(Adaboost) 알고리즘을 이용하여 상기 객체를 검출하는
이미지 처리 장치.
12. The method of claim 11,
Wherein the object detector comprises:
The object is detected using the AdaBoost algorithm
Image processing device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/926,161 US10977509B2 (en) | 2017-03-27 | 2018-03-20 | Image processing method and apparatus for object detection |
| US17/227,704 US11908117B2 (en) | 2017-03-27 | 2021-04-12 | Image processing method and apparatus for object detection |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710188186.1 | 2017-03-27 | ||
| CN201710188186.1A CN108664840A (en) | 2017-03-27 | 2017-03-27 | Image-recognizing method and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180109665A true KR20180109665A (en) | 2018-10-08 |
| KR102641115B1 KR102641115B1 (en) | 2024-02-27 |
Family
ID=63785471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180000698A KR102641115B1 (en) | 2017-03-27 | 2018-01-03 | A method and apparatus of image processing for object detection |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102641115B1 (en) |
| CN (1) | CN108664840A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102243466B1 (en) | 2020-05-13 | 2021-04-22 | 주식회사 파이리코 | Method and apparatus for detecting eye of animal in image |
| KR102246471B1 (en) | 2020-05-13 | 2021-04-30 | 주식회사 파이리코 | Apparatus for detecting nose of animal in image and method thereof |
| KR20210119843A (en) * | 2020-03-25 | 2021-10-06 | 경일대학교산학협력단 | Monitoring device and monitoring method |
| KR20230082255A (en) * | 2021-12-01 | 2023-06-08 | 주식회사 포딕스시스템 | Object Image standardization apparatus and method thereof |
| US11977981B2 (en) | 2019-05-17 | 2024-05-07 | Samsung Electronics Co., Ltd. | Device for automatically capturing photo or video about specific moment, and operation method thereof |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635142B (en) * | 2018-11-15 | 2022-05-03 | 北京市商汤科技开发有限公司 | Image selection method and device, electronic equipment and storage medium |
| CN109784274B (en) * | 2018-12-29 | 2021-09-14 | 杭州励飞软件技术有限公司 | Method for identifying trailing and related product |
| CN110189300B (en) * | 2019-04-22 | 2021-03-09 | 中国科学院微电子研究所 | Detection method and detection device for process quality of hole-shaped structure, storage medium and processor |
| CN110473181A (en) * | 2019-07-31 | 2019-11-19 | 天津大学 | Screen content image based on edge feature information without ginseng quality evaluating method |
| CN110837821A (en) * | 2019-12-05 | 2020-02-25 | 深圳市亚略特生物识别科技有限公司 | Identity recognition method, equipment and electronic system based on biological characteristics |
| CN111339363B (en) * | 2020-02-28 | 2020-12-15 | 厦门铨通网络科技有限公司 | Image recognition method and device and server |
| CN111462069B (en) * | 2020-03-30 | 2023-09-01 | 北京金山云网络技术有限公司 | Training method and device for target object detection model, electronic equipment and storage medium |
| CN111340140A (en) * | 2020-03-30 | 2020-06-26 | 北京金山云网络技术有限公司 | Image data set acquisition method and device, electronic equipment and storage medium |
| CN112101448B (en) * | 2020-09-10 | 2021-09-21 | 敬科(深圳)机器人科技有限公司 | Screen image recognition method, device and system and readable storage medium |
| CN112308055B (en) * | 2020-12-30 | 2021-11-02 | 北京沃东天骏信息技术有限公司 | Evaluation method and device of face retrieval system, electronic equipment and storage medium |
| CN112613492B (en) * | 2021-01-08 | 2022-02-11 | 哈尔滨师范大学 | Data processing method and device |
| CN112967467B (en) * | 2021-02-24 | 2022-07-29 | 九江学院 | Cultural relic anti-theft method, system, mobile terminal and storage medium |
| CN113933294B (en) * | 2021-11-08 | 2023-07-18 | 中国联合网络通信集团有限公司 | Concentration detection method and device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014505952A (en) * | 2011-02-18 | 2014-03-06 | ナショナル・アイシーティ・オーストラリア・リミテッド | Image quality assessment |
| KR20160022596A (en) * | 2014-08-20 | 2016-03-02 | 세종대학교산학협력단 | Apparatus for recongnizing face using mct and method thereof |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8270695B2 (en) * | 2008-10-07 | 2012-09-18 | Carestream Health, Inc. | Diagnostic image processing with automatic self image quality validation |
| CN101661557B (en) * | 2009-09-22 | 2012-05-02 | 中国科学院上海应用物理研究所 | Face recognition system and face recognition method based on intelligent card |
| KR20140055819A (en) * | 2012-11-01 | 2014-05-09 | 삼성전자주식회사 | Appparatus and method for face recognition |
| CN104978550B (en) * | 2014-04-08 | 2018-09-18 | 上海骏聿数码科技有限公司 | Face identification method based on extensive face database and system |
| CN105139003B (en) * | 2015-09-17 | 2018-07-06 | 桂林远望智能通信科技有限公司 | A kind of dynamic human face recognition system and method |
-
2017
- 2017-03-27 CN CN201710188186.1A patent/CN108664840A/en active Pending
-
2018
- 2018-01-03 KR KR1020180000698A patent/KR102641115B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014505952A (en) * | 2011-02-18 | 2014-03-06 | ナショナル・アイシーティ・オーストラリア・リミテッド | Image quality assessment |
| KR20160022596A (en) * | 2014-08-20 | 2016-03-02 | 세종대학교산학협력단 | Apparatus for recongnizing face using mct and method thereof |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11977981B2 (en) | 2019-05-17 | 2024-05-07 | Samsung Electronics Co., Ltd. | Device for automatically capturing photo or video about specific moment, and operation method thereof |
| KR20210119843A (en) * | 2020-03-25 | 2021-10-06 | 경일대학교산학협력단 | Monitoring device and monitoring method |
| KR102243466B1 (en) | 2020-05-13 | 2021-04-22 | 주식회사 파이리코 | Method and apparatus for detecting eye of animal in image |
| KR102246471B1 (en) | 2020-05-13 | 2021-04-30 | 주식회사 파이리코 | Apparatus for detecting nose of animal in image and method thereof |
| KR20230082255A (en) * | 2021-12-01 | 2023-06-08 | 주식회사 포딕스시스템 | Object Image standardization apparatus and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102641115B1 (en) | 2024-02-27 |
| CN108664840A (en) | 2018-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102641115B1 (en) | A method and apparatus of image processing for object detection | |
| KR101808467B1 (en) | Feature extraction and matching and template update for biometric authentication | |
| RU2711050C2 (en) | Image and attribute quality, image enhancement and identification of features for identification by vessels and faces and combining information on eye vessels with information on faces and / or parts of faces for biometric systems | |
| US11527105B2 (en) | System and method for scalable cloud-robotics based face recognition and face analysis | |
| Kang et al. | Real-time image restoration for iris recognition systems | |
| Nishiyama et al. | Facial deblur inference using subspace analysis for recognition of blurred faces | |
| US11908117B2 (en) | Image processing method and apparatus for object detection | |
| KR102393298B1 (en) | Method and apparatus for iris recognition | |
| CN109284673B (en) | Object tracking method and device, electronic equipment and storage medium | |
| US20210064851A1 (en) | Age recognition method, storage medium and electronic device | |
| CN111612741B (en) | Accurate reference-free image quality evaluation method based on distortion recognition | |
| JP6071002B2 (en) | Reliability acquisition device, reliability acquisition method, and reliability acquisition program | |
| CN109035167B (en) | Method, device, equipment and medium for processing multiple faces in image | |
| CN110705353A (en) | Method and device for identifying face to be shielded based on attention mechanism | |
| CN112784712B (en) | Missing child early warning implementation method and device based on real-time monitoring | |
| WO2019061659A1 (en) | Method and device for removing eyeglasses from facial image, and storage medium | |
| CN113869449A (en) | Model training method, image processing method, device, equipment and storage medium | |
| KR101084594B1 (en) | Real time image recognition system, and method thereof | |
| CN117496019B (en) | Image animation processing method and system for driving static image | |
| CN110348353B (en) | Image processing method and device | |
| Lin et al. | Face detection based on skin color segmentation and SVM classification | |
| JP2006285959A (en) | Learning method of face recognition device, and method, device and program for face recognition | |
| WO2022120532A1 (en) | Presentation attack detection | |
| CN112801002A (en) | Facial expression recognition method and device based on complex scene and electronic equipment | |
| Abboud et al. | Quality based approach for adaptive face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |