KR20140026977A - Method and apparatus for classifying the moving objects in video - Google Patents
Method and apparatus for classifying the moving objects in video Download PDFInfo
- Publication number
- KR20140026977A KR20140026977A KR1020120093300A KR20120093300A KR20140026977A KR 20140026977 A KR20140026977 A KR 20140026977A KR 1020120093300 A KR1020120093300 A KR 1020120093300A KR 20120093300 A KR20120093300 A KR 20120093300A KR 20140026977 A KR20140026977 A KR 20140026977A
- Authority
- KR
- South Korea
- Prior art keywords
- objects
- class classification
- class
- unit
- classification
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 비디오에서 검출된 움직이는 물체들의 분류에 관한 것이다. 보다 상세히, 비디오에서 검출된 이동물체를 다중 클래스로 분류한 후, 분류 결과를 보정하는 방법에 관한 것이다. The present invention relates to the classification of moving objects detected in video. More particularly, the present invention relates to a method for classifying a moving object detected in a video into multiple classes and then correcting the classification result.
이미지를 분류하는 선행문헌의 일 예로는 <CVPR'08> A Discriminatively Trained, Multiscale, Deformable Part Model -IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008 가 있다. 이상의 논문에서는 입력 이미지가 어떤 클래스의 이미지에 속하는지를 영상 에지 성분의 방향과 정도를 고려하는 histogram of oriented gradient(HOG)를 사용하여 판별한다. 이 기술은 영상 전체를 탐색해야 하는 시간복잡도로 인해 비디오에서 온라인 물체 검출이나 분류에 적용하기 어렵다. One example of the prior art for classifying images is A Discriminately Trained, Multiscale, Deformable Part Model-IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008. In this paper, we use histogram of oriented gradient (HOG), which takes into account the direction and degree of image edge components, to determine which class of image the input image belongs to. This technique is difficult to apply to online object detection or classification in video due to the time complexity of searching the entire image.
상세히, 슬라이딩 윈도우 기반의 비디오 물체 분류는 전처리를 위한 비디오 분석 시스템(e.g., 움직임 검출 및 추적)의 성능에 종속되지 않는다는 장점이 있지만, 분류기 자체의 높은 시간 복잡도와 더불어 비디오 프레임 전체를 탐색하는 방법론 때문에 빠른 계산을 돕기 위한 물리적 장치의 도움 없이는 온라인 비디오 물체 분류에 적합하지 않다. 이는 물체 분류기와 슬라이딩 윈도우에 기반하는 모든 물체 탐색 및 분류 방법들의 공통된 문제에 해당된다.Specifically, sliding window based video object classification has advantages in that it does not depend on the performance of the video analysis system for preprocessing (eg, motion detection and tracking), but also because of the high temporal complexity of the classifier itself, It is not suitable for on-line video object classification without the help of physical devices to aid in quick calculation. This is a common problem of all object search and classification methods based on object classifiers and sliding windows.
또 다른 이동물체 분류에 관한 선행문헌으로는 <AVSS'08> An integrated system for moving object classification in surveillance videos -IEEE International Conference on Advanced Video and Signal-based Surveillance (AVSS), 2008이 있다. 이 기술은 비디오에서 물체를 사람과 자동차로 이진 분류 방법으로 정의하고 있어 비디오에 등장하는 다양한 종류의 물체를 상세히 구별하기 어려운 문제점이 있다. Another prior art on moving object classification is AVSS'08 An integrated system for moving object classification in surveillance videos-IEEE International Conference on Advanced Video and Signal-Based Surveillance (AVSS), 2008. This technology defines objects in video as binary classification by human and automobile, and it is difficult to distinguish various kinds of objects appearing in video in detail.
본 발명의 바람직한 일 실시예에서는, 종래에 이동물체를 분류함에 있어 높은 시간 복잡도의 문제를 해결하고, 비디오 영상 내에 다양한 물체를 분류할 수 있는 다중 클래스 분류기를 제안한다. In a preferred embodiment of the present invention, there is proposed a multi-class classifier capable of solving the problem of high time complexity in classifying moving objects and classifying various objects in a video image.
본 발명의 또 다른 바람직한 일 실시예에서는, 비디오 영상의 매 프레임의 물체 분류 결과를 개별적으로 사용하는 것이 아니라 물체 추적 결과와 병합을 통해 분류기가 비디오 영상의 매 프레임을 분석시 잡음으로 인한 결과의 오류를 개선하고자 한다. According to another preferred embodiment of the present invention, the object classification result of each frame of the video image is not individually used, but the classification result is combined with the object tracking result so that the classifier analyzes the frame of the video image, .
본 발명의 또 다른 바람직한 일 실시예에서는, ECOC(Error correcting output code) 방식 적용한 결과 클래스 분류값의 정확도가 높은 물체들에 대한 정보를 미리 학습한 학습 분류기에서 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하는 방법을 통해 사용자의 입력이 없이도 비디오의 해상도 및 프레임 크기와 무관하게 클래스 분류 결과를 교정하고자 한다.According to another preferred embodiment of the present invention, in a learning classifier in which information on objects with high accuracy of class classification values obtained by applying an error correcting output code (ECOC) method is learned in advance, We classify the classification results regardless of the resolution and frame size of the video without inputting the user through the method of inputting and vectorizing and then learning the recursion function by nonparametric method through Gaussian process regression (GPR).
본 발명의 바람직한 일 실시예로서, 이동물체 분류장치는 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한 후, 1차적으로 gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하고, 2차적으로 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 1차적으로 분류한 클래스 분류값의 정확도를 보정하는 클래스분류부; 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부; 상기 클래스분류부에서 보정된 클래스 분류값과 상기 물체추적부의 물체 추적결과에 따른 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부; 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함한다.As a preferred embodiment of the present invention, a moving object classification apparatus extracts features of objects in motion regions of a video using a multi-block local binary pattern (MB-LBP) method, and then, through a gentle Adaboost classifier, A classifying unit for classifying the classes of the objects and secondly correcting the accuracy of classifying values that are primarily classified by applying an error correcting output code (ECOC) method to the class classification values of the objects; An object tracking unit for tracking objects in the video motion regions during t frames to generate t class classification value histories for each of the objects to track objects; Wherein the class classification unit compares the class classification value corrected by the class classification unit with t class classification value histories according to the object tracking result of the object tracking unit to select a temporally consistent class classification value, Error correcting errors; Velocity, and magnitude of objects in the video motion region, vectorizes them, and learns a recurrence function by a non-parametric method through GPR (Gaussian Process Regression), and class classification values And a regression analysis unit for further calibrating the regression analysis unit.
본 발명의 또 바람직한 일 실시예로서, 이동물체 분류방법은 특징추출부에서 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출하는 단계; gentle Adaboost 분류기에서 상기 추출된 물체들의 특징을 기초로 상기 물체들의 클래스를 분류하여 클래스 분류값을 산출하는 단계; 물체분류보정부에서 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 단계; 물체추적부에서 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 단계; 상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 단계; 및 회기분석부에서 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류가 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 단계;를 포함하는 것을 특징으로 한다. According to another embodiment of the present invention, there is provided a moving object classification method comprising the steps of: extracting features of objects in motion regions of a video in a feature extraction unit using a multi-block local binary pattern (MB-LBP) scheme; classifying the classes of objects based on the features of the extracted objects in the gentle Adaboost classifier and calculating class classification values; Correcting the accuracy of the class classification value by applying an error correcting output code (ECOC) method to the classification value of the objects in the object classification corrector; Tracking objects in the video motion regions in an object tracking unit for t frames to generate t class classification value histories for each of the objects to track objects; Correcting an error of the class classification value corrected by the class classification unit by comparing the class classification value corrected by the object classification corrector and the t class classification value history and selecting a temporally consistent class classification value; Speed and magnitude of the objects in the video motion region are received and vectorized by the motion analyzing unit, and the motion function is learned through a non-parametric method through GPR (Gaussian Process Regression) And further correcting the class classification value.
본 발명의 또 다른 일 실시예로서, 이동물체 분류장치는 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출하는 특징 추출부; gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하는 물체분류부; 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 물체분류보정부; 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부;상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부; 및 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함하는 것을 특징으로 한다. According to another embodiment of the present invention, a moving object classification apparatus includes a feature extraction unit for extracting features of objects in motion regions of a video using a multi-block local binary pattern (MB-LBP) scheme; an object classifying unit classifying the class of the objects through a gentle Adaboost classifier; An object classification corrector for correcting the accuracy of the class classification value by applying an error correcting output code (ECOC) method to the class classification values of the objects; An object tracking unit for tracking objects in the video motion regions for t frames to generate t class classification value histories for each of the objects to track objects; An error correction unit for correcting an error of the class classification value corrected by the class classification unit by comparing the class classification value histories of the plurality of class classification values and selecting a temporally consistent class classification value; And a position, velocity and magnitude of objects in the video movement area are received, vectorized, and a recurrence function is learned by a non-parametric method through GPR (Gaussian Process Regression), and class classification And a regression analyzing unit for further calibrating the value of the regression analyzing unit.
본 발명의 바람직한 일 실시예에서 이용하는 MB-LBP는 적분이미지를 통해 빠르게 계산되고, 또한 결정트리 형태의 약한 분류기는 분류 과정을 메모리 접근과 덧셈 연산만으로 수행하게끔 해주기 때문에 시스템의 시간복잡도가 매우 작고 실시간으로 동작함으로 온라인 상에서 비디오 물체 판별이 가능하게 하는 효과가 있다. Since the MB-LBP used in the preferred embodiment of the present invention is quickly calculated through the integral image and the weak classifier in the decision tree type causes the classification process to be performed only by the memory access and the addition operation, the time complexity of the system is very small, So that the video object can be discriminated on-line.
본 발명에서는 또한 물체 추적과 물체 분류의 병합을 통해 시간상으로 일관성 있는 분류를 가능케 하며 결과적으로 잡음성 분류 결과를 억제하는 효과가 있다. The present invention also enables consistent classification in time through object tracking and merging of object classification, and consequently has the effect of suppressing the classification result of the noise classification.
본 발명에서는 또한 비모수적 회기분석을 통해 사용자의 어떠한 입력도 없이, 또한 비디오의 해상도 및 프레임 크기에 상관없이 분류 결과를 교정할 수 있는 효과가 있다.The present invention also has the effect of correcting the classification result regardless of the resolution and the frame size of the video without any input of the user through the non-parametric station analysis.
도 1 은 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치의 내부 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치에서 학습 데이터를 획득하는 일 예를 도시한다.
도 3 내지 4는 MB-LBP 특징 추출의 예를 도시한다.
도 5 는 약한 분류기(weak classifier)들을 추정 및 취합하는 Gentle AdaBoost의 개념도를 도시한다.
도 6은 j번째 특징에 해당하는 약한 분류기에서 학습과정의 일 예를 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 물체분류부의 학습 결과의 예시를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, ECPC 가설 행렬 및 가설 행렬의 구성요소를 도시한다.
도 9는 본 발명의 바람직한 일 실시예로서, 이동물체 분류방법의 흐름도를 도시한다. Fig. 1 shows an internal construction of a moving object sorting apparatus according to a preferred embodiment of the present invention.
2 shows an example of acquiring learning data in a moving object classifying apparatus according to a preferred embodiment of the present invention.
Figs. 3 to 4 show examples of MB-LBP feature extraction.
Figure 5 shows a conceptual diagram of Gentle AdaBoost for estimating and aggregating weak classifiers.
FIG. 6 shows an example of a learning process in a weak classifier corresponding to the j-th feature.
Fig. 7 shows an example of the learning result of the object classifying section as one preferred embodiment of the present invention.
8 illustrates components of an ECPC hypothesis matrix and a hypothetical matrix as a preferred embodiment of the present invention.
Fig. 9 shows a flow chart of a moving object classification method according to a preferred embodiment of the present invention.
이하, 본 발명의 기술적 사상을 명확화하기 위한 발명의 구성을 본 발명의 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the structure of the invention for clarifying the technical idea of the present invention will be described in detail with reference to the accompanying drawings based on the embodiments of the present invention, It is to be understood that the same reference numerals are given to other drawings and that elements of other drawings may be cited when necessary in the description of the drawings.
도 1 은 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치(100)의 내부 구성도를 도시하고, 도 2 는 본 발명의 바람직한 일 실시예로서, 이동물체 분류장치에서 학습 데이터를 획득하는 일 예를 도시한다.FIG. 1 is a block diagram of an internal structure of a moving
본 발명의 바람직한 일 실시예에서 이동물체 분류장치(100)는 실시간 비디오 처리가 가능할 정도의 작은 시간 복잡도를 갖으면서도 다양한 물체를 분류할 수 있고, 또한 잡음에 강인한 물체 분류 결과를 얻기 위해 물체 분류 결과를 물체 추적 결과와 병합하며, 온라인으로 얻는 물체들의 정보를 회기분석으로 학습 및 활용한다.In the preferred embodiment of the present invention, the moving
본 발명의 바람직한 일 실시예로서, 이동물체분류장치(100)는 클래스분류부(101)를 통해 비디오의 움직임 영역들 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한 후, 1차적으로 gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하고, 2차적으로 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 1차적으로 분류한 클래스 분류값의 정확도를 보정한다. As a preferred embodiment of the present invention, the moving
상세히, 이동물체분류장치(100)는 입력 비디오 영상의 움직임 영역들은 30×30px2크기로 리사이징한 후, MB-LBP 방식을 통해 움직임 영역들 내의 물체들의 특징을 4900가지로 추출이 가능하다(도 3 내지 4 관련 설명 참고). In detail, the moving
그 후, gentle AdaBoost 분류기를 통해 추출된 4900개의 특징 중 일부만을 선택하고, 선택된 특징들에 대해서만 약한 분류기(weak classifier)들을 학습하여 각 물체들이 속하는 클래스를 일차적으로 분류한다(도 5 내지 8 관련 설명 참고). Thereafter, only some of the 4900 features extracted through the gentle AdaBoost classifier are selected, and weak classifiers are selected only for the selected features, thereby classifying the classes belonging to the respective objects into a primary class (refer to Figs. 5 to 8 Reference).
gentle AdaBoost 분류기는 이진 분류기이므로, 이진 분류기를 조합하여 다중 클래스 분류기를 생성하는 ECOC 방식을 적용하여 일차적으로 분류된 클래스 분류값을 보다 정확하게 보정한다. Since the gentle AdaBoost classifier is a binary classifier, it applies the ECOC method that generates a multi-class classifier by combining binary classifiers to more accurately correct the class classification values classified in the first place.
이상의 방식을 통해 클래스 분류부(101)에서는 각 프레임 내의 비디오 영상의 물체들의 클래스 분류값을 정확하게 보정을 수행하며, 물체추적부(140)는 비디오 영상의 물체들을 t 개의 프레임 동안 추적하여 t개의 클래스 분류값 히스토리를 생성한다. In this way, the
오류 수정부(150)에서는 클래스 분류값에서 구해진 개별 프레임의 클래스 분류값을 물체추적부(140)의 t개의 클래스 분류값 히스토리와 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 분류의 오류를 수정한다. The
그 후 회기 분석부(160)에서는 사전에 학습된 방법을 통해 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 오류수정부(150)에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정이 필요한 경우 교정을 수행한다. Then, the
도 2 를 참고하면, 본 발명의 바람직한 일 실시예에서 이동물체 분류장치(100)는 사전에 미리 학습된 분류기를 이용한다. 도 2 를 참고하여 사전에 분류기에서 학습 데이터를 획득하는 과정을 설명하면 다음과 같다. Referring to FIG. 2, in a preferred embodiment of the present invention, the moving
이동물체 분류장치(100)에서는 학습에 사용될 감시 비디오 영상(S100)에서 움직임 검출 및 추적을 통해 이동 물체를 검출하고 추적한다(S110). 이 후, 검출된 이동물체들 중 학습에 사용될 이미지들(S111)을 리사이징 한 후(s120), 클래스를 부여한다(s130). The moving
이동물체 분류장치(100)는 기본적으로 사전에 미리 학습된 분류기에 기반한다. 즉, 움직임 검출 및 추적 모듈의 출력(s110)에 기반하여 이동물체를 검출 및 추적하여 30*30px2 크기로 리사이징 된 학습에 사용될 이미지들 내지 물체 영역의 이미지들(s111)에 대해 사람이 직접 어떤 클래스의 비디오 물체인지를 판단하여 학습시킨다. The moving
본원 발명의 바람직한 일 실시예에서 이동물체 분류장치(100)는 비디오에 등장하는 물체의 종류를 사람(person,P), 사람그룹(person group, PG), 이륜차(vehicle 2, V2), 사륜차(vehicle 4, V4),사륜차그룹((vehicle 4 group, V4G) 및 오류(unknown, U)로 정의하여 학습을 위한 데이터를 획득할 수 있다. In a preferred embodiment of the present invention, the moving
도 1 을 참고하면, 본원 발명의 이동물체 분류장치(100)는 특징추출부(110), 물체분류부(120), 물체분류보정부(130), 물체추적부(140), 오류수정부(150) 및 회기분석부(160)를 포함한다. 1, the moving
특징추출부(110)는 비디오의 움직임 영역들을 특정 사이즈로 리사이징 한 후 MB-LBP(Multi-block local binary pattern) 방식으로 상기 움직임 영역들 내의 물체들의 특징을 추출한다. 도 3 내지 4는 MB-LBP 특징 추출의 예를 도시한다. 이하에서 도 3 내지 4를 참고하여 특징추출부(110)에 대해 설명하면 다음과 같다. The
본원 발명의 바람직한 일 실시예로서, 입력 비디오 영상의 움직임 영역들은 30×30px2크기로 리사이징 된다. 이 후, MB-LBP 방식을 통해 움직임 영역들 내의 물체들의 특징이 추출된다. 본 발명의 바람직한 일 실시예서는 MB-LBP 방식은 30×30px2크기의 이미지에서 4900가지의 템플릿을 정의한다. 따라서 본 발명의 바람직한 일 실시예에 따른 MB-LBP 방식은 4900가지의 MB-LBP 특징값이 존재한다. As a preferred embodiment of the present invention, motion regions of an input video image are resized to a size of 30 × 30 px 2 . Then, the features of the objects in the motion regions are extracted through the MB-LBP scheme. In a preferred embodiment of the present invention, the MB-LBP scheme defines 4900 templates in an image of 30 × 30 px 2 size. Therefore, in the MB-LBP scheme according to the preferred embodiment of the present invention, there are 4900 MB-LBP feature values.
본 발명의 바람직한 일 실시예에서 MB-LBP 방식은 리사이징된 이미지 상에서 다양한 위치와 크기, 종횡비를 갖는 3*3의 정규화된 블럭들로 이루어진 템플릿을 배치시킨 후(410, 420), 각 블럭에서의 픽셀값의 평균을 비교하여 이진수를 생성한다. In a preferred embodiment of the present invention, the MB-LBP method includes arranging (410, 420) templates of normalized blocks of 3 * 3 having various positions, sizes, and aspect ratios on a resized image The average of the pixel values is compared to generate a binary number.
상세히, 템플릿의 블럭들이 포함하는 픽셀값들의 평균을 취한 후(411.421), 가운데 블럭을 기준으로 대소관계를 가려 이진화 한 후(412,422), 이를 십진수로 변환(413, 423)하면 대응하는 MB-LBP를 얻는다. In detail, after taking an average of the pixel values included in the blocks of the template 411.421, binarizing 412 and 422 based on the middle block, and converting them to
물체분류부(120)는 특징추출부(110)에서 비디오 움직임 영역들 내의 물체들로부터 추출된 특징을 기초로 gentle AdaBoost 분류기를 통해 1차적으로 각 물체들이 속하는 클래스를 분류한다.The
본 발명의 바람직한 일 실시예로서, 물체분류부(120)는 비디오에 등장하는 물체의 종류를 사람(person,P), 사람그룹(person group, PG), 이륜차(vehicle 2, V2), 사륜차(vehicle 4, V4),사륜차그룹(vehicle 4 group, V4G) 및 오류(unknown, U)로 정의하고, 1차적으로 온라인으로 비디오 물체의 클래스를 판별한다. In one preferred embodiment of the present invention, the
물체분류부(120)에서 이용하는 gentle AdaBoost 분류기의 상세 설명을 위해 도 5 내지 7을 참고하여 설명하면 다음과 같다. A detailed description of the gentle AdaBoost classifier used in the
도 5 는 약한 분류기(weak classifier)들을 추정 및 취합하는 Gentle AdaBoost의 개념도를 도시하고, 수학식 1 내지 3은 약한 분류기의 결정트리를 계산하는 방법 및 약한 분류기의 출력값을 계산하는 방법을, 도 7은 약한 분류기를 학습하는 과정의 일 예를 도시한다. 5 shows a conceptual diagram of Gentle AdaBoost for estimating and collecting weak classifiers.
도 5를 참고하면, 물체분류부(120)에서 이용하는 gentle adaboost는 여러 약한 분류기들의 집합으로 구성되며, 각 약한 분류기들은 4900가지의 특징 중 하나에 대해 그 값을 받아 이진 분류를 수행한다. Referring to FIG. 5, the gentle adaboost used in the
먼저 모든 4900가지의 특징들에 대해 약한 분류기를 학습한 다음, 그중 가장 작은 오차제곱을 갖는 약한 분류기를 선택하여 해당 이진 분류기에 추가한다(S510, S520). 또한 추가된 약한 분류기를 이용해 학습 데이터셋을 분류해보고 잘못 분류된 학습 데이터에 더 큰 가중치를 준다(S530). 수정된 가중치를 이용하여 앞의 과정을 반복하면서 약한 분류기들을 학습 및 추가한다. 본 발명의 바람직한 일 실시예에서는 약한 분류기를 500개까지 학습한다. First, a weak classifier is learned for all 4900 features, and then a weak classifier having the smallest error square is selected and added to the corresponding classifier (S510, S520). In addition, the learning data set is classified using the added weak classifier and the weighted learning data is weighted more heavily (S530). We use the modified weights to learn and add weak classifiers by repeating the previous steps. In a preferred embodiment of the present invention, up to 500 weak classifiers are learned.
다시 말해, 본 발명의 바람직한 일 실시예에서 약한 분류기는 특징추출부(110)에서 MB-LBP 방식을 통해 추출한 4900가지의 특징 중 하나의 값을 수신하여 이진 분류를 수행한다. In other words, in the preferred embodiment of the present invention, the weak classifier receives one of the 4900 features extracted through the MB-LBP scheme in the
하나의 약한 분류기는 MB-LBP 방식을 통해 추출한 4900가지의 특징 중 하나의 값에 집중하며, 각 특징들은 학습 데이터마다 0에서부터 255 사이의 정수값 중 하나를 취한다. 그 후, 약한 분류기는 256가지의 모든 경우에 대해서 이진 레이블에 대한 신뢰도를 출력하는, 256개의 가지(branch)를 가지는 결정트리 (decision tree)의 형태를 가진다. One weak classifier focuses on one of the 4900 features extracted through the MB-LBP method, and each feature takes one of the integer values from 0 to 255 for each training data. The weak classifier then takes the form of a decision tree with 256 branches, outputting the confidence for the binary label for all 256 cases.
예를 들어, 4900가지의 특징 중 j번째 특징에 해당하는 약한 분류기의 결정트리 계산방식은 수학식 1 및 2를, 약한 분류기의 출력값은 수학식 3과 같다. For example, the decision tree calculation method of the weak classifier corresponding to the j-th feature among the 4900 features is expressed by
수학식 1에서 i는 학습데이터의 인덱스를 가리키고, j는 특징의 인덱스를 가리키며 xi j 는 i번째 학습데이터의 j번째 특징을 의미하고, wi는 i번째 학습데이터의 가중치를 나타내며, yi는 i번째 학습데이터의 실제 레이블을 나타내고, fj는 j번째 특징에 해당하는 약한 분류기를 의미한다. Where i denotes an index of learning data, j denotes an index of a feature, x i j denotes a jth characteristic of the ith learning data, wi denotes a weight of the i-th learning data, yi denotes i Th training data, and fj represents a weak classifier corresponding to the jth feature.
결과적으로 ε(fj)는 j번째 약한 분류기인 fj 가 학습 데이터셋에 적용되었을 때의 가중오차제곱합을 의미한다. As a result, ε (fj) denotes the weighted sum of squares when the jth weak classifier fj is applied to the training data set.
는 가중오차제곱합을 최소로 하는 j번째 약한 분류기를 나타낸다. Represents the jth weak classifier that minimizes the weighted sum of squares.
수학식 1내지 2를 통해 약한 분류기의 오차제곱을 최소화 한 후, j번째 약한 분류기가 k∈[0,255](이 경우 k는 입력되는 특징값을 나타낸다)를 입력으로 받았을 때, 출력값 은 수학식 3과 같다. After minimizing the error squared of the weak classifier through equations (1) and (2), when the jth weak classifier receives as input k∈ [0, 255] (in this case, k represents the input characteristic value) Is the same as
수학식 3에서 wi는 i번째 학습데이터의 가중치를, δ은 Kronecker delta 함수를, xi j 는 i번째 학습데이터의 j번째 특징을, k는 약한 분류기로의 임의의 입력을 나타낸다.In Equation (3), w i represents the weight of the ith training data, δ represents the Kronecker delta function, x i j represents the jth characteristic of the ith learning data, and k represents an arbitrary input to the weak classifiers.
도 6은 j번째 특징에 해당하는 약한 분류기에서 학습과정의 일 예를 도시한다. FIG. 6 shows an example of a learning process in a weak classifier corresponding to the j-th feature.
도 7 은 본 발명의 바람직한 일 실시예로서, 물체분류부(120)의 학습 결과의 예시를 도시한다. 상세히, 약한 분류기의 조합을 통해 강한 이진 분류기 하나를 생성하는 예를 도시한다. FIG. 7 shows an example of the learning result of the
도 7에서 F(x)는 강한 이진 분류기의 ~~값을, f1(x), f2(x), f3(x)...는 각각 약한 분류기의 출력값을 나타낸다. 각 출력값은 실수 범위 내에 있으며, 출력값의 부호는 클래스를, 출력값의 절대값은 분류의 신뢰도를 의미한다.
In Fig. 7, F (x) represents the output value of the weak classifier, and f 1 (x), f 2 (x), and f 3 (x) represent the output values of the weak classifiers. Each output value is in the real number range, the sign of the output value is the class, and the absolute value of the output value is the reliability of the classification.
물체분류보정부(130)는 물체분류부(120)에서 ECOC(Error correcting output code) 방식을 적용하여 물체분류부(120)에서 분류한 클래스 분류값, 즉 클래스 분류 정확도를 보정한다. 도 8 은 본 발명의 바람직한 일 실시예로서, ECOC 방식을 이용하는 가설 행렬(E) 및 가설행렬의 구성 요소를 도시한다. The
ECOC는 다양한 클래스의 조합으로 여러 이진 분류기들을 학습한 후, 실제 적용 시 여러 이진 분류기들의 출력값들을 조합하여 클래스를 부여하는 방법이다. 본 발명의 바람직한 일 실시예에서, 이진 분류기들을 학습하기 위한 클래스의 조합 구성은 가설 행렬 E를 통해 표현된다.ECOC is a method to assign classes by combining output values of several binary classifiers after learning several binary classifiers with various class combinations. In a preferred embodiment of the present invention, the combination of classes for learning binary classifiers is represented by a hypothesis matrix E.
도 8 에서 가상 행렬 E의 각 행은 ECOC를 구성하는 각 이진 분류기를 의미하며, 각 열을 정의된 클래스를 의미한다. 본 발명의 바람직한 일 실시예에서는 사람(person,P), 사람그룹(person group, PG), 이륜차(vehicle 2, V2), 사륜차(vehicle 4, V4),사륜차그룹(vehicle 4 group, V4G) 및 오류(unknown, U)의 6가지 클래스를 분류하기 위해 16가지의 이진 분류기를 학습하여 활용한다. In FIG. 8, each row of the virtual matrix E denotes each binary classifier constituting the ECOC, and each column denotes a defined class. In a preferred embodiment of the present invention, a person P, a person group PG, a
또한 가상 행렬 E의 각 요소들은 해당 이진 분류기가 어떤 클래스들과 어떤 클래스들을 구분하는지를 의미한다. 예를 들면, 도 8에서의 9번째 이진 분류기(F 9 )의 경우 사람(P)과 사람그룹(PG)을 나머지 클래스들과 구분는 방향으로 학습된다 (P = 1, PG = 1, V2 = -1, V4 = -1, V4G = -1, U = -1). 즉, 이진 분류기 F9는 P와 PG 클래스에 해당하는 데이터들의 레이블을 1로 두고 나머지 클래스에 해당하는 데이터들의 레이블을 -1로 설정하여 학습을 수행하도록 구현된다. In addition, each element of the virtual matrix E means which classes and classes are distinguished by the corresponding binary classifier. For example, in the case of the ninth binary classifier F 9 in FIG. 8, learning is performed in the direction of distinguishing the person P and the group PG from the remaining classes (P = 1, PG = 1, 1, V4 = -1, V4G = -1, U = -1). That is, the binary classifier F 9 is configured to set the label of data corresponding to the P and PG classes to 1 and set the label of data corresponding to the remaining classes to -1 to perform learning.
본원 발명의 바람직한 일 실시예로서, 이동물체 분류장치(100)는 특징 추출부(110)를 통해 전처리 모듈이 입력되는 비디오로부터 도출한 물체의 주요 특징을 추출하고, 물체 분류부(120)에서 추출한 특징을 기초로 각 물체가 어떤 클래스에 속하는지 분류값을 일차적으로 분류하며, 이후 물체분류보정부(130)를 통해 물체 분류부(120)에서 분류된 클래스 분류값을 보정하여 정확도를 향상시킨다. As a preferred embodiment of the present invention, the moving
이와 같이 본 발명의 바람직한 일 실시예로서 이동물체 분류장치(100)는 각 프레임에 대해서 물체 검출을 수행할 뿐만 아니라, 이하에서 설명하는 물체 추적부(140)를 통해 t(t는 자연수) 프레임동안 추적하고 있는 물체의 영역 이미지에서 추출된 물체의 특징들의 히스토리를 기반으로 오류수정부(150)에서 현재 검출된 물체의 클래스 분류가 적합한지 수정이 가능하다. As described above, the moving
일 예로, 제 7 프레임에서 추출된 움직임 영역 내의 물체의 특징이 사람으로 파악되어 클래스가 P(person)으로 분류되었으나, 제 1 프레임 내지 제 6 프레임의 물체 추적 결과가 사람 그룹 PG(person group)이었던 경우, 제 7 프레임에서 추출된 움직임 영역 내의 물체의 클래스 분류를 정정이 가능하다. 이로써 추적되고 있는 물체에 대한 클래스 분류가 일부 프레임에서 잘못 추론되는 경우에도 나머지 프레임들의 클래스 분류 결과를 통해 오류를 수정하거나 보상할 수 있다. For example, if the feature of the object in the motion area extracted in the seventh frame is identified as a person and the class is classified as P (person), the object tracking result of the first frame to the sixth frame is a person group PG , It is possible to correct the class classification of the object in the motion area extracted in the seventh frame. In this way, even if the class classification of the tracked object is erroneously inferred in some frames, the error can be corrected or compensated through the class classification result of the remaining frames.
상세히 설명하면, 물체추적부(140)는 비디오의 움직임 영역들 내의 물체들을 t 프레임 동안 추적하여 특징추출부(110), 물체분류부(120) 및 물체분류보정부(130)를 통해 t 개의 프레임동안 추적하고 있는 물체의 영역 이미지 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적한다. In detail, the
t 프레임동안 추적하고 있는 물체의 영역 이미지에서 추출된 특징들의 집합을 xt라 하자. 미리 학습해놓은 물체분류보정부(130)의 16개 이진 분류기의 출력을 F1(xt),F2(xt),...,F16(xt)와 같이 표시한다. Let x t be the set of features extracted from the region image of the object being tracked during the t frame. The outputs of the 16 binary classifiers of the
이 후, 도 8 의 실시예와 같이 가상 행렬 E의 각 열은 하나의 클래스에 대응하는 16차원의 코드가 되며, 16 개의 출력들이 ECOC 가설 행렬 E의 각 열과 얼마나 흡사한지를 기준으로 다중 클래스 분류를 수행하도록 구현된다. 이 경우, Hamming 거리에 기반하여 각 클래스 코드와의 유사도를 측정하며, 수학식 4와 같이 16개의 출력값과의 거리가 가장 작은 코드에 해당하는 클래스를 부여한다. 8, each column of the virtual matrix E becomes a 16-dimensional code corresponding to one class. Based on how 16 outputs are similar to the respective columns of the ECOC hypothesis matrix E, . In this case, the degree of similarity with each class code is measured based on the Hamming distance, and a class corresponding to the code having the smallest distance from the 16 output values is given as shown in Equation (4).
수학식 4에서 는 입력 xt에 부여되는 클래스를, Ec,j는 가설 행렬상의 [c,j]원소를, Fj(xt)는 j번째 이진 분류기의 출력을 나타낸다. In Equation 4, Is a class that is assigned to the input x t, E c, j is the [c, j] on the hypothesis matrix element, F j (x t) represents the output of the j-th binary classifier.
본 발명의 바람직한 일 실시예에서는 물체분류보정부(130)에서 각 프레임에 대한 클래스 분류값의 독립적인 분류 결과만이 아니라, 물체 추적부(140)에서 t개의 프레임에 대해 추적한 클래스 분류값을 함께 병합함으로써 시간상으로 일관성 있는 분류 결과를 유도할 수 있다. 즉, 추적되고 있는 물체에 대한 클래스가 일부 프레임에서 잘못 추론되어도 나머지 프레임들의 분류 결과를 통해 오류를 보상할 수 있다. In the preferred embodiment of the present invention, not only the classification results of the class classification values for each frame in the
본 발명의 바람직한 일 실시예에서, 물체 추적부(140)의 추적결과를 병합하는 방법 내지 물체추적부(140)에서 병합한 추적결과를 기초로 오류를 수정하는 방법은 수학식 5 내지 6을 참고한다. In a preferred embodiment of the present invention, a method of merging the tracking results of the
수학식 5에서, S(xt)는 t 프레임에서 각 클래스에 대한 적합도를, F1(xt),F2(xt),...,F16(xt)은 이진 분류기의 출력을 나타낸다. In Equation 5, S (x t) is the goodness of fit for each class in the frame t, F 1 (x t), F 2 (x t), ..., F 16 (x t) is the output of the binary classifier .
수학식 6에서 은 해당 물체x에게 부여된 클래스를 의미한다.In Equation (6) Denotes a class assigned to the object x.
본 발명의 바람직한 일 실시예에서, 개별 프레임에서의 물체 분류는 부정확한 결과를 일부 포함할 수 있으나, 물체 추적 모듈과의 병합을 통해 시간상으로 일관성 있는 분류를 가능케 하며 결과적으로 잡음성 분류 결과를 억할 수 있다.In one preferred embodiment of the present invention, object classification in an individual frame may include some inaccurate results, but merging with an object tracking module allows for consistent classification in time, .
이를 위해, 물체 추적부(140)에서는 추적결과를 병합하기 위하여 t 프레임에서 각 클래스에 대한 적합도 S(xt)를 수학식 5와 같이 가설행렬과 물체분류보정부(130)의 16개 이진 분류기의 출력값을 내적하여 유도한다. For this purpose, the
오류수정부(150)에서는 비디오 움직임 영역들의 각 프레임에 대해 물체분류보정부(130)에서 보정된 클래스 분류값과 물체추적부(140)의 물체 추적결과에 따른 t 개의 클래스 분류값 히스토리를 비교하여 각 프레임 내의 물체에 대해 일관성 있는 클래스를 부여한다. 이 경우, 오류수정부(150)에서 물체에 대해 일관성 있는 클래스를 부여하는 방식은 수학식 6과 같은 방식의 추론을 기반한다. The
수학식 6에 기술된 바와 같이 수학식 5에서 추론된 적합도와 이전 프레임들에서의 적합도들을 누적하여, 해당 물체의 클래스를 추론할 수 있다. As described in Equation (6), the fitness derived from Equation (5) and the fitnesses in the previous frames can be accumulated to infer the class of the object.
수학식 7 내지 11은 본 발명의 바람직한 일 실시예로서 회기분석부에서 GPR(Gaussian Process regression) 회기함수를 온라인으로 학습하는 방법을 나타낸다.Equations (7) to (11) represent a method for learning a Gaussian process regression (GPR) regression function on-line in a regression analysis unit as a preferred embodiment of the present invention.
회기분석부(160)는 이상에서 기술한 ECOC(Error correcting output code) 방식에 따라 클래스 분류값의 정확도가 높은 물체들의 정보를 미리 학습한 학습분류기를 이용한다. 학습분류기의 일 예로는 이상에서 기술한 다중 클래스 분류기가 있다. The
회기분석부(160)는 다중 클래스 분류기 통해 비디오 움직임 영역 내의 물체들을 분류하고, 분류의 신뢰도가 높은 비디오 물체들을 따로 모아 회기함수 학습에 이용한다. The
수학식 7은 비디오 영상 내의 물체 x 에 대한 다중 클래스 분류 신뢰도 b(x)를 구하는 수식을 도시한다. Equation (7) shows a formula for obtaining a multi-class classification reliability b (x) for an object x in a video image.
수학식 7에서 다중 클래스 분류 신뢰도 b(x)는 해당 물체에 대한 클래스 적합도들 중 가장 큰 값 s1(x)과 그 다음으로 큰 값 s2(x)의 차이에 비례한다.In Equation (7), the multi-class classification reliability b (x) is proportional to the difference between the largest value s 1 (x) and the next largest value s 2 (x) among the class fits for the object.
수학식 7에서 s1(x)과 s2(x)은 각각 다음과 같이표현이 가능하고, 이 경우 s1(x)는 여섯가지 클래스 적합도들 중 가장 큰 값을, s2(x)는 두번째로 큰 값을 나타내고, sc(x)는 c번째 클래스에 대한 적합도를 의미한다. S 1 (x) and s 2 (x) in Equation 7, and each can be represented as follows: In this case, s 1 (x) is the maximum value of the six different classes fit, s 2 (x) is , And s c (x) denotes fitness for the c-th class.
즉, 특정 클래스에 대한 적합도가 높고 다른 클래스에 대한 적합도들은 낮을수록 다중 클래스 분류의 신뢰도가 높다. That is, the higher the fitness for a certain class and the lower the fitness for other classes, the higher the reliability of the multi-class classification.
수학식 8에서 회기함수의 학습에 사용되는 비디오 물체들의 집합을 X라 할 경우, 비디오 영상 내의 특정 물체(x)의 클래스 분류 신뢰도(b(x))가 기설정된 임계치(θe)보다 크다면 집합 X에 해당 물체(x)를 포함시킨다.If the class classification reliability (b (x)) of the specific object (x) in the video image is greater than the preset threshold value (? E), the set of video objects used in the learning of the regression function is represented by X X contains the corresponding object (x).
수학식 9를 참고하면, 회기분석부(160)에서는 온라인으로 획득한 비디오 영상 내의 물체들의 집합 X로부터 클래스 개수만큼 회기함수를 학습한다. Referring to Equation (9), the
구체적으로, 온라인으로 획득한 비디오 영상 내의 물체들의 집합 X에 속하는 각 물체 x의 위치, 크기 및 속도를 회귀함수의 공통 입력(z)으로 추출한다. Specifically, the position, size, and velocity of each object x belonging to the set X of objects in the video image acquired on-line are extracted by the common input (z) of the regression function.
각 학습 데이터의 출력값은(yc) ECOC 다중 클래스 분류기에 의해 부여된 클래스 적합도에 기반한다. 구체적으로, c 클래스(c=1,2,...,6)를 위한 학습 데이터셋 Dc은 도 12(c)에 도시된 바와 같이{{z1, y1 c},{z2, y2 c}, ...,{zM, yM c}} 같이 구축된다. 여기서, M은 온라인으로 획득한, 회기함수 학습에 사용되는 비디오 물체들의 개수이다 (M=|X|). The output value of each learning data is based on the class fidelity given by the ECOC multi-class classifier (y c ). Specifically, the learning data set D c for the c class ( c = 1, 2, ..., 6) is {{z 1 , y 1 c }, {z 2 , y 2 c }, ..., {z M , y M c }}. Here, M is the number of video objects that are acquired on-line and are used for training function learning (M = | X |).
본 발명의 바람직한 일 실시예로서, 회기분석부(160)에서 각 클래스를 위한 회기함수는 GPR(Gaussian Process regression)([Rasmussen and Williams, 2006] [Bishop, 2006])을 통해 비모수적 방법으로 학습된다. As a preferred embodiment of the present invention, the recall function for each class in the
본 발명의 바람직한 일 실시예에서, GPR을 정의하기 위해서 RBF(radial basis function ) 커널(kernel)을 이용한다. In one preferred embodiment of the present invention, a radial basis function (RBF) kernel is used to define the GPR.
수학식 10을 참고하면, RBF 커널 k(zi, zj)은 두 입력 벡터들(zi, zj) 사이의 거리에 대한 지수함수로 표현된다. Referring to Equation (10), the RBF kernel k (z i , z j ) is expressed as an exponential function of the distance between two input vectors (z i , z j ).
본 발명의 바람직한 일 실시예에서, 클래스 적합도를 나타내는 각 학습 데이터의 출력값은(yc) 평균이 0인 가우시안 정규분포를 따르는 것으로 가정한다. 베이즈 규칙(Bayes'rule)에 의해 해당 정규 분포는 수학식 11과 같이 유도된다. In one preferred embodiment of the present invention, the output value of each learning data representing the class fit is assumed to be along the (y c) zero mean Gaussian normal distribution. The Bayesian rule (Bayes'rule) derives its normal distribution as follows:
또한, 정규 분포의 공분산행렬(C c)은 정의된 커널(k)과 학습데이터의 출력들(y c)에 대한 신뢰도(σ)로 표현되고, 공분산행렬(C c)의 [i,j] 원소는 수학식 11과 같이 유도된다. The normal distribution covariance matrix C c is expressed by the reliability k of the defined kernel k and the learning data y c and is expressed by the reliability i of the covariance matrix C c . The element is derived as shown in Equation (11).
수학식 12 내지 15는 본 발명의 바람직한 일 실시예에서 회귀분석부(160)가 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여 각 물체에 대한 클래스 분류값을 교정하는 방법을 도시한다. Equations (12) to (15) represent a method of correcting class classification values for each object by learning regression functions in a nonparametric method through a GPR (Gaussian Process Regression) in a preferred embodiment of the present invention Respectively.
수학식 12는 입력된 비디오 물체에(x') 대한 각 여섯가지 클래스들의 적합도를 나타낸다.
Equation (12) shows the fitness of each of the six classes for the input video object (x ').
본 발명의 바람직한 일 실시예로서 이동물체 분류장치(도 1, 100)의 입력으로 들어오는 비디오 영상에서 물체들을 분류하고, 분류된 물체들의 신뢰도가 높은 경우 회기분석부(160)에서는 해당 결과를 그대로 사용한다. In one preferred embodiment of the present invention, objects are classified in the video image input through the input of the moving object classification apparatus (FIGS. 1 and 100). When the reliability of the classified objects is high, the
회기분석부(160)에서는 분류 신뢰도가 낮은 경우, 수학식 7 내지 11에서학습된 회기함수를 이용하여 분류된 결과를 교정한다. 교정이 필요한 비디오 영상에서 분류된 물체 x'에 대한 크기, 위치, 속도를 추정한 결과를 z'라고 하는 경우, z'의 클래스 분류 결과를 추정하는 방법은 다음과 같다. When the classification reliability is low, the
새로운 입력 z'이 클래스 c에 속할 조건부 확률은 수학식 13의 정규분포 수식을 기초로 유도가 가능하다. 수학식 13에서 yc는 각 학습 데이터의 출력값, y c (z')은 온라인 학습 데이터로부터 유도한 새로운 입력 z'의 c번째 클래스에 대한 적합도를,는 i번째 온라인 학습 데이터의 c번째 클래스에 대한 가중치(수학식 14로 부터 도출)를, zi, zj 는 두 입력 벡터들을 나타내고, k(zi, zj)은 RBF 커널을 나타낸다. 수학식 14에서는 를 통해 M개의 온라인 학습 데이터 각각의 c번째 클래스에 대한 가중치들을 계산한다.The conditional probability that the new input z 'belongs to class c can be derived based on the normal distribution equation of equation (13). Y c is an output value of each learning data, y c (z ') represents the fitness for the c-th class of new input z' derived from the on-line learning data, Denotes the i-th weight of the c-th class of the e-learning data (derived from the equation 14), z i, z j denotes the two input vectors, (z i, z j) k is RBF kernel. In Equation (14) The weight for the c-th class of each of the M pieces of online learning data is calculated.
수학식 15는 본 발명의 바람직한 일 실시예로서, 회기분석부(160)에서 회기함수를 이용하여 분류된 결과를 교정한 것을 나타낸다. 수학식 15를 통해 분류된 결과를 교정하는 방법은 다음과 같다.Equation (15) is a preferred embodiment of the present invention, in which the result analyzed by the
먼저, 수학식 12에서 ECOC 다중 클래스 분류기를 통해 입력 물체의(x') 클래스 신뢰도들을 계산한 결과를 도출하고, 그 결과의 신뢰도가 기설정된 임계치(θe) 이상인 경우 해당 결과값을 분류를 위해 사용한다. First, the result of calculating the class reliability of the input object (x ') through the ECOC multi-class classifier in Equation (12) is derived. If the reliability of the result is higher than a predetermined threshold value? E, do.
그러나, 해당 결과가 기설정된 임계치(θe) 이하인 경우 수학식 13을 통해 온라인으로 취득한 학습 데이터로부터 각 클래스의 적합도 y c (z')를 추가로 계산한 후, 이를 수학식 12의 각 클래스 적합도와 곱해 새로운 클래스 적합도를 계산한다. However, if the result is equal to or less than the predetermined threshold value? E, the fitness value y c (z '), and then multiplies it by each class fidelity in Equation (12) to calculate a new class fidelity.
도 9는 본 발명의 바람직한 일 실시예로서, 이동물체 분류방법의 흐름도를 도시한다. Fig. 9 shows a flow chart of a moving object classification method according to a preferred embodiment of the present invention.
본 발명의 바람직한 일 실시예에서는 움직임 검출 및 추적 시스템에 기반한 비디오 물체 분류 시스템에서 이동물체를 분류하는 방법을 개시한다. A preferred embodiment of the present invention discloses a method of classifying moving objects in a video object classification system based on a motion detection and tracking system.
비디오 물체 분류 시스템에서는 주어진 비디오에서 움직임 영역을 검출하고 추적한 뒤, 해당 영역 내의 물체들의 특징을 MB-LBP(Multi-block local binary pattern) 방식으로 추출한다(S910). In the video object classification system, a motion region is detected and tracked in a given video, and then the features of the objects in the corresponding region are extracted by MB-LBP (S910).
이후 gentle Adaboost 분류기에서 추출된 물체들의 특징을 기초로 물체들의 클래스를 분류하여 클래스 분류값을 산출한다(S920). 이 후,ECOC(Error correcting output code) 방식을 적용하여 산출된 클래스 분류값의 정확도를 보정한다(S930).Thereafter, classes of objects are classified based on the features of the objects extracted from the gentle Adaboost classifier to calculate class classification values (S920). Thereafter, the accuracy of the class classification value calculated by applying an error correcting output code (ECOC) method is corrected (S930).
물체추적부에서 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하한다(S940). 이 후, 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정한다(S950). In step S940, the object tracking unit traces objects in the video motion regions for t frames to generate t class classification value histories for each of the objects to track the objects. Thereafter, the object classification corrector compares the corrected class classification value with the t class classification value history to select a temporally consistent class classification value, thereby correcting the error of the class classification value corrected in the class classification unit ( S950).
이 후, 회기분석부에서 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 오류가 수정된 각 물체에 대한 클래스 분류값에 대해 추가로 교정이 요구되는 경우 교정을 수행한다(S960).Thereafter, the position analyzing unit receives the positions, velocities, and sizes of the objects in the video motion region, and vectorizes the position, velocity, and magnitude of the objects in the video motion region. Then, the non-parametric method is learned through GPR (Gaussian Process Regression) If further calibration is required for the class classification value, calibration is performed (S960).
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.The present invention has been described above with reference to preferred embodiments thereof. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
Claims (7)
상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부;
상기 클래스분류부에서 보정된 클래스 분류값과 상기 물체추적부의 물체 추적결과에 따른 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부;
상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함하는 것을 특징으로 하는 이동물체 분류장치.After extracting features of objects in motion regions of the video using a MB-LBP (Multi-block Local Binary Pattern) method, the classes of the objects are first classified through a gentle Adaboost classifier, A classifying unit for correcting an accuracy of a class classification value that is primarily classified by applying an error correcting output code (ECOC) scheme to the value;
An object tracking unit for tracking objects in the video motion regions during t frames to generate t class classification value histories for each of the objects to track objects;
Wherein the class classification unit compares the class classification value corrected by the class classification unit with t class classification value histories according to the object tracking result of the object tracking unit to select a temporally consistent class classification value, Error correcting errors;
Velocity, and magnitude of objects in the video motion region, vectorizes them, and learns a recurrence function by a non-parametric method through GPR (Gaussian Process Regression), and class classification values And a station analyzing unit that further calibrates the moving object.
개별프레임마다 상기 클래스분류부를 통해 물체들의 클래스를 분류하고, 분류된 클래스 분류값의 정확도를 보정하며, 이상의 과정을 t개의 프레임에 대하여 수행하여 상기 t 개의 클래스 분류값 히스토리를 생성하는 것을 특징으로 하는 이동물체 분류장치.The apparatus according to claim 1, wherein the object tracking unit
Wherein the classification of objects is performed for each individual frame through the class classification unit, the accuracy of the classified class classification value is corrected, and the above process is performed for t frames to generate the t class classification value history. Moving object sorting device.
상기 ECOC(Error correcting output code) 방식 적용시 클래스 분류값의 정확도가 높은 물체들의 정보를 미리 학습하는 것을 특징으로 하는 이동물체 분류장치.The apparatus of claim 1, wherein the session analyzer
Moving object classification apparatus characterized in that to learn in advance the information of the objects having a high accuracy of the class classification value when applying the error correcting output code (ECOC) method.
gentle Adaboost 분류기에서 상기 추출된 물체들의 특징을 기초로 상기 물체들의 클래스를 분류하여 클래스 분류값을 산출하는 단계;
물체분류보정부에서 상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 단계;
물체추적부에서 상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 단계;
상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 단계; 및
회기분석부에서 상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류가 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 단계;를 포함하는 것을 특징으로 하는 이동물체 분류방법.Extracting characteristics of objects in motion regions of the video in a feature extraction unit using a multi-block local binary pattern (MB-LBP) scheme;
classifying the classes of objects based on the features of the extracted objects in the gentle Adaboost classifier and calculating class classification values;
Correcting the accuracy of the class classification value by applying an error correcting output code (ECOC) method to the classification value of the objects in the object classification corrector;
Tracking objects in the video motion regions in an object tracking unit for t frames to generate t class classification value histories for each of the objects to track objects;
Correcting an error of the class classification value corrected by the class classification unit by selecting a class classification value that is temporally consistent by comparing the class classification values corrected by the object classification correction unit with the t class classification value history; And
Velocity, and magnitude of objects in the video motion region are received and vectorized in a motion analyzing unit, and a regression function is learned by a non-parametric method through GPR (Gaussian Process Regression), and the class And further calibrating the classification value. ≪ Desc / Clms Page number 19 >
30*30 px2크기에서 4900 가지 템플릿 정의하는 것을 특징으로 하는 이동물체 분류방법.5. The method of claim 4, wherein the MB-LBP scheme
30 * 30 px < / RTI > and 2 < RTI ID = 0.0 > size. ≪ / RTI >
상기 ECOC(Error correcting output code) 방식 적용시 클래스 분류값의 정확도가 높은 물체들의 정보를 미리 학습하는 것을 특징으로 하는 이동물체 분류방법.The apparatus of claim 4, wherein the session analyzer
Moving object classification method characterized in that for learning the information of the objects of high accuracy of class classification value when applying the error correcting output code (ECOC) method.
gentle Adaboost 분류기를 통해 상기 물체들의 클래스를 분류하는 물체분류부;
상기 물체들의 클래스 분류값에 ECOC(Error correcting output code) 방식을 적용하여 상기 클래스 분류값의 정확도를 보정하는 물체분류보정부;
상기 비디오 움직임 영역들 내의 물체들을 t프레임 동안 추적하여 상기 물체들 각각에 대해 t개의 클래스 분류값 히스토리를 생성하여 물체를 추적하는 물체추적부;
상기 물체분류보정부에서 보정된 클래스 분류값과 상기 t 개의 클래스 분류값 히스토리를 비교하여 시간적으로 일관성 있는 클래스 분류값을 선택함으로써 상기 클래스분류부에서 보정된 클래스 분류값의 오류를 수정하는 오류수정부; 및
상기 비디오 움직임 영역 내의 물체들의 위치, 속도 및 크기를 입력받아 벡터화 한 후 GPR(Gaussian Process regression)을 통해 비모수적 방법으로 회기함수를 학습하여, 상기 오류수정부에서 수정된 각 물체에 대한 클래스 분류값을 추가로 교정하는 회기분석부;를 포함하는 것을 특징으로 하는 이동물체 분류장치.
A feature extraction unit for extracting features of objects in motion regions of the video using a multi-block local binary pattern (MB-LBP) scheme;
an object classifying unit classifying the class of the objects through a gentle Adaboost classifier;
An object classification corrector for correcting the accuracy of the class classification value by applying an error correcting output code (ECOC) method to the class classification values of the objects;
An object tracking unit for tracking objects in the video motion regions during t frames to generate t class classification value histories for each of the objects to track objects;
Error correction to correct the error of the class classification value corrected by the classifier by selecting a class classification value that is temporally consistent by comparing the class classification values corrected by the object classification correction unit with the t class classification value history. ; And
Velocity, and magnitude of objects in the video motion region, vectorizes them, and learns a recurrence function by a non-parametric method through GPR (Gaussian Process Regression), and class classification values And a station analyzing unit that further calibrates the moving object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120093300A KR101503398B1 (en) | 2012-08-24 | 2012-08-24 | Method and Apparatus for classifying the moving objects in video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120093300A KR101503398B1 (en) | 2012-08-24 | 2012-08-24 | Method and Apparatus for classifying the moving objects in video |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140026977A true KR20140026977A (en) | 2014-03-06 |
KR101503398B1 KR101503398B1 (en) | 2015-03-18 |
Family
ID=50641325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120093300A KR101503398B1 (en) | 2012-08-24 | 2012-08-24 | Method and Apparatus for classifying the moving objects in video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101503398B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180138558A (en) * | 2018-10-10 | 2018-12-31 | 에스케이텔레콤 주식회사 | Image Analysis Method and Server Apparatus for Detecting Object |
KR102422962B1 (en) * | 2021-07-26 | 2022-07-20 | 주식회사 크라우드웍스 | Automatic image classification and processing method based on continuous processing structure of multiple artificial intelligence model, and computer program stored in a computer-readable recording medium to execute the same |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8811663B2 (en) | 2011-01-05 | 2014-08-19 | International Business Machines Corporation | Object detection in crowded scenes |
-
2012
- 2012-08-24 KR KR1020120093300A patent/KR101503398B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180138558A (en) * | 2018-10-10 | 2018-12-31 | 에스케이텔레콤 주식회사 | Image Analysis Method and Server Apparatus for Detecting Object |
KR102422962B1 (en) * | 2021-07-26 | 2022-07-20 | 주식회사 크라우드웍스 | Automatic image classification and processing method based on continuous processing structure of multiple artificial intelligence model, and computer program stored in a computer-readable recording medium to execute the same |
Also Published As
Publication number | Publication date |
---|---|
KR101503398B1 (en) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108470332B (en) | Multi-target tracking method and device | |
EP3447727B1 (en) | A method, an apparatus and a computer program product for object detection | |
CN113657425B (en) | Multi-label image classification method based on multi-scale and cross-modal attention mechanism | |
Roy et al. | An efficient sign language recognition (SLR) system using Camshift tracker and hidden Markov model (hmm) | |
US11915500B2 (en) | Neural network based scene text recognition | |
CN103793926A (en) | Target tracking method based on sample reselecting | |
Wang et al. | Video object matching across multiple non-overlapping camera views based on multi-feature fusion and incremental learning | |
CN108898623A (en) | Method for tracking target and equipment | |
Uddin et al. | Horse detection using haar like features | |
CN111985333A (en) | Behavior detection method based on graph structure information interaction enhancement and electronic device | |
Blum et al. | Modular sensor fusion for semantic segmentation | |
CN110503090B (en) | Character detection network training method based on limited attention model, character detection method and character detector | |
CN116311214A (en) | License plate recognition method and device | |
CN117292338B (en) | Vehicle accident identification and analysis method based on video stream analysis | |
CN112348011B (en) | Vehicle damage assessment method and device and storage medium | |
KR101503398B1 (en) | Method and Apparatus for classifying the moving objects in video | |
Javed et al. | Human movement recognition using euclidean distance: a tricky approach | |
Bardeh et al. | New approach for human detection in images using histograms of oriented gradients | |
CN108985216B (en) | Pedestrian head detection method based on multivariate logistic regression feature fusion | |
Liang et al. | Pedestrian detection based on sparse coding and transfer learning | |
CN113706580B (en) | Target tracking method, system, equipment and medium based on relevant filtering tracker | |
Le et al. | Detection and classification of vehicle types from moving backgrounds | |
CN114943873A (en) | Method and device for classifying abnormal behaviors of construction site personnel | |
Benitez | Ante-hoc generation of task-agnostic interpretation maps | |
Pramanik et al. | Finding the optimum classifier: Classification of segmentable components in offline handwritten Devanagari words |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180226 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190227 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20200225 Year of fee payment: 6 |