KR101985869B1 - A livestock theft surveillance apparatus using morphological feature-based model and method thereof - Google Patents

Abstract

본 발명은 형태학적 특징을 이용하여 도난을 감시하는 도난 감시 장치 및 방법에 관한 것으로서, 도난 감시 시스템이 도난을 감시하는 방법은, 입력된 영상으로부터 배경을 모델링함으로써 모델링된 배경과 구분되는 이동 객체를 추출하고, 추출된 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식하고, 이동 객체의 형태 특징을 이용하여 인식된 이동 객체를 분류하며, 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하고, 겹침 판단을 통해 위험상황을 판단하여 사용자에게 제공한다.The present invention relates to a theft monitoring apparatus and method for monitoring theft using morphological characteristics, and a method for monitoring a theft of a theft monitoring system is a method for monitoring theft by modeling a background from an input image, Extracts the extracted moving object, performs labeling for giving a unique identifier to the extracted moving object, recognizes the labeled moving object, classifies the recognized moving object using the shape characteristic of the moving object, The moving object is tracked by predicting and correcting the position of the classified moving object, and a dangerous situation is determined through overlap judgment to be provided to the user.

Description

형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법{A livestock theft surveillance apparatus using morphological feature-based model and method thereof}Technical Field [0001] The present invention relates to a system and method for monitoring theft of agricultural and livestock products using a morphological feature-based model, and a morphological feature-

본 발명은 인터넷 기능을 갖는 CCTV(Closed Circuit Television)를 이용한 실시간 농축산물 도난 감시 기술에 관한 것으로, 특히 형태학적 특징을 기반으로 하는 모델링을 통해 영상 내 이동 객체를 분류하고, 도난 감시의 대상이 되는 이동 객체에 대한 추적 및 추적중인 이동물체 겹침 해결을 통해 도난 여부를 판단하여 농축산물 도난 사건과 같은 위험 상황을 실시간 감시 시스템 사용자에게 제공하는 도난 감시 장치 및 방법, 그 방법을 기록한 기록매체에 관한 것이다.The present invention relates to a technology for real-time agricultural and livestock theft monitoring using a closed circuit television (CCTV) having an Internet function, and more particularly to a method and system for classifying moving objects in an image through modeling based on morphological characteristics, The present invention relates to a theft monitoring apparatus and method for providing a real-time surveillance system user with a risk situation such as a robbery case of agricultural and livestock theft, .

최근 우리 사회에서는 납치, 방화, 도난, 침입, 폭력 등 많은 범죄 사고가 발생하고 있다. 이러한 범죄 사고를 예방하기 위해 인터넷 기능을 갖는 CCTV(Closed Circuit Television)를 이용한 지능형 도난 감시 시스템의 개발이 진행 중이다. 그러나, 현재 농축사의 감시 시스템은 RFID(Radio Frequency IDentification)와 CCTV를 사용하며, 간단하게 벨을 울리거나 중앙 관제요원이 직접 감시하는 시스템이 대부분이다. 이러한 감시 시스템은 가축의 도난을 안전하게 관리할 수 없으며, 도난을 사전에 대처하기 어려우며 사후 대처에 시간이 많이 걸리는 단점이 있다. 또한, 침입한 인간과 가축등은 이동 상황이 변함에 따라 이동 물체 형태가 수시로 변하기 때문에 정확한 분류가 어렵다. 따라서, 농-축사의 도난을 실시간으로 감시할 수 있는 지능형 도난 감시 시스템이 개발은 필수적이다. 인터넷 기능을 갖는 CCTV를 이용한 지능형 도난 감시 시스템은 이동 객체를 추출하고, 이동 객체가 인간인지 혹은 가축인지를 분류하며 이벤트에 맞게 상황별 대처할 수 있는 시스템이 필요하다. 현재, 동물이나 사람을 포함한 모든 이동 객체의 분류 방법은 많은 연구가 진행되고 있다.Recently, many crimes such as kidnapping, arson, theft, intrusion, violence have occurred in our society. In order to prevent such crime, intelligent theft monitoring system using closed circuit television (CCTV) with internet function is under development. However, at present, most of the surveillance system of the concentration company uses RFID (Radio Frequency IDentification) and CCTV, and the system that the bell rings or the central control personnel monitors directly. Such a surveillance system can not safely manage theft of livestock, it is difficult to cope with theft in advance, and it takes a long time to deal with theft. In addition, it is difficult to accurately classify invading human beings and livestock because the shape of the moving object varies from time to time as the moving situation changes. Therefore, it is essential to develop an intelligent theft surveillance system that can monitor real-time theft of the farmhouse. Intelligent theft monitoring system using CCTV with internet function needs a system that extracts moving objects, classifies whether moving objects are human or livestock, and can cope with situations according to the events. Currently, many methods of classification of moving objects including animals and humans are under way.

한국특허공개공보 10-2010-0077662, 2010.07.08 공개, 주식회사 씨비클라인Korean Patent Laid-Open Publication No. 10-2010-0077662, published Jul. 30, 2010,

본 발명이 해결하고자 하는 기술적 과제는, 종래의 이동 객체를 분류함에 있어서, 실시간으로 형태가 변화하여 고유한 형태를 추출하기 어려운 문제점, 비슷한 색상의 객체에 대한 분류 오류, 및 원근감이 존재하는 영상에서 객체의 크기가 변화하며 움직임을 보일 경우 특히 가축이나 사람 등 이동물체가 대각 이동을 하며 움직일 경우 분류율이 낮은 문제점을 해소하고자 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing method and an image processing method, which can solve the problem of difficulty in extracting a unique shape due to changes in shape in real time, classification errors of objects of similar colors, When the size of the object changes and the movement is shown, the problem of low classification rate is solved especially when moving objects such as a livestock or a person move diagonally.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 도난 감시 방법은, 인터넷 기능을 갖는 CCTV로 구성된 도난 감시 시스템에 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출하는 단계; 상기 도난 감시 시스템이 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식하는 단계; 상기 도난 감시 시스템이 이동 물체의 형태 특징을 이용하여 상기 인식된 이동 객체를 분류하는 단계; 및 상기 도난 감시 시스템이 칼만 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하는 단계를 포함한다.According to an aspect of the present invention, there is provided a theft surveillance method for monitoring a background from an image input to a theft monitoring system comprising a CCTV having an Internet function, Extracting; Performing labeling to give a unique identifier to the moving object from which the theft monitoring system is extracted, and recognizing the labeled moving object; Classifying the recognized moving object using the shape characteristic of the moving object; And tracking the moving object by predicting and correcting the position of the classified moving object using the Kalman filter.

일 실시예에 따른 도난 감시 방법에서, 상기 이동 객체를 추출하는 단계는, 상기 입력된 영상에 대한 데이터 분포 모델링을 수행하여 상기 이동 객체를 추출할 수 있고, 상기 이동 객체를 추출하는 단계 이후, 상기 도난 감시 시스템이 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거하는 단계를 더 포함할 수 있다.In the robbery monitoring method according to an exemplary embodiment, the step of extracting the moving object may include extracting the moving object by performing data distribution modeling on the input image, and after extracting the moving object, And theft surveillance system may remove noise due to the shadow and the illuminance change of the moving object.

일 실시예에 따른 도난 감시 방법에서, 상기 이동 객체를 분류하는 단계는, 상기 이동 객체의 외곽선을 추출하고, 상기 외곽선을 이루는 점들을 연결하는 직선 중 가장 긴 제 1 직선의 중심점을 추출하는 단계; 상기 제 1 직선의 중심점을 기준으로 이동 객체의 외곽선까지의 수평 직선을 추출하는 단계; 상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 컨벡스 헐(Convex Hull)을 이용하여 형태 모델을 생성하는 단계; 상기 제 1 직선의 중심점으로부터 상기 형태 모델의 수직 직선을 추출하는 단계; 및 상기 추출된 수평 직선과 수직 직선의 길이를 비교하여, 그 결과에 따라 상기 이동 객체를 분류하는 단계를 포함할 수 있고, 상기 수직 직선을 추출하는 단계는, 상기 형태 모델을 형성하는 4 개의 점을 연결하는 직선 상의 점들 중 상기 제 1 직선의 중심점과 x 좌표가 같은 두 점을 추출하고, 상기 추출된 두 점을 연결하여 상기 수직 직선을 추출할 수 있으며, 상기 형태 모델은, 인간은 수직 직선의 길이가 수평 직선의 길이보다 길고, 가축은 수평 직선의 길이가 수직 직선의 길이보다 긴 것을 특징으로 할 수 있다.In the robbery monitoring method according to an embodiment, the classifying the moving object may include extracting an outline of the moving object, and extracting a center point of the longest first straight line connecting the outline points, Extracting a horizontal straight line from the center point of the first straight line to an outline of the moving object; Generating a shape model using convex hulls with respect to both end points of the first straight line, both end points of the horizontal straight line, and the center point of the first straight line; Extracting a vertical straight line of the morphological model from a center point of the first straight line; And comparing the extracted horizontal straight line with a length of a vertical straight line, and classifying the moving object according to the result, wherein the extracting of the vertical straight line includes: And extracting the vertical straight line by connecting the extracted two points. In the form model, the human being is able to extract the vertical straight line from the straight line connecting the center point of the first straight line and the x- The length of the horizontal straight line is longer than the length of the horizontal straight line, and the length of the horizontal straight line of the domestic animal is longer than the vertical straight line.

일 실시예에 따른 도난 감시 방법에서, 상기 이동 객체를 분류하는 단계는, 상기 분류된 이동 객체의 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류하는 단계를 포함할 수 있고, 상기 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류하는 단계는, 상기 이동 객체의 중심점을 기준으로 관심영역(ROI: Region Of Interest))을 지정하는 단계; 상기 관심영역에 대해 RGB 색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value) 색상 공간으로 변환시켜 HSV 색상 모델로 변환하는 단계; 및 상기 HSV 색상 모델을 이용하여 상기 관심영역의 색상을 추출하고, 베이지안 분류를 통해 상기 관심영역의 색상으로부터 상기 이동 객체를 분류하는 단계를 포함할 수 있다.In the robbery monitoring method according to an exemplary embodiment, the step of classifying the moving object may include classifying the moving object by verifying the type of the classified moving object using the color information of the classified moving object And classifying the moving object by verifying the type of the classified moving object using the color information includes: designating a region of interest (ROI) based on the center point of the moving object; ; Transforming an HSV color space into an HSV (Hue-Saturation-Value) color space using an image of an RGB color space for the ROI; And extracting the color of the ROI using the HSV color model and classifying the ROI from the color of the ROI through Bayesian classification.

일 실시예에 따른 도난 감시 방법에서, 상기 이동 객체를 분류하는 단계 이후, 상기 이동 객체의 종류에 따라 서로 다른 색상으로 라벨링하는 단계를 더 포함할 수 있다.In the robbery monitoring method according to an exemplary embodiment, the step of classifying the moving objects may further include labeling the moving objects in different colors according to the types of the moving objects.

일 실시예에 따른 도난 감시 방법에서, 상기 이동 객체를 추적하는 단계는, 칼만 필터(Kalman Filter)를 이용하여 상기 이동 객체의 추적 위치를 보정함으로써 상기 이동 객체를 추적할 수 있다.In the robbery monitoring method according to an exemplary embodiment, the tracking of the moving object may track the moving object by correcting the tracking position of the moving object using a Kalman filter.

일 실시예에 따른 도난 감시 방법에서, 상기 이동 객체가 둘 이상인 경우, 각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단하는 단계를 더 포함할 수 있다.In the robbery monitoring method according to an exemplary embodiment, when the number of the moving objects is two or more, the method may further include determining overlapping between the moving objects using the Euclidean distance of the Kalman filter assigned to each moving object.

일 실시예에 따른 도난 감시 방법에서, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공하는 단계를 더 포함할 수 있다.In the theft monitoring method according to an embodiment, when overlapping occurs between a moving object that is the object of theft and a moving object that performs theft, overlapping between the moving object that is the object of the theft and the moving object that performs theft occurs at a predetermined time If so, it may further include providing a risk situation to the user.

한편, 이하에서는 상기 기재된 도난 감시 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Meanwhile, a computer-readable recording medium on which a program for causing the computer to execute the above-described theft monitoring method is recorded.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 도난 감시 장치는, 카메라로부터 촬영된 영상을 입력받는 입력부; 입력된 영상 내에 포함된 이동 객체의 움직임을 감시하는 도난 감시 프로그램을 저장하는 메모리; 및 상기 도난 감시 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리에 저장된 도난 감시 프로그램은, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출하고, 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식하고, 이동 객체의 형태학적 특징을 이용하여 상기 인식된 이동 객체를 분류하며, 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하는 명령어를 포함한다.According to another aspect of the present invention, there is provided a theft monitoring apparatus comprising: an input unit for inputting an image photographed by a camera; A memory for storing a theft monitoring program for monitoring movement of a moving object included in an input image; And at least one processor for driving the theft monitoring program, wherein the theft monitoring program stored in the memory extracts a moving object distinguished from the modeled background by modeling a background from the input image, Labeling for assigning a unique identifier to an object, recognizing the labeled moving object, classifying the recognized moving object using morphological characteristics of the moving object, and classifying the classified moving object And tracking the moving object by predictively correcting the position of the moving object.

다른 실시예에 따른 도난 감시 장치에서, 상기 메모리에 저장된 도난 감시 프로그램은, 상기 이동 객체를 추출한 이후, 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거할 수 있다.In the theft monitoring apparatus according to another embodiment, the theft monitoring program stored in the memory may remove noise according to the shadow of the moving object and the illuminance change after extracting the moving object.

다른 실시예에 따른 도난 감시 장치에서, 상기 메모리에 저장된 도난 감시 프로그램은, 상기 이동 객체의 외곽선을 추출하고, 상기 외곽선을 이루는 점들을 연결하는 직선 중 가장 긴 제 1 직선의 중심점을 추출하고, 상기 제 1 직선의 중심점을 기준으로 이동 객체의 외곽선까지의 수평 직선을 추출하고, 상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 컨벡스 헐(Convex Hull)을 이용하여 형태 모델을 생성하고, 상기 제 1 직선의 중심점으로부터 상기 형태 모델의 수직 직선을 추출하며, 상기 추출된 수평 직선과 수직 직선의 길이를 비교하여, 그 결과에 따라 상기 이동 객체를 분류할 수 있다.In the theft monitoring apparatus according to another embodiment, the theft monitoring program stored in the memory may extract an outline of the moving object, extract a center point of the longest first straight line connecting the outline points, The method comprising the steps of: extracting a horizontal straight line extending to an outline of a moving object with reference to a center point of a first straight line; calculating a convex hull with respect to both end points of the first straight line, both end points of the horizontal straight line, Extracts a vertical straight line of the morphological model from the center point of the first straight line, compares the extracted horizontal straight line with the length of the vertical straight line, classifies the moving object according to the result .

다른 실시예에 따른 도난 감시 장치에서, 상기 메모리에 저장된 도난 감시 프로그램은, 상기 형태학적 특징을 이용하여 상기 인식된 이동 객체를 분류한 이후, 상기 분류된 이동 객체의 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류할 수 있고, 상기 이동 객체의 중심점을 기준으로 관심영역(ROI)을 지정하고, 상기 ROI에 대해 RGB 색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value) 색상 공간으로 변환시켜 HSV 색상 모델로 변환하고, 상기 HSV 색상 모델을 이용하여 상기 관심영역의 색상을 추출하고, 베이지안 분류를 통해 상기 관심영역의 색상으로부터 상기 이동 객체를 분류할 수 있다.In the theft monitoring apparatus according to another embodiment, the theft monitoring program stored in the memory may classify the recognized moving objects using the morphological characteristics, and then classify the classified moving objects using the color information of the classified moving objects (ROI) on the basis of a center point of the moving object, and performs hue-saturation (HSV) on the ROI using an image of an RGB color space, -Value) color space, converting the HSV color model into an HSV color model, extracting the color of the ROI using the HSV color model, and classifying the ROI from the color of the ROI through Bayesian classification.

다른 실시예에 따른 도난 감시 장치에서, 상기 메모리에 저장된 도난 감시 프로그램은, 칼만 필터(Kalman Filter)를 이용하여 상기 이동 객체의 추적 위치를 보정함으로써 상기 이동 객체를 추적할 수 있고, 상기 이동 객체가 둘 이상인 경우, 각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단하고, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공할 수 있다.In the theft monitoring apparatus according to another embodiment, the theft monitoring program stored in the memory may track the moving object by correcting the tracking position of the moving object using a Kalman filter, In the case of two or more, the overlapping of moving objects is determined by using the Euclidean distance of the Kalman filter given to each moving object, and overlapping occurs between the moving object that is the object of the theft and the moving object performing theft, It is possible to provide a dangerous situation to the user when the overlapping between the moving object as the object of the theft and the moving object performing the theft continues for a predetermined time or more.

본 발명의 실시예들에 따르면, 형태학적 특징을 기반으로 추출된 정보를 이용하여 이동 객체를 분류함으로써 형태가 실시간으로 변화하며 움직이는 객체를 분류함에 있어서 정확성이 뛰어나다. 인간과 가축의 고유한 형태와 색상을 함께 이용하여 이동 객체를 분류하고, 분류된 이동 객체를 추적 및 겹침을 통해 도난 여부를 판단하여 위험상황을 사용자에게 제공함으로써 가축 도난을 감시하고 방지할 수 있다.According to the embodiments of the present invention, moving objects are classified using information extracted based on morphological characteristics, so that the shape changes in real time and accuracy is excellent in sorting moving objects. It is possible to monitor and prevent animal theft by classifying moving objects by using unique shapes and colors of human and livestock, and by tracing and overlapping the classified moving objects to determine whether or not they are stolen, .

도 1은 본 발명의 일 실시예에 따른 도난 감시 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 도난 감시 방법에서 이동 객체를 추출한 이후 잡음을 제거하는 과정이 추가된 방법을 도시한 흐름도이다.
도 3은 이동 객체의 추출 및 인식 과정을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 도난 감시 방법에서 이동 객체를 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 5 내지 도 10은 형태 모델을 이용하여 이동 객체를 분류하는 과정을 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 도 1의 도난 감시 방법에서 분류된 이동 객체의 색상 정보를 이용하여 이동 객체를 분류하는 과정이 추가된 방법을 도시한 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 도 11의 도난 감시 방법에서 색상 정보를 이용하여 이동 객체를 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 도 1의 도난 감시 방법에서 분류된 이동 객체의 종류에 따라 색상 라벨링을 수행하는 과정이 추가된 방법을 도시한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 도 1의 도난 감시 방법에서 이동 객체 간의 겹침을 판단하는 과정이 추가된 방법을 도시한 흐름도이다.
도 15는 이동 객체 간의 겹침여부를 판단한 결과를 예시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 도 1의 도난 감시 방법에서 위험상황을 판단하여 사용자에게 제공하는 과정이 추가된 방법을 도시한 흐름도이다.
도 17 내지 도 19는 위험상황을 판단하여 사용자에게 제공하는 정보를 예시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 도난 감시 과정을 순서에 따라 도시한 흐름도이다.
도 21은 본 발명의 다른 실시예에 따른 도난 감시 장치를 도시한 블록도이다.1 is a flowchart illustrating a theft monitoring method according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a method of extracting a moving object and then removing a noise in the theft monitoring method of FIG. 1 according to an embodiment of the present invention.
3 is a diagram illustrating a process of extracting and recognizing a moving object.
FIG. 4 is a flowchart illustrating a process of classifying a moving object in the robbery monitoring method of FIG. 1 according to an exemplary embodiment of the present invention.
5 to 10 are views illustrating a process of classifying a moving object using a morphological model.
11 is a flowchart illustrating a method of classifying a moving object using color information of a moving object classified in the theft monitoring method of FIG. 1 according to an exemplary embodiment of the present invention.
12 is a flowchart illustrating a process of classifying a moving object using color information in the theft monitoring method of FIG. 11 according to an exemplary embodiment of the present invention.
FIG. 13 is a flowchart illustrating a method of performing color labeling according to a type of moving object classified in the robbery monitoring method of FIG. 1 according to an exemplary embodiment of the present invention.
FIG. 14 is a flowchart illustrating a method for determining overlaps between moving objects in the robbery monitoring method of FIG. 1 according to an embodiment of the present invention.
FIG. 15 is a diagram illustrating a result of determining whether or not overlapping of moving objects exists.
FIG. 16 is a flowchart illustrating a method of determining a dangerous situation in the theft monitoring method of FIG. 1 according to an exemplary embodiment of the present invention and providing the process to a user.
FIGS. 17 to 19 are diagrams illustrating information provided to a user by judging a dangerous situation. FIG.
20 is a flowchart illustrating a theft monitoring process according to an embodiment of the present invention in order.
21 is a block diagram showing a theft monitoring apparatus according to another embodiment of the present invention.

본 발명의 실시예들을 설명하기에 앞서, 도난 감시 기술과 관련한 기존의 이동 객체 추출 및 이동 객체를 분류하는 과정에서 발생하는 문제점들을 개괄적으로 살펴보고, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 소개하도록 한다.Prior to describing the embodiments of the present invention, an overview of existing problems of moving object extraction and moving object classification related to the theft surveillance technology, and in order to solve these problems, And introduce the adopted technical means in sequence.

먼저, 기존의 이동 객체 추출 방법은 차 영상(Difference Frame) 방법, GMM(Gaussian Mixture Model) 방법 등이 있다. 이중 배경에서 실시간으로 입력된 영상과의 차를 이용하여 이동 객체를 추출하는 차 영상 방법은 연산량이 많지 않아 고정된 카메라에서 빠르게 이동 객체를 추출할 수 있다는 장점을 가진다. 하지만, 빛의 반사, 조명의 변화와 같은 외부적인 환경 변화가 발생할 경우 움직이는 객체 외의 잡음이 발생하여 배경 변화에 민감하게 반응하기 때문에 외부 환경과 같이 잡음이 많은 환경에서는 추출하고자 하는 이동 객체의 추출이 어렵다는 단점이 있다. 또한, GMM 방법은 화소의 밝기 값의 변화를 가우시안 분포를 이용하여 학습하기 때문에 차 영상에 비해 느린 처리속도를 가진다는 단점이 있다. 하지만, 화소의 밝기 값의 변화를 환경적으로 적응하기 때문에 배경 변화에 덜 민감하다는 장점을 가진다.First, existing moving object extraction methods include a difference frame method and a GMM (Gaussian Mixture Model) method. The difference image method of extracting a moving object using a difference between a double background and a real-time input image has an advantage that a moving object can be quickly extracted from a fixed camera because the calculation amount is not so large. However, when external environmental changes such as light reflections and illumination changes occur, noise outside the moving object is generated and thus it is sensitive to the background change. Therefore, extraction of the moving object to extract in a noisy environment such as an external environment There is a drawback that it is difficult. In addition, the GMM method has a disadvantage in that it has a slower processing speed than the difference image because it learns the change of the brightness value of the pixel using the Gaussian distribution. However, it has the advantage of being less susceptible to background changes because it is environmentally adaptive to changes in the brightness value of pixels.

이동 객체를 추출한 다음, 이동 객체를 분류 방법으로는 고유한 객체의 형태를 이용한 객체 분류 방법, 색상을 이용한 객체 분류 방법, 타원 모델을 이용한 객체 분류 방법 등이 있다. 고유한 객체의 형태를 이용한 객체 분류 방법은 인간과 동물이 구조적 형태가 다르며, 고유한 형태의 특징을 가지고 있다는 점을 이용하여 분류하는 방법이다. 이 방법은 이동 객체일 경우 실시간으로 형태가 변화하므로, 고유한 형태를 추출하기 어려워 영상에서는 사용하기 힘들다는 단점이 있다. 또한, 색상을 이용한 객체 분류 방법은 고유한 객체의 색상을 이용한 분류방법으로 비슷한 색상의 객체를 같은 종류의 객체로 분류한다는 단점이 있다. 마지막으로 타원 모델을 이용한 객체 분류 방법은 객체에 대해 타원모델을 형성하고 크기를 비교하여 분류하는 방법이다. 이러한 타원모델 방법은 원근감이 존재하는 영상에서 객체의 크기가 변화하며 움직임을 보일 경우 특히 가축이 대각 이동을 하며 움직일 경우 분류율이 낮은 단점이 있다.After extracting a moving object, there are an object classification method using an object type unique to the moving object classification method, an object classification method using color, and an object classification method using an elliptic model. An object classification method using a unique object type is a method of classifying human and animal using the fact that their structural form is different and they have unique characteristic features. This method has a disadvantage that it is difficult to use a moving object because it is difficult to extract a unique shape because the shape changes in real time in case of a moving object. In addition, the object classification method using color is a classification method using a unique object color, and has a drawback in that it classifies objects of similar colors into the same kind of objects. Finally, an object classification method using an ellipse model is a method of forming an ellipse model for an object and comparing the sizes thereof. This ellipse model method has disadvantages in that the size of the object changes in the image in which the perspective exists and the classification rate is low when the livestock moves diagonally while moving.

따라서, 이하에서 제안되는 본 발명의 실시예들은 상기된 문제점을 보완하여, 이동 객체의 형태적 특징을 이용한 모델 형성 방법과 고유한 색상정보를 이용하여 축사에서 사람과 가축을 분류하고, 분류된 이동 객체의 추적 및 겹침 판단을 통해 가축 도난의 위험 상황을 알리는 시스템을 제안하고자 한다. 제안하는 방법은 이동 객체 추출 및 인식, 분류, 추적 및 겹침 판단, 그리고 위험상황 판단의 과정으로 구현된다. Therefore, embodiments of the present invention, which are proposed below, can overcome the above-mentioned problems and classify a person and a livestock in a house using the model forming method using the morphological feature of the moving object and unique color information, We propose a system that notifies the risk of livestock theft through tracking and overlapping of objects. The proposed method is implemented by moving object extraction and recognition, classification, tracking and overlapping judgment, and risk situation judgment process.

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. Incidentally, throughout the specification, " including " means not including other elements unless specifically stated to the contrary, it may include other elements.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Also, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprise", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined in the present application .

도 1은 본 발명의 일 실시예에 따른 도난 감시 방법을 도시한 흐름도이다.1 is a flowchart illustrating a theft monitoring method according to an embodiment of the present invention.

S110 단계에서, 도난 감시 시스템은 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출한다. 이 과정에서는 움직임 영역 검출을 위해 조명 변화나, 이동 물체의 모양 변화 등에 적응적이고 강인한 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 기법을 이용하여 배경을 모델링할 수 있다. 상기 입력된 영상에 대한 데이터 분포 모델링을 수행하여 상기 이동 객체를 추출할 수 있다. S110 단계 이후, 도 2의 S150 단계에서 상기 도난 감시 시스템은 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거할 수 있다.In step S110, the theft monitoring system extracts a moving object distinguished from the modeled background by modeling the background from the input image. In this process, it is possible to model the background using an adaptive and robust Gaussian Mixture Model (GMM) technique for illumination change and shape change of a moving object. The moving object may be extracted by performing data distribution modeling on the input image. After step S110, in step S150 of FIG. 2, the theft surveillance system can remove noise due to the shadow and the illuminance change of the moving object.

S120 단계에서, 상기 도난 감시 시스템은 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식한다.In step S120, the theft monitoring system performs labeling to give a unique identifier to the extracted moving object, and recognizes the labeled moving object.

S110 단계 내지 S120 단계의 보다 구체적인 과정은 이후 도 3을 참조하여 설명하도록 한다.A more detailed procedure of steps S110 to S120 will be described later with reference to FIG.

S130 단계에서, 상기 도난 감시 시스템은 이동 객체의 형태 특징을 이용하여 상기 인식된 이동 객체를 분류한다. 이동 객체의 형태학적 특징을 기반으로 하는 형태 모델을 이용하여 이동 객체를 분류한다. 상기 형태 모델은 컨벡스 헐(Convex Hull)을 이용하여 생성할 수 있다. 형태 모델을 이용하여 이동 객체를 분류함에 있어서, 이동 객체의 이동에 따라 형태 정보가 변화하여 분류에 오류가 발생할 수 있는바, 도 11의 S136 단계에서, 상기 분류된 이동 객체의 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류할 수 있다. 보다 구체적인 과정은 이후 도 5 내지 도 10을 참조하여 설명하도록 한다. In step S130, the theft surveillance system classifies the recognized moving objects using the shape features of the moving objects. We classify moving objects using morphological model based on morphological characteristics of moving objects. The morphological model can be generated using a convex hull. In sorting the moving objects by using the morphological model, the morphological information changes according to the movement of the moving object, and errors may occur in the classification. In step S136 of FIG. 11, the color information of the classified moving object is used And classify the moving object by verifying the type of the classified moving object. A more detailed process will be described later with reference to FIG. 5 to FIG.

S130 또는 S136 단계이후, 도 13의 S160 단계에서 상기 이동 객체의 종류에 따라 서로 다른 색상으로 라벨링하여 구분할 수 있다.In step S130 or step S136, it is possible to distinguish different colors according to the kind of the moving object in step S160 of FIG.

S140 단계에서, 상기 도난 감시 시스템은 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적한다. 이를 위해 본 발명의 실시예들에서는 식별된 위치를 칼만 필터를 이용하여 추적하는 것이 바람직하다.In step S140, the theft monitoring system tracks a moving object by predicting and correcting the position of the classified moving object using a filter. For this, in the embodiments of the present invention, it is preferable to track the identified position using a Kalman filter.

이동 객체가 둘 이상이 경우, 도 14의 S170 단계에서 각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단할 수 있다. 보다 구체적인 과정은 이후 도 15를 참조하여 설명하도록 한다. If there are two or more moving objects, it is possible to determine overlapping between the moving objects using the Euclidean distance of the Kalman filter given to each moving object in step S170 of FIG. A more detailed process will be described later with reference to FIG.

S140 단계의 추적 및 S170 단계의 겹침 판단에 따라, 도 16에서 S180 단계에서 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공할 수 있다. 보다 구체적인 과정은 이후 도 17 내지 도 19를 참조하여 설명하도록 한다.In accordance with the tracing of step S140 and the overlapping determination of step S170, overlapping occurs between the moving object that is the object of theft and the moving object that is stolen in step S180 of FIG. 16, or the moving object that is the object of the theft is stolen If the overlapping of the moving objects continues for a predetermined time or longer, the user can be provided with a dangerous situation. A more detailed process will be described later with reference to FIG. 17 to FIG.

(1) 입력 영상에서의 이동 객체 추출 및 인식(1) Extraction and recognition of moving objects in the input image

입력 영상에서의 이동 객체를 추출하고 인식하는 과정은 도 2의 S110, S150, 및 S120 단계에 의해 구현될 수 있다.The process of extracting and recognizing the moving object in the input image may be implemented by steps S110, S150, and S120 in FIG.

S110 단계에서, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출한다. 이 과정에서 입력된 영상에 대한 데이터 분포 모델링을 수행하여 상기 이동 객체를 추출하며, S110 단계 이후, S150 단계에서 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거하고, S120 단계에서, 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식한다.In step S110, a moving object distinguished from the modeled background is extracted by modeling the background from the input image. In operation S150, the noise corresponding to the shadow of the moving object and the illuminance change is removed in operation S150. In operation S120, the extracted moving object is subjected to data distribution modeling on the input image, Performs labeling to assign a unique identifier to the moving object, and recognizes the labeled moving object.

입력 영상의 배경(background)으로부터 전경(foreground)을 추출하기 위해 RGB(Red, Green, Blue) 색상 정보에 해당하는 각각의 픽셀 값을 GMM 방법을 이용하여 다음 수학식 1과 같이 데이터 분포를 모델링 한다. In order to extract the foreground from the background of the input image, each pixel value corresponding to RGB (Red, Green, Blue) color information is modeled by using the GMM method as follows: .

여기서, x는 입력 데이터를 나타내며,

는 평균이 w_i 이고, 분산이 θ_i 인 확률 밀도함수를 의미하고, P(w_i)는 각 확률밀도함수의 가중치를 의미한다. 따라서 영상에 대한 데이터 분포 모델링을 통하여 이동 객체를 추출한다.Here, x represents input data,

Is an average w _i , and the variance is θ _i , And P (w _i ) denotes the weight of each probability density function. Therefore, moving objects are extracted through data distribution modeling of images.

다음, 이동 객체를 추출한 영상에서 발생된 그림자 및 조도변화에 따른 잡음을 제거하기 위해 Median Filter를 이용한다. Median Filter는 5x5 커널을 이용하며, 커널 내의 픽셀들을 확인하고 이를 밝기 값 순으로 정렬하여 중간에 해당하는 밝기 값을 현재 픽셀에 넣어주며, 조도 변화에 따른 객체의 움직임에 자주 발생하는 잡음을 효과적으로 제거한다.Next, a median filter is used to remove the noise due to the shadow and illumination change generated in the extracted image of the moving object. The Median Filter uses a 5x5 kernel to identify the pixels in the kernel and sort them in order of brightness value, putting the brightness value in the middle of the current pixel into the current pixel and effectively removing noise do.

다음, 추출된 이동 객체에 대해 라벨링 방법을 이용하며, 다수의 이동 객체를 각각 인식하여 나타낸다. 그리고 일정한 크기 이하의 라벨은 잡음으로 간주하여 제거한다. 제안된 방법을 이용하여 이동 객체를 인식하기 위한 과정은 도 3과 같다. 도 3(a)는 입력 영상을 나타내며, 도 3(b)는 입력 영상에서 이동 객체를 추출한 결과를 나타낸다. 다음, 도 3(c)는 이동객체 추출 시 발생하는 잡음을 Median Filter를 이용하여 제거한 결과이다. 마지막으로, 도 3(d)는 라벨링 방법을 이용하여 추출된 이동 객체를 인식하여 나타낸 결과이다.Next, the labeling method is used for the extracted moving objects, and a plurality of moving objects are recognized and represented. And labels with a certain size or smaller are regarded as noise and removed. A process for recognizing a moving object using the proposed method is shown in FIG. 3 (a) shows the input image, and FIG. 3 (b) shows the result of extracting the moving object from the input image. Next, FIG. 3 (c) shows a result obtained by removing a noise generated when extracting a moving object using a median filter. Finally, FIG. 3 (d) shows the result of recognizing the extracted moving object using the labeling method.

(2) 이동 객체 분류(2) Classification of moving objects

(2-1) 형태학적 특징 기반 모델 형성(2-1) Morphological feature-based model formation

인식된 이동 객체를 분류하는 과정은 도 5의 S131 내지 S135 단계에 의해 구현될 수 있다.The process of classifying the recognized moving objects may be implemented by steps S131 to S135 of FIG.

가축 도난을 감시하는 방법에서 이동 객체를 분류함에 있어서, 필요한 이동 객체의 종류는 인간과 가축이다. 도난의 대상이 되는 가축과 도난을 수행하는 인간을 분류하여야 한다. 이하, 이동 객체를 인간과 가축으로 분류하는 과정을 실시예로 설명한다. 형태학적 특징이 서로 다른 종류로 이동 객체를 분류하는 모든 과정에서 사용될 수 있음은 당연하다.In classifying moving objects in the method of monitoring livestock theft, the kinds of moving objects needed are human and livestock. The livestock to be stolen and the people who are stolen must be categorized. Hereinafter, a process of classifying a moving object into a human and a livestock will be described as an embodiment. It is natural that the morphological features can be used in all the processes of sorting the moving objects into different kinds.

인식된 이동 객체가 인간인지 가축인지를 알 수 있도록 객체의 형태 특징을 이용한 형태 모델을 생성하여 분류할 수 있다. 형태를 모델화하는 방법은 도 5와 같이 기본적인 인간과 가축의 형태가 인간은 높이가 너비에 비해 길고, 가축은 너비가 높이에 비해 길다는 특성을 이용한다. A morphological model using morphological features of the object can be generated and classified so that the recognized moving object is human or animal. As shown in FIG. 5, the model is used to model the basic human and livestock types, in which the height of humans is longer than the width and the width of livestock is longer than the height.

S131 단계에서 상기 이동 객체의 외곽선을 추출하고, 상기 외곽선을 이루는 점들을 연결하는 직선 중 가장 긴 제 1 직선의 중심점을 추출하고, S132 단계에서 상기 제 1 직선의 중심점을 기준으로 이동 객체의 외곽선까지의 수평 직선을 추출한다.In step S131, the outline of the moving object is extracted, and the center point of the longest straight line connecting the points forming the outline is extracted. In step S132, based on the center point of the first straight line, And extracts the horizontal straight line.

이동 객체의 형태학적 특징을 이용한 형태 모델을 형성하기 위해 먼저, 이동 객체에 대하여 외곽선을 추출하고 외곽선을 이루는 점을 추출한다. 이러한 외곽의 점과 점 사이에 존재하는 직선의 길이를 다음 수학식 2와 같은 방법으로 추출한다.In order to form a morphological model using the morphological features of the moving object, the outline is extracted for the moving object and the outline is extracted. The length of the straight line existing between the points and the points on the outer side is extracted by the following equation (2).

여기서 (x₁,y₁),(x₂,y₂)는 외곽의 두 점을 나타내며 d는 점에서부터 다른 한 점까지의 거리를 나타낸다. 도 6은 외곽 점 추출과 외곽의 점과 점을 이루는 직선을 추출하는 과정을 나타낸다. 도 6(a)는 이동 객체에 대해 외곽을 이루는 점을 추출한 결과이며, 도 6(b)는 외곽의 점과 점 사이에 존재하는 직선을 추출하는 과정을 그림으로 나타낸 결과이다.Here, (x ₁ , y ₁ ), (x ₂ , y ₂ ) represent two points on the outer edge, and d represents the distance from the point to another point. FIG. 6 shows a process of extracting a contour point and extracting a straight line forming a point and an outer point. 6 (a) is a result of extracting the outline points of the moving object, and FIG. 6 (b) is a drawing showing a process of extracting a straight line existing between the outline points and the points.

다음, 점과 점을 이루는 직선들의 거리 비교를 통하여 이동 객체 내부에 존재하는 가장 긴 직선인 제 1 직선을 추출한다. 이렇게 얻어진 제 1 직선은 형태 모델을 만들기 위한 주축으로 이용하며, 형태 모델을 만들기 위해 제 1 직선의 중심점을 추출한다. 다음, 제 1 직선의 중심점 x축을 기준으로 이동 객체의 외곽까지 수평으로 잇는 직선을 추출한다. 도 7은 제 1 직선과 수평 직선을 추출한 결과를 나타낸다. 도 7(a)는 이동 객체에 대해 제 1 직선을 추출한 결과를 나타내며, 도 7(b)는 수평 직선을 추출한 결과를 나타낸다. Next, the first straight line, which is the longest straight line existing inside the moving object, is extracted through the distance comparison of the straight lines forming the point and the point. The first straight line thus obtained is used as a main axis for making a shape model, and a center point of the first straight line is extracted to form a shape model. Next, a straight line horizontally extending to the outer edge of the moving object is extracted based on the center point x-axis of the first straight line. Fig. 7 shows the result of extracting the first straight line and the horizontal straight line. 7 (a) shows the result of extracting the first straight line with respect to the moving object, and Fig. 7 (b) shows the result of extracting the horizontal straight line.

이후, S133 단계에서 상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 컨벡스 헐(Convex Hull)을 이용하여 형태 모델을 생성한다.Thereafter, in step S133, a shape model is generated using Convex Hull for both end points of the first straight line, both end points of the horizontal straight line, and the center point of the first straight line.

상기와 같이 형태학적 특징을 기반으로 추출되는 정보, 즉 상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점을 컨벡스 헐 알고리즘의 입력데이터로 사용하여 형태 모델을 생성한다. 기존의 컨벡스 헐 알고리즘은 특정영역을 설정하거나 특정 대상의 영역을 도출하기 위해 이용되는 것인 반면, S133 단계에서는 형태학적 특징을 기반으로 이동 객체만의 형태적 특성을 강조하는 형태 모델을 생성하기 위해 컨벡스 헐 알고리즘을 이용한다. 또한, 형태 모델을 생성하기 위한 이동 객체는 고정된 형태가 아닌 형태가 실시간으로 변화하며 움직이는 객체를 대상으로 하는바, 컨벡스 헐 알고리즘을 이용하여 형태학적 특성으로부터 형태 모델을 생성하는 것이 이동 객체의 분류율이 뛰어나다.Using the information extracted based on the morphological characteristics as described above, i.e., the end points of the first straight line, the end points of the horizontal straight line, and the center point of the first straight line as the input data of the convex hull algorithm, do. The conventional convex hull algorithm is used to set a specific area or to derive a specific object area, while in step S133, a morphological model emphasizing the morphological characteristic of only the moving object is generated based on the morphological characteristic Convex Hull algorithm is used. In addition, moving objects for creating a morphological model are not fixed but morphing in real time, and moving objects are targeted. Therefore, generating a morphological model from morphological characteristics by using the convex hull algorithm is a classification The rate is excellent.

얻어진 제 1 직선과 수평 직선의 끝점을 추출하고 추출된 4개의 끝점과 중심점에 대해 컨벡스 헐(Convex Hull) 알고리즘을 이용한다. 컨벡스 헐을 이용하여 최외각에 존재하는 점들을 찾아 직선으로 연결시켜 제안한 모델을 형성한다. 도 8은 제안한 모델을 형성하는 과정과 결과를 나타낸다. Using the Convex Hull algorithm for the extracted four end points and center points, we extract the end points of the first straight line and the horizontal straight line. The convex hull is used to find the points on the outermost edge and form a straight line to form the proposed model. FIG. 8 shows a process and a result of forming the proposed model.

도 8(a)는 컨벡스 헐을 이용하여 최외곽에 존재하는 점(점 P₁, P₂, P₃, 그리고 P₄)을 찾아 제안한 모델을 형성하는 과정을 보여주며, 도 8(b)는 영상에서 이동 객체에 대해 제안한 모델을 형성한 결과를 나타낸다. FIG. 8 (a) shows a process of forming a proposed model by finding points (points P ₁ , P ₂ , P ₃ , and P ₄ ) existing at the outermost region using the convex hull, We show the result of forming the proposed model for moving object in image.

이후, S134 단계에서 상기 제 1 직선의 중심점으로부터 상기 형태 모델의 수직 직선을 추출한다. 상기 형태 모델을 형성하는 4 개의 점을 연결하는 직선 상의 점들 중 상기 제 1 직선의 중심점과 x 좌표가 같은 두 점을 추출하고, 상기 추출된 두 점을 연결하여 상기 수직 직선을 추출할 수 있다.Then, in step S134, the vertical straight line of the morphological model is extracted from the center point of the first straight line. Two points having the same x-coordinate as the center point of the first straight line among the points on the straight line connecting the four points forming the shape model may be extracted and the extracted vertical line may be extracted by connecting the extracted two points.

생성된 형태 모델을 이용하여 이동 객체를 분류하기 위해 형태 모델에 대한 중심점으로부터의 수직 직선을 추출한다. 수직 직선은 다음 수학식 3 내지 4와 같은 방법으로 얻는다.A vertical line from the center point of the morphological model is extracted to classify the moving object using the generated morphological model. The vertical straight line is obtained by the following equations (3) to (4).

여기서, P₁, P₂, P₃, 그리고 P₄는 도 8(a)와 같이 형태 모델을 이루고 있는 4개의 점을 나타내며, A_x는 중심점의 x좌표 값을 나타낸다. 따라서 A_x와 같은 값을 가지는 직선

의 x좌표 값을 추출하고, A_x와 같은 값을 가지는 직선

의 x좌표 값을 추출한다. Here, P ₁ , P ₂ , P ₃ , and P ₄ represent four points forming a morphological model as shown in FIG. 8 (a), and A _x represents an x-coordinate value of the center point. Therefore, a straight line having the same value as A _x

And extracts the x coordinate value of the straight line having the same value as A _x

The x-coordinate value is extracted.

다음, 도 9와 같이 점 P₁과 점 P₄점이 이루는 직선

에 대하여 수학식 3와 같은 방법으로 점 A와 x좌표 값이 같은 점을 찾아 점 B로 나타낸다. 마찬가지로 점 P₂와 점 P₃점이 이루는 직선

에 대하여 수학식 4와 같은 방법으로 점 A와 x값이 같은 점을 찾아 점 C로 나타낸다. 마지막으로 점 B와 점 C를 이어주어 형성된 모델의 수직 직선

을 추출한다. Next, as shown in Fig. 9, a straight line formed by the points P ₁ and P ₄

A point having the same value as the point A and the x coordinate value is found as a point B in the same manner as the equation (3). Similarly, a straight line formed by the points P ₂ and P ₃

A point having the same value of the point A and the point x is found in the same manner as in the expression (4) Finally, the point B and the point C are connected to form a vertical line

.

마지막으로, S135 단계에서, 상기 추출된 수평 직선과 수직 직선의 길이를 비교하여, 그 결과에 따라 상기 이동 객체를 분류한다. 여기서, 형태 모델은 인간은 수직 직선의 길이가 수평 직선의 길이보다 길고, 가축은 수평 직선의 길이가 수직 직선의 길이보다 긴 것으로 확인할 수 있다.Finally, in step S135, the extracted horizontal straight line is compared with the length of the vertical straight line, and the moving object is classified according to the result. Here, in the morphological model, it can be confirmed that the length of the vertical straight line of the human being is longer than the length of the horizontal straight line, and the length of the horizontal straight line of the domestic animal is longer than the length of the vertical straight line.

이동 객체를 분류하기 위하여, 형태 모델에 대한 수직인 선과 수평인 선을 이용한다. 만약 수직인 직선의 길이가 수평인 직선보다 큰 값을 가질 경우 인간, 반대로 수평 직선의 길이가 수직 직선보다 큰 값을 가질 경우 가축이라고 분류한다. 도 10은 제안한 모델의 수직, 수평 직선 추출과 이동 객체를 분류한 결과를 나타낸다. 도 10(a)의 경우는 형태 모델에 대해 수직 직선과 수평 직선을 추출한 결과를 나타내며, 도 10(b)는 형태 모델을 이용하여 인간과 가축을 분류한 결과를 나타낸다. 분류가 완료된 객체에 대해 이동 객체의 종류에 따라 서로 다른 색상으로 라벨링할 수 있다. 여기서, 인간은 파란색의 라벨을 가축은 초록색의 라벨로 나타낼 수 있다.To classify moving objects, we use vertical lines and horizontal lines for the morphological model. If the length of the vertical straight line is larger than the horizontal straight line, it is classified as a livestock if the length of the horizontal straight line is larger than the vertical straight line. FIG. 10 shows vertical and horizontal straight line extraction of the proposed model and classification result of moving objects. Fig. 10 (a) shows the result of extracting the vertical straight line and the horizontal straight line with respect to the morphological model, and Fig. 10 (b) shows the result of classifying human and livestock using the morphological model. The classified objects can be labeled with different colors according to the kind of the moving objects. Here, human beings can display blue labels and livestock be green labels.

(2-2) 이동 객체의 색상 추출(2-2) Color extraction of moving objects

이동 객체의 형태만을 이용한 분류하는 경우, 가축이 앞모습, 뒷모습을 보일 경우 가축의 형태 모델이 인간의 형태모델과 비슷하기 때문에 분류에 오류가 생길 수 있다. 따라서, 이러한 문제점을 해결하기 위해 가축은 고유한 색상을 가지고 있다는 특징을 이용하여 색상 정보를 얻어 해결할 수 있다.In case of classifying only using the type of moving object, if the livestock show the front view and the back view, the model of the livestock is similar to that of the human form model, so that the classification error may occur. Therefore, in order to solve this problem, the livestock can obtain and solve the color information by using the characteristic that it has a unique color.

형태모델을 이용하여 이동 객체를 분류하는 방법은 분류율이 뛰어나나 영상에서의 형태학적 특징들이 이동 객체들의 이동에 따라 실시간으로 변화할 수 있는바, 분류에 오류가 발생할 수 있다. 이에 색상정보를 이용하여 이동 객체를 분류하는 과정을 부가적으로 수행함으로써 형태모델을 이용하여 이동 객체를 분류하는 방법의 단점을 해결할 수 있고, 이동 객체 분류율을 향상시킬 수 있다. 각각의 방법을 이용하는 경우의 단점을 서로 보완함으로써 시너지 효과가 발생할 수 있다. The method of classifying moving objects using a morphological model is excellent in classification rate, but morphological characteristics in the image can change in real time according to the movement of moving objects, so that classification errors may occur. Accordingly, it is possible to solve the drawbacks of the method of classifying the moving objects using the morphological model by further performing the process of classifying the moving objects using the color information, and the moving object classification rate can be improved. Synergies may occur by complementing the disadvantages of using each method.

이동 객체의 색상을 이용하여 분류하는 과정은 도 5의 S136 단계를 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류함으로써 구현된다. 보다 구체적인 과정은 도 12의 S136-1 내지 S136-2 단계에 의해 구현될 수 있다.The process of classifying using the color of the moving object is implemented by classifying the moving object by verifying the type of the classified moving object using the color information in step S136 of FIG. A more specific process can be implemented by the steps S136-1 to S136-2 of FIG.

S136-1 단계에서 상기 이동 객체의 중심점을 기준으로 관심영역(ROI)을 지정한다.In step S136-1, the ROI is designated based on the center point of the moving object.

먼저, 형태를 이용하여 얻어진 분류정보가 가축일 경우 색상을 추출할 수 있고, 객체의 중심점에 대해 아래의 수학식 5와 같은 방법으로 가축이라고 판단된 객체에 ROI(Region of interest)를 지정한다.First, if the classification information obtained using the form is livestock, the color can be extracted and ROI (Region of interest) is designated for the object determined as livestock according to the following Equation 5 with respect to the center point of the object.

수학식 5에서 C.width와 C.height는 각각 객체의 중심점에 대한 넓이와 높이를 나타낸다.In Equation 5, C.width and C.height represent the width and height of the center point of the object, respectively.

이후, S136-2 단계에서 상기 관심영역에 대해 RGB 색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value) 색상 공간으로 변환시켜 HSV 색상 모델로 변환하고, S136-3 단계에서 상기 HSV 색상 모델을 이용하여 상기 관심영역의 색상을 추출하고, 베이지안 분류를 통해 상기 관심영역의 색상으로부터 상기 이동 객체를 분류한다.Then, in step S136-2, the HSV color space is transformed into an HSV color space using the image of the RGB color space with respect to the ROI, and the HSV color model is converted into an HSV color space. In step S136-3, And extracts the color of the ROI from the color of the ROI through Bayesian classification.

지정된 이동 객체의 중심 ROI에 대해 RGB색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value)색상 공간으로 변환시키고, 변환된 HSV 색상 모델을 이용하여 ROI영역에 대한 색상을 추출하고 가축의 색상 DB(Data Base)를 구축한다. 이때, 가축 색상정보 외의 인간의 색상정보가 추출될 경우를 판단하기 위해 베이지안 분류기를 이용하는 것이 바람직하다. 베이지안 분류기는 데이터학습을 통해 확률적으로 분류하는 방법이며, 아래의 수학식 6 내지 7과 같이 나타낸다.(HSV) color space using an image of RGB color space with respect to the center ROI of the designated moving object, extracts colors for the ROI region using the converted HSV color model, (Data Base). At this time, it is preferable to use a Bayesian classifier to determine when human color information other than livestock color information is extracted. The Bayesian classifier is a method of stochastic classification through data learning and is expressed by the following equations (6) to (7).

여기서,

는 사후 확률을

는 우도를 나타내며, P(wi)는 사전확률을 P(X)는 이전확률을 나타낸다. 따라서 이전확률은 인간이 침입하기 전에 얻어진 가축의 색상정보를 나타낸다.here,

The posterior probability

P (wi) represents the prior probability, and P (X) represents the previous probability. Therefore, the previous probability represents the color information of the livestock obtained before human invasion.

조건부 확률을 구한 후 인간과 가축을 다음 수학식 7과 같은 방법으로 분류하게 된다.After the conditional probability is obtained, the human and livestock are classified according to the following equation (7).

여기서, 수학식 7은 이동객체의 추출된 색상 값 X가 집단 w₁,w₂ 중 어디에 속하는지 판단한다. 따라서 색상 값이 가축의 색상과 유사한 색상 값을 보일 경우 가축집단으로 그렇지 않은 경우는 인간집단으로 분류한다.Equation (7) determines whether the extracted color value X of the moving object belongs to the group w ₁ or w ₂ . Therefore, if the color value shows a color value similar to the color of livestock, it is classified into a livestock group. Otherwise, it is classified as a human group.

형태모델을 이용하여 이동 객체를 분류하는 과정 및 색상 정보를 이용하여 이동 객체를 분류하는 과정은 순서를 바꾸어 순차적으로 수행되거나, 동시에 수행될 수도 있다.The process of classifying a moving object using a morphological model and the process of classifying a moving object using color information may be performed sequentially or sequentially.

(3) 이동 객체 추적 및 겹침 판단(3) Tracking moving objects and judging overlaps

이동 객체 분류가 완료되며, 필터를 이용하여 이동 객체를 추적하고, 겹침을 판단한다. 이동 객체 추적 및 겹침 판단은 도 14의 S140 단계 내지 S170 단계에 의해 구현된다.The moving object classification is completed, the moving object is tracked using the filter, and overlapping is judged. The movement object tracking and overlap determination is implemented by steps S140 through S170 in FIG.

S140 단계에서 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하며, 이 과정에서 칼만 필터(Kalman Filter)를 이용하여 상기 이동 객체의 추적 위치를 보정함으로써 상기 이동 객체를 추적하는 것이 바람직하다.In step S140, the moving object is tracked by predicting and correcting the position of the classified moving object using the filter. In this process, the tracking position of the moving object is corrected using the Kalman filter, .

이동 객체의 분류가 완료된 위치에 대해 칼만 필터를 적용하기 위한 과정은 다음과 같이 수학식 8 내지 12로 모델링이 이루어진다.The process for applying the Kalman filter to the position where the classification of the moving object is completed is modeled by Equations (8) to (12) as follows.

먼저, 이동 객체의 추적 위치 (x, y)와 속도 (v_x, v_y)를 다음과 같이 수학식 8로 나타낸다.First, the tracking position (x, y) and velocity (v _x , v _y ) of the moving object are expressed by Equation (8) as follows.

다음, 시간 t에서의 상태 벡터 X_t인 상태방정식은 수학식 9와 같이 나타낸다.Next, the equation of state state vector X _t at time t is shown as in the equation (9).

여기서, A는 전이 행렬을 B는 사용자 입력에 의한 상태 전이 행렬을 나타내고, W_t는 프로세스 잡음을 나타낸다. 이때 전이 행렬 A는 수학식 10과 같이 나타낸다.Here, A represents a transition matrix, B represents a state transition matrix by user input, and W _t represents process noise. At this time, the transition matrix A is expressed by Equation (10).

다음, 측정값 z_t는 분류된 이동 객체의 위치를 나타내며, 측정 방정식을 수학식 11과 같이 나타낼 수 있다. Next, the measured value z _t represents the position of the classified moving object, and the measurement equation can be expressed by Equation (11).

여기서, H는 측정 벡터의 변환 행렬을 나타내고, v_t는 측정 잡음을 나타낸다. 본 논문에서는 H에 대하여 상태 벡터에서 속도를 나타내는 요소는 제거하고, 위치를 나타내는 요소만 적용하여 수학식 12와 같이 나타낸다.Where H denotes the transformation matrix of the measurement vector and v _t denotes the measurement noise. In this paper, the element representing the velocity is removed from the state vector with respect to H, and only the element representing the position is applied, as shown in Equation (12).

위와 같은 처리 과정을 통하여 칼만 필터를 적용함으로써 이동 객체의 추적 위치를 보정한다.The tracking position of the moving object is corrected by applying the Kalman filter through the above process.

이동 객체가 둘 이상인 경우, S170 단계에서 각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단한다.If there are two or more moving objects, it is determined in step S170 whether the moving objects overlap each other using the Euclidean distance of the Kalman filter given to each moving object.

이동 객체가 겹쳤을 경우 인간과 가축의 겹침과 가축과 가축, 인간과 인간의 겹침을 판단하여야 한다. 따라서, 인간과 가축에 대해 각각 부여된 칼만 필터의 ㅇ유클리드 거리를 이용하여 이동 객체의 겹침을 판단하며, 수학식 13 내지 16과 같이 나타낸다.When the moving objects overlap, it is necessary to judge the overlap between human and livestock, and the overlap between livestock and livestock, human and human. Accordingly, the overlapping of the moving objects is determined using the Euclidean distance of the Kalman filter given to the human and the livestock, respectively, as shown in Equations (13) to (16).

수학식 13 내지 16에서 d는 객체간의 거리를 나타내며, PM_O은 인간의 현재 값을, AM_O은 가축의 현재 값을 나타낸다. 또한, PP_O은 인간의 예측 값을, AP_O은 가축의 예측 값을 나타낸다. 가축에 대하여 인간이 겹침을 보일 때 인간의 예측 값과 가축의 현재 값의 거리를 수학식 13과 같이 얻었으며, 인간에 대하여 가축이 겹침을 보일 경우 가축의 예측 값과 인간의 현재 값의 거리를 수학식 14와 같은 방법으로 얻었다. 마지막으로, 수학식 15는 인간과 인간이 겹쳤을 경우의 거리를 나타내며, 수학식 16은 가축과 가축이 겹쳤을 경우의 거리를 나타낸다. 도 15는 겹침 판단에 대한 결과를 나타낸다.In the equations (13) to (16), d represents the distance between objects, PM _O represents a current value of a human, and AM _O represents a current value of a livestock. In addition, PP _O represents a predicted value of a human, and AP _O represents a predicted value of a livestock. The distance between the human predicted value and the current value of the livestock when the human shows overlap with the livestock is obtained as shown in Equation 13 and the distance between the predicted value of the livestock and the present value of the human when the livestock overlaps with the human Was obtained in the same manner as in the formula (14). Finally, Equation (15) represents the distance when human and human overlap, and Equation (16) represents the distance when livestock and livestock overlap. 15 shows the result of the overlap judgment.

도 15(a)는 인간과 가축의 비 겹침 상황을 나타내며, 도 15(b)는 인간과 가축의 겹침 상황을 나타낸다. 인간과 가축이 겹쳤을 경우 라벨의 색상을 하얀색으로 나타내어 겹침을 판단한다. 다음, 도 15(c)는 가축과 가축의 겹침을 도 15(d)는 인간과 인간의 겹침을 나타낸다.Fig. 15 (a) shows the overlapping situation of human and livestock, and Fig. 15 (b) shows the overlapping situation of human and livestock. When human and livestock are overlapped, the color of the label is displayed in white to judge overlap. Next, Fig. 15 (c) shows the overlapping of livestock and livestock. Fig. 15 (d) shows overlapping of humans and human.

(4) 위험상황 판단(4) Judge the risk situation

도난과 관련하여 위험상황이 발생하였는지 여부에 대한 판단을 통해 사용자에게 위험상황 정보를 제공할 수 있다.It is possible to provide dangerous situation information to the user by judging whether or not a dangerous situation has occurred in relation to the theft.

이를 위하여, 도 16의 S180 단계에서, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공할 수 있다.To this end, in step S180 of FIG. 16, when overlapping occurs between a moving object that is the object of theft and a moving object that performs theft, overlapping between the moving object that is the object of the theft and the moving object that performs theft, If so, the user can be provided with a dangerous situation.

도난에 대한 위험 상황은 도난의 대상이 되는 가축과 도난을 수행하는 인간이 겹침이 있는 경우, 발생되는바, 이동 객체의 겹침을 이용하여 위험상황을 판단할 수 있다. 인간과 가축이 겹침간에 발생하지 않거나 가축과 가축간에 겹침이 발생하는 경우는 위험상황이 아니라고 판단할 수 있다.The risk situation for theft can be judged by using overlapping of moving objects, which occurs when there are overlaps between livestock that are the object of theft and people who are stolen. If there is no overlap between human and livestock, or if livestock and livestock overlap, it can be judged that it is not a dangerous situation.

도 17 내지 19는 가축 도난 판단 결과를 나타낸다. 도 17은 3개의 영상에서 인간과 가축의 겹침이 발생하지 않아 위험 상황이 발생되지 않은 경우를 나타낸다. 이러한 경우에는 상황판에 SAFE라고 나타낸다.17 to 19 show the result of livestock theft determination. FIG. 17 shows a case in which no dangerous situation occurs because no overlapping of human and livestock occurs in three images. In this case, the status sheet says SAFE.

다음, 도 18은 3개의 영상 중 CAM 1에서 인간과 가축의 겹침이 발생하는 경우이다. 이러한 경우에 CAM 1의 상황판에 위험 상황을 표시하였으며, 아래의 알림판에 사용자에게 알리는 이벤트를 발생시킨다. 그리고 CAM 2와 CAM 3처럼 인간과 인간이 겹치는 경우와 가축과 가축이 겹치는 경우에는 안전하다고 판단한다.Next, FIG. 18 shows a case in which human and livestock overlap in CAM 1 among three images. In this case, CAM 1 displays the status of danger on the status board, and the following notice board informs the user. And it is safe to say that human and human overlap such as CAM 2 and CAM 3 and livestock and livestock overlap.

다음, 도 19는 CAM 1에서 인간과 가축의 겹침 상황이 오랫동안 지속될 경우를 나타낸다. 이러한 상황이 발생할 경우 상황판에 위험 상황을 알려주고, 사용자와 유관 기관에 상황을 알리는 이벤트를 발생시킨다.Next, FIG. 19 shows a case where the overlap situation of human and livestock continues for a long time in CAM 1. When such a situation occurs, it informs the situation board of the dangerous situation and generates an event informing the user and the related authorities about the situation.

본 발명의 일 실시예에 따른 형태학적 특징 기반 모델을 이용한 가축 도난 판단 시스템은 다수 이동객체에 대해 인간, 가축 분류와 위험 상황 판단에 주안점을 두고 개발되었다. 그 효과에 대한 검증을 위한 실험에 사용된 영상은 640x360 픽셀, 초당 30 프레임이며 실험 환경은 window 10환경에서 i5-4590 3.30GHz CPU, 4GB RAM의 PC에서 실험하였다. 실험 영상은 농가의 도움을 얻어 촬영하였다. 그 결과는 다음 표 1(가축 분류 결과) 및 표 2(인간 분류 결과)와 같다.A livestock theft determination system using a morphological feature based model according to an embodiment of the present invention has been developed with a focus on human, livestock classification and risk situation determination for a plurality of moving objects. Experiments were performed on 640x360 pixels and 30 frames per second. Experiments were performed on a PC with an i5-4590 3.30GHz CPU and 4GB RAM in a window 10 environment. Experimental images were taken with the help of farmers. The results are shown in Table 1 (Livestock classification result) and Table 2 (Human classification result).

기존 타원 모델Original ellipse model 형태 모델Morphology model 형태 모델과 색상정보Form model and color information 일반적인 이동 영상General moving image 55.24%55.24% 78.15%78.15% 99.69%99.69% 비교적 옆모습이 많은 영상Relatively high-profile video 93.72%93.72% 99.51%99.51% 99.52%99.52% 비교적 대각이동 모습이 많은 영상A relatively diagonal moving image 31.93%31.93% 70.86%70.86% 99.32%99.32%

기존 타원 모델Original ellipse model 형태 모델Morphology model 형태 모델과 색상정보Form model and color information 일반적인 이동 영상General moving image 99.21%99.21% 99.22%99.22% 98.82%98.82% 가까이에서 이동 영상Moving images closer 88.20%88.20% 90.21%90.21% 93.75%93.75% 점차 멀어지는 이동 영상Gradually moving moving images 93.40%93.40% 96.27%96.27% 96.96%96.96%

표 1과 표 2는 기존의 타원 모델과 형태 모델 및 형태 모델과 색상정보를 이용한 방법에 대해 인간과 가축에 대한 분류결과를 나타낸 표이다. 위의 실험결과는 3개의 원근감이 있는 영상에서 단일 객체에 대해 조건을 다르게 하여 실험하였다. Table 1 and Table 2 show the result of classifying human and livestock according to the existing ellipse model, morphological model, morphological model, and method using color information. The above experiment was performed by using different conditions for a single object in three perspective images.

먼저, 가축의 분류결과 타원 모델을 이용한 방법과 형태 모델을 이용한 방법 모두 가축의 옆모습에 대해서 높은 확률로 분류가 성공한다. 하지만, 기존 타원 모델 방법은 가축이 대각이동을 할 경우, 가축이 앞모습 또는 뒷모습만 보일 경우에 판단이 어렵다는 단점이 있다. 따라서 형태 모델을 이용한 방법인 형태 모델을 이용하여 분류함으로써 가축이 대각이동을 할 경우의 분류율을 높였다. 그러나 형태 모델을 이용한 방법만을 이용할 경우 가축의 앞모습 또는 뒷모습이 인간과 유사한 형태를 보이기 때문에 분류가 어렵다는 문제점이 있다. 이를 해결하기 위해 색상정보를 이용한 판별 방법을 이용하여 가축의 앞모습, 뒷모습에 대한 문제를 해결하여 최종적으로 분류율을 높였다. First, classification of livestock is highly probable for the profile of livestock in both methods using elliptic model and morphological model. However, the existing ellipse model method has a disadvantage in that it is difficult to judge when the livestock is diagonally moved and the livestock shows only the front view or the rear view. Therefore, classification using the morphological model, which is a method using the morphological model, increases the classification rate when the livestock diagonally moves. However, there is a problem that when the method using the morphological model is used, classification of the animal is difficult because the frontal or rearward appearance of the animal is similar to that of a human. In order to solve this problem, the classification method using color information was used to solve the problems of frontal view and rear view of livestock.

다음, 인간의 분류결과 타원 모델을 이용한 방법과 형태 모델을 이용한 방법 모두 이동 객체가 일반적으로 이동할 경우에 높은 분류율을 보였다. 다음, 카메라 가까이에서 이동할 경우 세 가지 방법 모두 이동 객체의 형태를 정확하게 추출하기 어려워 분류율이 비교적 떨어짐을 볼 수 있었다. 마지막으로, 이동 객체가 화면에서 점차 멀어지며 이동할 경우 세 가지 방법 모두 이동 객체가 화면에서 너무 멀어질 때에는 이동 객체의 크기가 작아져 식별이 어렵다. 그러나 이러한 경우에는 카메라의 성능에 따라 분류율이 변화할 것으로 보인다. Next, human classification showed a high classification rate when the moving object moves in general, both using the elliptic model and using the morphological model. Next, when moving near the camera, it is difficult to accurately extract the shape of the moving object in all three methods, so that the classification rate is relatively low. Finally, when the moving object moves away from the screen, the moving object becomes too small to identify the moving object when the moving object is far from the screen. However, in this case, classification rate will change according to camera performance.

도 20은 본 발명의 일 실시예에 따른 영상 감시 방법을 구현한 프로그램이 채택하고 있는 도난을 감시하는 알고리즘을 도시한 흐름도이다. 도 20은 크게 이동 객체 추출 및 인식, 분류, 식별, 그리고 추적 등으로 구성되어 있으며, 각 연산의 흐름을 중심으로 그 구성을 개괄적으로 소개한다.20 is a flowchart illustrating an algorithm for monitoring the theft adopted by a program implementing a video surveillance method according to an embodiment of the present invention. FIG. 20 is a block diagram showing the structure of a moving object extraction, recognition, classification, identification, and tracking.

입력 영상을 받아와 이동 객체를 추출하기 위해 GMM 방법을 이용하여 이동 객체를 추출한다. 이때 이동 객체의 그림자와 조도변화에 따른 잡음을 Median Filter을 이용하여 제거한다. 다음, 라벨링 방법을 이용하여 추출된 이동 객체를 인식한다. 이렇게 인식된 이동 객체에 대해 외곽에 존재하는 점을 추출하고 축을 이루는 직선들을 찾아낸다. 이렇게 얻어진 직선들의 끝점에 대해 Convex Hull알고리즘을 이용하여 형태 모델을 형성하고, 인간과 가축을 분류한다. 그러나 형태 모델 방법만을 이용하여 인간과 가축을 분류할 경우 가축의 앞모습, 뒷모습 형태는 인간의 형태와 비슷하기 때문에 분류가 어렵다는 문제점이 발생한다. 이러한 문제점을 해결하기 위해 가축의 고유한 색상을 HSV 칼라 모델을 이용하여 추출하고, 베이지안(Bayesian) 알고리즘으로 추출된 색상을 판별하여 최종적으로 인간과 가축을 분류한다. 그리고, 분류된 인간과 가축에 대하여 각각 Kalman Filter 방법으로 추적한다. 또한, 객체간의 거리 값을 이용하여 이동 객체들간의 겹침을 판단한다, 마지막으로, 이러한 겹침 판단 결과를 이용하여 위험 상황이라고 판단할 경우 상황을 알려주는 이벤트를 발생시키는 과정을 수행한다.We extract the moving object by using GMM method to extract the moving object. At this time, the noise due to the shadow and the illumination change of the moving object is removed by using the median filter. Next, the extracted moving object is recognized using the labeling method. For the recognized moving object, we extract the points existing in the outline and find the straight lines forming the axis. Using the Convex Hull algorithm for the end points of the obtained straight lines, a morphological model is formed and human and livestock are classified. However, classification of humans and livestock by using morphological model method is problematic because classification of livestock 's front view and rear view is similar to human form. In order to solve these problems, the native color of livestock is extracted using HSV color model, the color extracted by Bayesian algorithm is discriminated, and finally human and livestock are classified. Then, the classified human and livestock are tracked by the Kalman Filter method. In addition, overlapping between moving objects is determined using a distance value between objects. Finally, a process of generating an event informing a situation is performed when it is determined that a dangerous situation is obtained by using the overlap determination result.

도 21은 본 발명의 다른 실시예에 따른 도난 감시 장치(100)를 도시한 블록도로서, 앞서 도 1을 통해 설명한 각 수행 과정을 하드웨어 간의 연결 관계를 중심으로 기술하였다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 구성의 수행 기능을 약술하도록 한다.FIG. 21 is a block diagram illustrating a theft monitoring apparatus 100 according to another embodiment of the present invention. The respective steps of FIG. Therefore, in order to avoid duplication of explanations, the performance function of each configuration is outlined here.

입력부(10)는, 카메라(200)로부터 촬영된 영상을 입력받는다.The input unit 10 receives a photographed image from the camera 200. [

메모리(30)는, 입력된 영상 내에 포함된 이동 객체의 움직임을 감시하는 도난 감시 프로그램을 저장한다.The memory 30 stores a theft monitoring program for monitoring the movement of the moving object included in the input image.

프로세서(20)는, 상기 도난 감시 프로그램을 구동하는 주체로서, 적어도 하나의 하드웨어로서 구현되어 메모리(30)에 접근하여 도난 감시 프로그램에 정의된 명령을 수행, 제어할 수 있다. 여기서, 메모리(30)에 저장된 도난 감시 프로그램은, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출하고, 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식하고, 이동 객체의 형태학적 특징을 이용하여 상기 인식된 이동 객체를 분류하며, 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하는 명령어를 포함한다.The processor 20 is implemented as at least one piece of hardware as a main body for driving the theft monitoring program, and can access and control the memory 30 to execute and control commands defined in the theft monitoring program. Here, the theft monitoring program stored in the memory 30 may include labeling for extracting a moving object distinguished from the modeled background by modeling the background from the input image, and assigning a unique identifier to the extracted moving object A step of recognizing the labeled moving object, classifying the recognized moving object using the morphological characteristic of the moving object, and tracking the moving object by predicting and correcting the position of the classified moving object using a filter .

보다 구체적으로, 메모리(30)에 저장된 도난 감시 프로그램은, 상기 이동 객체를 추출한 이후, 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거할 수 있다.More specifically, the theft monitoring program stored in the memory 30 can remove the noise due to the shadow of the moving object and the illuminance change after extracting the moving object.

또한, 메모리(30)에 저장된 도난 감시 프로그램은, 상기 이동 객체의 외곽선을 추출하고, 상기 외곽선을 이루는 점들을 연결하는 직선 중 가장 긴 제 1 직선의 중심점을 추출하고, 상기 제 1 직선의 중심점을 기준으로 이동 객체의 외곽선까지의 수평 직선을 추출하고, 상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 컨벡스 헐(Convex Hull)을 이용하여 형태 모델을 생성하고, 상기 제 1 직선의 중심점으로부터 상기 형태 모델의 수직 직선을 추출하며, 상기 추출된 수평 직선과 수직 직선의 길이를 비교하여, 그 결과에 따라 상기 이동 객체를 분류할 수 있다.Also, the theft monitoring program stored in the memory 30 may extract the outline of the moving object, extract the center point of the longest first straight line connecting the outline straight lines, and calculate the center point of the first straight line as Extracting a horizontal line extending to the outline of the moving object as a reference and calculating a shape model using a convex hull with respect to both end points of the first straight line, both end points of the horizontal straight line, and the center point of the first straight line, Extracts a vertical straight line of the morphological model from the center point of the first straight line, compares the extracted horizontal straight line with the length of the vertical straight line, and classifies the moving object according to the result.

나아가, 메모리(30)에 저장된 도난 감시 프로그램은, 상기 형태학적 특징을 이용하여 상기 인식된 이동 객체를 분류한 이후, 상기 분류된 이동 객체의 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류할 수 있고, 상기 이동 객체의 중심점을 기준으로 관심영역(ROI)을 지정하고, 상기 ROI에 대해 RGB 색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value) 색상 공간으로 변환시켜 HSV 색상 모델로 변환하고, 상기 HSV 색상 모델을 이용하여 상기 관심영역의 색상을 추출하고, 베이지안 분류를 통해 상기 관심영역의 색상으로부터 상기 이동 객체를 분류할 수 있다.Further, the theft monitoring program stored in the memory 30 may classify the recognized moving object using the morphological characteristic, and then use the color information of the classified moving object to verify the type of the classified moving object (ROI) on the basis of the center point of the moving object, and generates a hue-saturation-value (HSV) color space using the image of the RGB color space with respect to the ROI Transforms the HSV color model into an HSV color model, extracts the color of the ROI using the HSV color model, and classifies the ROI from the color of the ROI through Bayesian classification.

그리고, 메모리(30)에 저장된 도난 감시 프로그램은, 칼만 필터(Kalman Filter)를 이용하여 상기 이동 객체의 추적 위치를 보정함으로써 상기 이동 객체를 추적할 수 있고, 상기 이동 객체가 둘 이상인 경우, 각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단하고, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공할 수 있다.The theft monitoring program stored in the memory 30 can track the moving object by correcting the tracking position of the moving object using a Kalman filter, and when there are two or more moving objects, The overlapping between moving objects is determined using the Euclidean distance of the Kalman filter given to the object, and there is a possibility that overlapping occurs between the moving object that is the object of the theft and the moving object that theft occurs, And the moving object performing the theft continues for a predetermined time or longer, the user can be provided with a dangerous situation.

한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100 : 도난 감시 장치
200 : 카메라
10 : 입력부
20 : 프로세서
30 : 메모리100: Theft monitoring device
200: camera
10: Input unit
20: Processor
30: Memory

Claims (20)

인터넷 기능을 갖는 CCTV를 이용한 실시간 도난 감시 시스템이 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출하는 단계;
상기 도난 감시 시스템이 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식하는 단계;
상기 도난 감시 시스템이 이동 객체의 형태 특징을 이용하여 상기 인식된 이동 객체를 분류하는 단계; 및
상기 도난 감시 시스템이 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하는 단계를 포함하고,
상기 이동 객체를 분류하는 단계는,
상기 이동 객체의 외곽선을 추출하고, 상기 외곽선을 이루는 점들을 연결하는 직선 중 가장 긴 제 1 직선의 중심점을 추출하는 단계;
상기 제 1 직선의 중심점을 기준으로 이동 객체의 외곽선까지의 수평 직선을 추출하는 단계;
상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 최외곽에 존재하는 점들을 찾아 직선으로 연결함으로써 상기 이동 객체만의 형태적 특성을 강조하는 형태 모델을 생성하는 단계;
상기 제 1 직선의 중심점으로부터 상기 형태 모델의 수직 직선을 추출하는 단계; 및
상기 추출된 수평 직선과 수직 직선의 길이를 비교하여, 그 결과에 따라 상기 이동 객체를 분류하는 단계를 포함하는 도난 감시 방법.Extracting a moving object distinguished from the modeled background by modeling a background from an input image of a real time theft monitoring system using CCTV having an Internet function;
Performing labeling to give a unique identifier to the moving object from which the theft monitoring system is extracted, and recognizing the labeled moving object;
Classifying the recognized moving object using the shape characteristic of the moving object; And
And tracking the moving object by predicting and correcting the position of the classified moving object using a filter by the theft monitoring system,
Wherein classifying the moving object comprises:
Extracting an outline of the moving object and extracting a center point of a longest first straight line connecting the points forming the outline;
Extracting a horizontal straight line from the center point of the first straight line to an outline of the moving object;
A form model for emphasizing the morphological characteristics of only the moving object by connecting the straight lines connecting the points at the outermost points with respect to both end points of the first straight line, both end points of the horizontal straight line, and the center line of the first straight line, ;
Extracting a vertical straight line of the morphological model from a center point of the first straight line; And
Comparing the extracted horizontal straight line with a length of a vertical straight line, and classifying the moving object according to the comparison result. 제 1 항에 있어서,
상기 이동 객체를 추출하는 단계는,
상기 입력된 영상에 대한 데이터 분포 모델링을 수행하여 상기 이동 객체를 추출하는 것을 특징으로 하는 도난 감시 방법.The method according to claim 1,
Wherein the extracting of the moving object comprises:
Wherein the moving object is extracted by performing data distribution modeling on the input image. 제 1 항에 있어서,
상기 이동 객체를 추출하는 단계 이후,
상기 도난 감시 시스템이 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거하는 단계를 더 포함하는 도난 감시 방법.The method according to claim 1,
After extracting the moving object,
Further comprising a step in which the theft monitoring system removes noise due to a change in the shadow and the illuminance of the moving object. 제 1 항에 있어서,
상기 형태 모델을 생성하는 단계는,
상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 컨벡스 헐(Convex Hull)을 이용하는 것을 특징으로 하는 도난 감시 방법.The method according to claim 1,
Wherein the generating the shape model comprises:
Wherein a convex hull is used for both end points of the first straight line, both end points of the horizontal straight line, and the center point of the first straight line. 제 1 항에 있어서,
상기 수직 직선을 추출하는 단계는,
상기 형태 모델을 형성하는 4 개의 점을 연결하는 직선 상의 점들 중 상기 제 1 직선의 중심점과 x 좌표가 같은 두 점을 추출하고, 상기 추출된 두 점을 연결하여 상기 수직 직선을 추출하는 것을 특징으로 하는 도난 감시 방법.The method according to claim 1,
Wherein the extracting of the vertical straight line comprises:
Extracting two points having the same x-coordinate from the center point of the first straight line among the points on the straight line connecting the four points forming the shape model, and connecting the extracted two points to extract the vertical straight line. Theft monitoring method. 제 1 항에 있어서,
상기 형태 모델은,
인간은 수직 직선의 길이가 수평 직선의 길이보다 길고, 가축은 수평 직선의 길이가 수직 직선의 길이보다 긴 것을 특징으로 하는 도난 감시 방법.The method according to claim 1,
In the morphological model,
Wherein the length of the vertical straight line of the human being is longer than the length of the horizontal straight line, and the length of the horizontal straight line of the animal is longer than the length of the vertical straight line. 제 1 항에 있어서,
상기 이동 객체를 분류하는 단계는,
상기 분류된 이동 객체의 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류하는 단계를 포함하는 것을 특징으로 하는 도난 감시 방법.The method according to claim 1,
Wherein classifying the moving object comprises:
And classifying the moving object by verifying the type of the classified moving object using the color information of the classified moving object. 제 7 항에 있어서,
상기 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류하는 단계는,
상기 이동 객체의 중심점을 기준으로 관심영역(ROI)을 지정하는 단계;
상기 관심영역에 대해 RGB 색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value) 색상 공간으로 변환시켜 HSV 색상 모델로 변환하는 단계; 및
상기 HSV 색상 모델을 이용하여 상기 관심영역의 색상을 추출하고, 베이지안 분류를 통해 상기 관심영역의 색상으로부터 상기 이동 객체를 분류하는 단계를 포함하는 도난 감시 방법.8. The method of claim 7,
And classifying the moving object by verifying the type of the classified moving object using the color information,
Designating a region of interest (ROI) based on a center point of the moving object;
Transforming an HSV color space into an HSV (Hue-Saturation-Value) color space using an image of an RGB color space for the ROI; And
Extracting the color of the ROI using the HSV color model, and classifying the ROI from the color of the ROI through Bayesian classification. 제 1 항에 있어서,
상기 이동 객체를 분류하는 단계 이후,
상기 이동 객체의 종류에 따라 서로 다른 색상으로 라벨링하는 단계를 더 포함하는 도난 감시 방법.The method according to claim 1,
After classifying the moving object,
Further comprising the step of labeling the moving objects in different colors according to the type of the moving objects. 제 1 항에 있어서,
상기 이동 객체를 추적하는 단계는,
칼만 필터(Kalman Filter)를 이용하여 상기 이동 객체의 추적 위치를 보정함으로써 상기 이동 객체를 추적하는 것을 특징으로 하는 도난 감시 방법.The method according to claim 1,
Wherein tracking the moving object comprises:
And tracking the moving object by correcting a tracking position of the moving object using a Kalman filter. 제 1 항에 있어서,
상기 이동 객체가 둘 이상인 경우,
각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단하는 단계를 더 포함하는 도난 감시 방법.The method according to claim 1,
When there are two or more moving objects,
Further comprising the step of determining overlap between moving objects using an Euclidean distance of a Kalman filter assigned to each moving object. 제 11 항에 있어서,
도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공하는 단계를 더 포함하는 도난 감시 방법.12. The method of claim 11,
When overlapping occurs between a moving object to be stolen and a moving object that performs the stolen operation or an overlap between a moving object to be stolen and a moving object to be stolen continues for a predetermined time or more, Further comprising the steps of: 제 1 항 내지 제 12 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 1 to 12. 카메라로부터 촬영된 영상을 입력받는 입력부;
입력된 영상 내에 포함된 이동 객체의 움직임을 감시하는 도난 감시 프로그램을 저장하는 메모리; 및
상기 도난 감시 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되,
상기 메모리에 저장된 도난 감시 프로그램은,
입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 이동 객체를 추출하고, 추출된 상기 이동 객체에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고, 라벨링된 이동 객체를 인식하고, 이동 객체의 형태학적 특징을 이용하여 상기 인식된 이동 객체를 분류하며, 필터를 이용하여 상기 분류된 이동 객체의 위치를 예측 보정함으로써 이동 객체를 추적하는 명령어를 포함하되,
상기 이동 객체의 외곽선을 추출하고, 상기 외곽선을 이루는 점들을 연결하는 직선 중 가장 긴 제 1 직선의 중심점을 추출하고, 상기 제 1 직선의 중심점을 기준으로 이동 객체의 외곽선까지의 수평 직선을 추출하고, 상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 최외곽에 존재하는 점들을 찾아 직선으로 연결함으로써 상기 이동 객체만의 형태적 특성을 강조하는 형태 모델을 생성하고, 상기 제 1 직선의 중심점으로부터 상기 형태 모델의 수직 직선을 추출하며, 상기 추출된 수평 직선과 수직 직선의 길이를 비교하여, 그 결과에 따라 상기 이동 객체를 분류하는 것을 특징으로 하는 도난 감시 장치.An input unit for receiving an image photographed by the camera;
A memory for storing a theft monitoring program for monitoring movement of a moving object included in an input image; And
And at least one processor for driving the theft monitoring program,
The theft monitoring program stored in the memory,
Extracts a moving object distinguished from the modeled background by modeling the background from the input image, performs labeling for giving a unique identifier to the extracted moving object, recognizes the labeled moving object, And classifying the recognized moving object using the morphological characteristic of the classified moving object, and tracking the moving object by predicting and correcting the position of the classified moving object using a filter,
Extracts the outline of the moving object, extracts the center point of the longest first straight line connecting the points forming the outline, extracts a horizontal straight line to the outline of the moving object based on the center point of the first straight line, A shape model for emphasizing the morphological characteristics of only the moving object by connecting straight lines connecting the points at the outermost points with respect to both end points of the first straight line, both end points of the horizontal straight line, and the center point of the first straight line, Extracts a vertical straight line of the morphological model from the center point of the first straight line, compares the extracted horizontal straight line with the length of the vertical straight line, and classifies the moving object according to the result. monitor. 제 14 항에 있어서,
상기 메모리에 저장된 도난 감시 프로그램은,
상기 이동 객체를 추출한 이후, 상기 이동 객체의 그림자와 조도 변화에 따른 잡음을 제거하는 것을 특징으로 하는 도난 감시 장치.15. The method of claim 14,
The theft monitoring program stored in the memory,
And after removing the moving object, removes noise due to a shadow and a luminance change of the moving object. 제 14 항에 있어서,
상기 메모리에 저장된 도난 감시 프로그램은,
상기 제 1 직선의 양 끝점, 상기 수평 직선의 양 끝점, 및 상기 제 1 직선의 중심점에 대해 컨벡스 헐(Convex Hull)을 이용하여 형태 모델을 생성하는 것을 특징으로 하는 도난 감시 장치.15. The method of claim 14,
The theft monitoring program stored in the memory,
Wherein a shape model is generated using a convex hull with respect to both end points of the first straight line, both end points of the horizontal straight line, and the center point of the first straight line. 제 14 항에 있어서,
상기 메모리에 저장된 도난 감시 프로그램은,
상기 형태학적 특징을 이용하여 상기 인식된 이동 객체를 분류한 이후, 상기 분류된 이동 객체의 색상 정보를 이용하여 상기 분류된 이동 객체의 종류를 검증하여 상기 이동 객체를 분류하는 것을 특징으로 하는 도난 감시 장치.15. The method of claim 14,
The theft monitoring program stored in the memory,
Characterized in that after classifying the recognized moving objects using the morphological characteristics, the classifying unit classifies the moving objects by verifying the types of the classified moving objects using the color information of the classified moving objects Device. 제 17 항에 있어서,
상기 메모리에 저장된 도난 감시 프로그램은,
상기 이동 객체의 중심점을 기준으로 관심영역(ROI)을 지정하고, 상기 ROI에 대해 RGB 색상 공간의 이미지를 이용하여 HSV(Hue-Saturation-Value) 색상 공간으로 변환시켜 HSV 색상 모델로 변환하고, 상기 HSV 색상 모델을 이용하여 상기 관심영역의 색상을 추출하고, 베이지안 분류를 통해 상기 관심영역의 색상으로부터 상기 이동 객체를 분류하는 것을 특징으로 하는 도난 감시 장치.18. The method of claim 17,
The theft monitoring program stored in the memory,
Designating an ROI based on a center point of the moving object and transforming the ROI into an HSV color model using an image of an RGB color space into an HSV (Hue-Saturation-Value) color space, Extracts the color of the ROI using the HSV color model, and classifies the ROI from the color of the ROI through Bayesian classification. 제 14 항에 있어서,
상기 메모리에 저장된 도난 감시 프로그램은,
칼만 필터(Kalman Filter)를 이용하여 상기 이동 객체의 추적 위치를 보정함으로써 상기 이동 객체를 추적하는 것을 특징으로 하는 도난 감시 장치.15. The method of claim 14,
The theft monitoring program stored in the memory,
And tracking the moving object by correcting a tracking position of the moving object using a Kalman filter. 제 14 항에 있어서,
상기 이동 객체가 둘 이상인 경우,
각 이동 객체에 부여된 칼만 필터의 유클리드(Euclidean) 거리를 이용하여 이동 객체 간의 겹침을 판단하고,
도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 발생하거나, 도난의 대상이 되는 이동 객체와 도난을 수행하는 이동 객체 간의 겹침이 소정의 시간 이상 계속되는 경우, 사용자에게 위험상황을 제공하는 것을 특징으로 하는 도난 감시 장치.15. The method of claim 14,
When there are two or more moving objects,
The overlapping of the moving objects is determined using the Euclidean distance of the Kalman filter given to each moving object,
When overlapping occurs between a moving object to be stolen and a moving object that performs the stolen operation or an overlap between a moving object to be stolen and a moving object to be stolen continues for a predetermined time or more, Wherein the security monitoring device comprises:

Images