KR20080079506A - Photographing apparatus for tracking object and method thereof - Google Patents

Photographing apparatus for tracking object and method thereof Download PDF

Info

Publication number
KR20080079506A
KR20080079506A KR1020070019785A KR20070019785A KR20080079506A KR 20080079506 A KR20080079506 A KR 20080079506A KR 1020070019785 A KR1020070019785 A KR 1020070019785A KR 20070019785 A KR20070019785 A KR 20070019785A KR 20080079506 A KR20080079506 A KR 20080079506A
Authority
KR
South Korea
Prior art keywords
tracking
tracking target
information
image
determined
Prior art date
Application number
KR1020070019785A
Other languages
Korean (ko)
Other versions
KR101290517B1 (en
Inventor
우현균
노승인
서진근
이석호
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020070019785A priority Critical patent/KR101290517B1/en
Publication of KR20080079506A publication Critical patent/KR20080079506A/en
Application granted granted Critical
Publication of KR101290517B1 publication Critical patent/KR101290517B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

A photographing apparatus and an object tracking method thereof are provided to compare a current frame image with a previous frame image, thereby tracking a tracking object more accurately. A photographing apparatus includes a photographing unit(110), a preprocessing unit(120), a motion detector(130), a tracking object determiner(140), and a photographing controller(150). The motion detector compares a current frame image with a previous frame image to select a tracking object satisfying the condition of a preset tracking object and outputs information about the selected tracking object. The tracking object determiner determines the tracking object by using the information about the tracking object and outputs the center point information of the determined tracking object by using the shape information of the determined tracking object. The photographing controller controls photographing so as for the determined tracking object to be positioned in the center of the image based on the center point information of the tracking object.

Description

촬영장치 및 이의 대상 추적방법{Photographing apparatus for tracking object and method thereof}Photographing apparatus for tracking object and method

도 1은 본 발명의 일 실시예에 따른 촬영장치의 블록도, 1 is a block diagram of a photographing apparatus according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따른 촬영장치에 구비된 추적대상 판별부의 구체적인 블록도, 그리고2 is a detailed block diagram of a tracking object determination unit provided in the photographing apparatus according to an embodiment of the present invention; and

도 3은 본 발명의 일 실시예에 따른 촬영장치의 대상 추적방법의 설명에 제공되는 흐름도이다.3 is a flowchart provided to explain an object tracking method of the photographing apparatus according to an exemplary embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

110 : 촬영부 120 : 전처리부110: photographing unit 120: preprocessing unit

130 : 움직임 검출부 140 : 추적대상 판별부130: motion detection unit 140: tracking object determination unit

141 : 영상 차 산출부 143 : 추적대상 영역 판별부141: image difference calculation unit 143: tracking area determination unit

145 : 블랍 판단부 147 : 색 히스토그램 비교부145: blob determination unit 147: color histogram comparison unit

149 : 추적대상 중심점 산출부 150 : 촬영 제어부149: tracking target center point calculation unit 150: shooting control unit

본 발명은 촬영장치 및 이의 대상 추적방법에 관한 것으로, 더욱 상세하게 는, 움직이는 추적대상을 자동으로 추적하여 계속 촬영을 수행하는 촬영장치 및 이의 대상 추적방법에 관한 것이다.The present invention relates to a photographing apparatus and a method for tracking a subject thereof, and more particularly, to a photographing apparatus and a subject tracking method for automatically tracking a moving tracking subject and continuously photographing the same.

촬영기술의 발달과 더불어 급속히 발전하게 된 영상처리기술로 인하여, 사람이 촬영수단을 직접 조작하지 않고서도, 촬영하고 있는 장소에서 움직이는 추적대상을 자동으로 추적하도록 촬영수단을 자동으로 제어하는 것이 가능해 졌으며, 이 추적기술은 나날이 발전해가고 있다.Due to the rapid development of image processing technology with the development of photography technology, it is possible to automatically control the shooting means to automatically track the moving object in the location where the person is shooting without manipulating the shooting means directly. This tracking technology is developing day by day.

이와 같은 추적은 촬영된 영상에서 움직이는 추적대상을 추출하고, 추출된 추적대상이 영상의 중심에 위치하도록 촬영수단을 자동으로 제어하는 절차에 의하게 된다.Such tracking is based on a procedure of extracting a moving target from the captured image and automatically controlling the photographing unit so that the extracted tracking target is located at the center of the image.

움직이는 추적대상을 추출하는 과정은, 촬영된 영상에 대한 분석을 통해 이루어지는데, 이 과정에서는 많은 오류가 발생할 수 있다. 추적 대상이 정확히 선택되지 않으면, 추적 대상 주변의 배경도 추적 대상에 포함되는 경우가 발생할 수 있다. 이런 경우에, 추적 대상의 색 히스토그램이 원래의 추적 대상의 정보뿐만 아니라 주변 배경의 색 히스토그램 정보를 같이 포함하고 있으므로 오류가 발생할 여지가 높다.The process of extracting the moving object to be traced is performed by analyzing the captured image, which can cause a lot of errors. If the tracking target is not correctly selected, the background around the tracking target may also be included in the tracking target. In this case, since the color histogram of the tracking target includes not only the information of the original tracking target but also the color histogram of the surrounding background, there is a high possibility of error.

이에 따라, 추적대상을 보다 정확히 추출함으로서, 촬영수단의 추적동작이 보다 정확하게 이루어질 수 있도록 하기 위한 방안의 모색이 요청된다.Accordingly, a search for a method for more accurately extracting the tracking target and enabling the tracking operation of the photographing means to be performed more accurately is required.

따라서, 본 발명의 목적은, 현재프레임과 이전프레임의 영상을 비교하여 추적대상을 보다 정확하게 추적할 수 있는 촬영장치 및 이의 대상 추적방법을 제공함 에 있다.Accordingly, an object of the present invention is to provide a photographing apparatus and a target tracking method thereof, which can accurately track a tracking target by comparing an image of a current frame and a previous frame.

그리고, 본 발명의 다른 목적은, 추적 대상의 조건을 만족시키는 물체에 대해 액티브 콘토어를 이용하여 추적 대상의 형태 정보를 보다 정확하게 추출할 수 있는 촬영장치 및 이의 대상 추적방법을 제공함에 있다.Another object of the present invention is to provide a photographing apparatus and an object tracking method thereof, which can extract shape information of a tracking object more accurately using an active contour on an object that satisfies a condition of the tracking object.

또한, 본 발명의 또 다른 목적은, 추출된 형태 정보에 대응되는 추적 대상의 색 특성을 이용하여 추적 대상을 보다 정확하게 판별하여 추적할 수 있는 촬영장치 및 이의 대상 추적방법을 제공함에 있다.It is still another object of the present invention to provide a photographing apparatus and a method for tracking an object thereof, which can more accurately determine and track a tracking object by using color characteristics of the tracking object corresponding to the extracted shape information.

상기 목적을 달성하기 위한 본 발명에 따른 촬영장치는 현재프레임과 이전프레임의 영상을 비교하여, 기설정된 추적 대상의 조건을 만족시키는 추적 대상을 선별하고, 상기 선별된 추적 대상에 대한 정보를 출력하는 움직임 검출부, 상기 추적 대상에 대한 정보를 이용하여 추적 대상을 판별하며, 상기 판별된 추적 대상의 형태 정보를 이용하여 상기 판별된 추적 대상의 중심점 정보를 출력하는 추적대상 판별부, 및 상기 추적 대상의 중심점 정보에 기초하여 상기 판별된 추적 대상이 영상의 중앙에 위치되도록 촬영을 제어하는 촬영제어부를 포함한다.According to an exemplary embodiment of the present invention, a photographing apparatus compares an image of a current frame and a previous frame, selects a tracking target that satisfies a condition of a preset tracking target, and outputs information on the selected tracking target. A motion detection unit, a tracking target determination unit for determining a tracking target by using the information on the tracking target, and outputting the center point information of the determined tracking target using the determined shape information of the tracking target, and the tracking target And a photographing controller configured to control photographing so that the determined tracking object is positioned at the center of the image based on the center point information.

구체적으로, 상기 추적대상 판별부는 상기 현재프레임과 이전프레임의 영상의 차를 산출하는 영상 차 산출부, 상기 산출된 영상의 차에 대해 액티브 콘토어를 이용하여 상기 선별된 추적 대상의 영역을 판별하는 추적대상 영역 판별부, 상기 판별된 추적 대상의 영역 중 영역의 크기가 기설정된 문턱값 이하인 영역을 제거하고, 상기 추적 대상 정보 및 영상 상기 판별된 추적 대상의 영역 정보의 교집합을 이용하여 상기 판별된 추적 대상의 형태 정보를 획득하는 블랍 판단부, 상기 형태 정보에 기초하여 산출한 색 히스토그램과 상기 추적 대상 정보에 기초하여 산출한 색 히스토그램을 비교하여 Bhattacharyya 계수를 이용한 유사도 거리를 산출하고, 상기 산출된 유사도 거리가 가장 큰 대상을 추적 대상으로 판단하는 색 히스토그램 비교부, 및 상기 판단된 추적 대상의 형태 정보에 기초하여 상기 추적 대상의 중심점인 에지 좌표값의 평균을 산출하는 추적대상 중심점 산출부를 포함하는 것이 바람직하다.In detail, the tracking object determination unit may be configured to calculate a difference between an image of the current frame and a previous frame, and determine an area of the selected tracking object using an active contour for the calculated difference of the image. The tracking target area determination unit removes an area whose size is equal to or less than a predetermined threshold value among the determined tracking target areas, and uses the intersection of the tracking target information and the determined tracking target area information. A blob determination unit for acquiring the shape information of the tracking target, and comparing the color histogram calculated based on the shape information with the color histogram calculated based on the tracking target information to calculate a similarity distance using the Bhattacharyya coefficient. A color histogram comparison unit determining a target having the largest similarity distance as a tracking target, and the determination It is preferable to include a tracking object center point calculation unit for calculating an average of the edge coordinate value that is the center point of the tracking object based on the shape information of the tracking object.

바람직하게는, 상기 촬영 제어부는 상기 추적 대상의 중심점이 영상의 가장자리로 접근하면, 팬(Pan), 틸트(Tilt), 및 줌(Zoom) 기능 중 어느 하나를 이용하여 상기 추적 대상이 영상의 중앙에 위치되도록 촬영을 제어한다.Preferably, when the center point of the tracking target approaches the edge of the image, the capturing control unit uses the pan, tilt, and zoom functions to center the tracking target. Control shooting to be located on.

한편, 본 발명의 촬영장치의 대상 추적방법은, 현재프레임과 이전프레임의 영상을 비교하여, 기설정된 추적 대상의 조건을 만족시키는 추적 대상을 선별하고, 상기 선별된 추적 대상에 대한 정보를 출력하는 단계, 상기 추적 대상에 대한 정보를 이용하여 추적 대상을 판별하며, 상기 판별된 추적 대상의 형태 정보를 이용하여 상기 판별된 추적 대상의 중심점 정보를 출력하는 단계, 및 상기 추적 대상의 중심점 정보에 기초하여 상기 판별된 추적 대상이 영상의 중앙에 위치되도록 촬영을 제어하는 단계를 포함한다.The object tracking method of the photographing apparatus of the present invention compares an image of a current frame with a previous frame, selects a tracking object that satisfies a condition of a predetermined tracking object, and outputs information on the selected tracking object. Determining a tracking target using the information on the tracking target, outputting the center point information of the determined tracking target using the determined shape information of the tracking target, and based on the center point information of the tracking target. And controlling photographing so that the determined tracking object is positioned at the center of the image.

그리고, 상기 중심점 정보 출력단계는 상기 현재프레임과 이전프레임의 영상의 차를 산출하는 단계, 상기 산출된 영상의 차에 대해 액티브 콘토어를 이용하여 상기 선별된 추적 대상의 영역을 판별하는 단계, 상기 판별된 추적 대상의 영역 중 영역의 크기가 기설정된 문턱값 이하인 영역을 제거하고, 상기 추적 대상 정보 및 영상 상기 판별된 추적 대상의 영역 정보의 교집합을 이용하여 상기 판별된 추적 대상의 형태 정보를 획득하는 단계, 상기 형태 정보에 기초하여 산출한 색 히스토그램과 상기 추적 대상 정보에 기초하여 산출한 색 히스토그램을 비교하여 Bhattacharyya 계수를 이용한 유사도 거리를 산출하고, 상기 산출된 유사도 거리가 가장 큰 대상을 추적 대상으로 판단하는 단계, 및 상기 판단된 추적 대상의 형태 정보에 기초하여 상기 추적 대상의 중심점인 에지 좌표값의 평균을 산출하는 단계를 포함하는 것이 바람직하다.The outputting of the center point information may include calculating a difference between an image of the current frame and a previous frame, determining an area of the selected tracking target using an active contour with respect to the calculated difference of the image. The region whose size is less than or equal to a predetermined threshold value is removed from the region of the determined tracking target, and the shape information of the determined tracking target is obtained using an intersection of the tracking target information and the image of the determined tracking target region. And comparing the color histogram calculated based on the shape information with the color histogram calculated based on the tracking target information to calculate a similarity distance using a Bhattacharyya coefficient, and tracking the target having the largest similarity distance. And determining the tracking unit based on the determined shape information of the tracking target. Of it is preferable to include a step for calculating a central point in the average value of the edge coordinate.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.Hereinafter, with reference to the drawings will be described in detail the present invention.

도 1은 본 발명의 일 실시예에 따른 촬영장치의 블록도이다.1 is a block diagram of a photographing apparatus according to an exemplary embodiment of the present invention.

본 촬영장치는 현재프레임과 이전프레임의 영상을 비교하여 추적 대상의 조건을 만족시키는 물체에 대해 액티브 콘토어(Active Contour)를 이용하여 추적 대상의 형태 정보를 추출하고, 추출된 형태 정보에 대응되는 추적 대상의 색 특성을 이용하여 추적 대상을 판별한다. The photographing apparatus compares the image of the current frame with the previous frame, extracts the shape information of the tracking object using the active contour, and corresponds to the extracted shape information. The tracking target is determined using the color characteristics of the tracking target.

그리고, 본 촬영장치는 판별된 추적 대상이 감시 영역의 가장자리로 접근하면, 추적 대상이 영상의 중심에 위치되도록 촬영수단을 자동으로 제어한다.When the determined tracking object approaches the edge of the surveillance area, the photographing apparatus automatically controls the photographing means so that the tracking object is located at the center of the image.

도 1을 참조하면, 본 촬영장치는 촬영부(110), 전처리부(120), 움직임 검출부(130), 추적대상 판별부(140), 및 촬영 제어부(150)를 포함한다.Referring to FIG. 1, the photographing apparatus includes a photographing unit 110, a preprocessing unit 120, a motion detecting unit 130, a tracking object determining unit 140, and a photographing control unit 150.

촬영부(110)는 촬영을 통해 영상을 촬상한다. 전처리부(120)는 촬영부(110)에서 촬상된 영상을 다운-스케일링(Down-Scaling)한다. The photographing unit 110 captures an image through photographing. The preprocessor 120 down-scales the image captured by the photographing unit 110.

움직임 검출부(130)는 전처리부(120)에서 다운-스케일링된 영상을 이용하여 움직임을 검출하고, 검출한 움직임이 추적 대상의 조건을 만족시키는지 여부를 판단하여 추적 대상의 조건을 만족시키는 사람이나 물체에 대한 정보를 검출하여 출력한다.The motion detector 130 detects a motion by using the down-scaled image by the preprocessor 120, and determines whether the detected motion satisfies the condition of the tracking target to satisfy the condition of the tracking target. Detect and output information about the object.

구체적으로, 움직임 검출부(130)는 전처리부(120)에 의해 다운-스케일링된 현재프레임과 이전프레임의 영상을 비교하여 검출한 움직임이 기설정된 추적 대상의 조건을 만족시키는지 여부를 판단한다. In detail, the motion detector 130 compares the image of the current frame down-scaled by the preprocessor 120 with the image of the previous frame to determine whether the detected motion satisfies a preset tracking target condition.

이때, 추적 대상 조건을 추적 대상을 선별하기 위한 조건으로, 움직임이 있는 사람이나 물체를 추적 대상으로 선별하는 조건, 금지된 영역으로 접근하는 사람이나 물체를 추적 대상으로 선별하는 조건, 및 영상의 소정 영역을 벗어나는 사람이나 물체를 추적 대상으로 선별하는 조건 등이 있다. 이는, 사용자의 선택에 의해 설정가능하다.At this time, the tracking target conditions are conditions for selecting a tracking target, conditions for selecting a moving person or object as a tracking target, conditions for selecting a person or an object approaching a prohibited area as a tracking target, and a predetermined image. There is a condition for screening a person or an object out of an area for tracking. This can be set by the user's choice.

움직임 검출부(130)는 기설정된 추적 대상의 조건을 만족시키는 움직임을 가진 사람이나 물체 즉, 추적 대상이 선별되면, 추적 대상을 판별하라는 명령 및 추적 대상에 대한 정보를 출력한다. The motion detector 130 outputs a command to determine the tracking target and information on the tracking target when a person or an object having a movement satisfying a preset tracking target, that is, the tracking target is selected.

일 예로, 제1 추적 대상 조건이 설정되어 있으면, 움직임 검출부(130)는 무조건 움직임이 있는 대상을 추적 대상으로 선별하고, 선별된 추적 대상에 대한 정보를 출력한다. 여기서, 추적 대상에 대한 정보는 추적 대상의 중심점과 추적 대상을 포함하는 사각형 형태의 윈도우의 좌표값을 포함한다. For example, when the first tracking target condition is set, the motion detector 130 selects a target having unconditional motion as a tracking target and outputs information on the selected tracking target. Here, the information on the tracking target includes a coordinate value of a rectangular window including the center point of the tracking target and the tracking target.

움직임 검출부(130)로부터 추적 대상을 판별하라는 명령이 수신되면, 추적대 상 판별부(140)는 움직임 검출부(130)로부터 수신된 추적 대상에 대한 정보를 이용하여 추적 대상을 판별한다.When a command to determine the tracking target is received from the motion detector 130, the tracking target determiner 140 determines the tracking target using the information on the tracking target received from the motion detector 130.

이때, 추적대상 판별부(140)는 액티브 콘토어를 이용하여 추적 대상의 형태 정보를 추출하고, 추출된 형태 정보에 대응되는 추적 대상의 색 특성을 이용하여 추적 대상을 판별하며, 판별한 추적 대상의 중심점 정보를 출력한다. At this time, the tracking object determination unit 140 extracts the shape information of the tracking object using the active contour, determines the tracking object using the color characteristics of the tracking object corresponding to the extracted shape information, and determines the tracking object. Outputs center point information.

촬영 제어부(150)는 추적대상 판별부(140)로부터 수신된 추적 대상의 중심점 정보에 기초하여 추적 대상의 중심점이 영상의 가장자리로 접근하면, 추적 대상이 영상의 중앙에 위치되도록 촬영부(110)를 제어한다.When the center point of the tracking object approaches the edge of the image based on the center point information of the tracking object received from the tracking object determining unit 140, the capturing controller 150 photographs the tracking unit 110 to be positioned at the center of the image. To control.

도 2는 본 발명의 일 실시예에 따른 촬영장치에 구비된 추적대상 판별부의 구체적인 블록도이다.2 is a detailed block diagram of a tracking object determination unit provided in the photographing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 추적대상 판별부(140)는 영상 차 산출부(141), 추적대상 영역 판별부(143), 블랍(blob) 판단부(145), 색 히스토그램 비교부(147), 및 추적대상 중심점 산출부(149)를 포함한다.Referring to FIG. 2, the tracking object determining unit 140 may include an image difference calculator 141, a tracking area determination unit 143, a blob determination unit 145, a color histogram comparison unit 147, and The tracking target center point calculator 149 is included.

영상 차 산출부(141)는 움직임 검출부(130)로부터 출력된 현재프레임과 이전프레임의 영상의 차를 산출한다. 추적대상 영역 판별부(143)는 영상 차 산출부(141)에 의해 산출된 영상의 차에 대해 액티브 콘토어를 이용하여 움직임이 있는 대상의 영역을 판별한다.The image difference calculator 141 calculates a difference between an image of the current frame and the previous frame output from the motion detector 130. The tracking target area determiner 143 determines the area of the target object on which the motion is calculated using the active contour on the difference of the image calculated by the image difference calculator 141.

블랍 판단부(145)는 추적대상 영역 판별부(143)에 의해 판별된 움직임이 있는 대상의 영역 중 영역의 크기가 기설정된 문턱값 이하인 영역은 제거한다. 이는, 추적대상 영역 판별부(143)가 움직임이 있는 대상의 영역을 하나 이상 판별했을 경 우, 기설정된 크기의 면적 이하인 영역은 노이즈라는 가정하에 추적 대상이 아니라고 판단하는 것이다. 즉, 움직임이 있는 대상의 영역 중 영역의 크기가 기설정된 문턱값 이상인 영역을 추적 대상의 영역이라 판단하는 것이다. The blob determination unit 145 removes an area whose size is less than or equal to a predetermined threshold value among areas of the target object in which the movement is determined by the tracking object area determining unit 143. This means that when the tracking target area determining unit 143 determines one or more areas of the moving object, it is determined that the area less than or equal to the area of the predetermined size is not the tracking target under the assumption that the noise is noisy. That is, it is determined that the area of the movement target area whose area size is greater than or equal to a preset threshold is the tracking target area.

블랍 판단부(145)는 움직임 추출부(130)로부터 수신된 추적 대상 정보 및 영상 차 산출부(141)에 의해 판별된 추적 대상의 영역 정보의 교집합을 이용하여 추적 대상의 형태 정보를 획득한다. 여기서, 획득된 추적 대상의 형태 정보는 보다 상세한 추적 대상의 에지 정보를 의미한다.The blob determination unit 145 obtains the shape information of the tracking target by using the intersection of the tracking target information received from the motion extractor 130 and the area information of the tracking target determined by the image difference calculator 141. Here, the acquired shape information of the tracking target means more detailed edge information of the tracking target.

색 히스토그램 비교부(147)는 블랍 판단부(145)에 의해 획득된 형태 정보에 기초하여 추적 대상의 색 히스토그램을 산출한다. 또한, 색 히스토그램 비교부(147)는 움직임 검출부(140)로부터 출력된 추적 대상에 대한 정보에 기초하여 추적 대상의 색 히스토그램을 산출한다. 그리고, 색 히스토그램 비교부(147)는 형태 정보에 기초하여 산출한 색 히스토그램과 추적 대상 정보에 기초하여 산출한 색 히스토그램을 비교하여 Bhattacharyya 계수를 이용한 유사도 거리를 산출한다.The color histogram comparison unit 147 calculates a color histogram of the tracking target based on the shape information obtained by the blob determination unit 145. In addition, the color histogram comparison unit 147 calculates the color histogram of the tracking target based on the information on the tracking target output from the motion detector 140. The color histogram comparison unit 147 compares the color histogram calculated based on the shape information with the color histogram calculated based on the tracking target information to calculate a similarity distance using the Bhattacharyya coefficient.

수학식 1은 색 히스토그램 비교부(147)가 Bhattacharyya 계수를 이용하여 유사도 거리를 산출하는 식이다.Equation 1 is a formula that the color histogram comparison unit 147 calculates the similarity distance by using the Bhattacharyya coefficient.

Figure 112007017016556-PAT00001
Figure 112007017016556-PAT00001

수학식 1을 참고하면, Pm(n)은 블랍 판단부(145)에 의해 획득된 형태 정보에 기초하여 산출한 추적 대상의 색 히스토그램이고, T(n)은 움직임 검출부(140)로부터 출력된 추적 대상에 대한 정보에 기초하여 산출한 추적 대상의 색 히스토그램이며, ρ[Pm,T]는 유사도 거리이다. 여기서, m = 1,...,M, n = 1,...,L이고, M은 추적 대상 후보들의 개수이며, L은 히스토그램 레벨 수이다.Referring to Equation 1, P m (n) is a color histogram of a tracking target calculated based on the shape information obtained by the blob determination unit 145, and T (n) is output from the motion detector 140. The color histogram of the tracking target is calculated based on the tracking target information, and ρ [P m , T] is the similarity distance. Here, m = 1, ..., M, n = 1, ..., L, M is the number of candidates to be tracked, L is the number of histogram levels.

즉, 형태 정보에 기초하여 산출한 추적 대상의 색 히스토그램 및 추적 대상에 대한 정보에 기초하여 산출한 추적 대상의 색 히스토그램을 이용하여 수학식 1에 의해 산출된 유사도 거리 ρ[Pm,T]가 가장 큰 대상이 최종 추적 대상으로 선택되는 것이다. 다시 말해, 형태 정보에 기초하여 산출한 추적 대상의 색 히스토그램과 가장 유사한 색 히스토그램을 가지는 대상이 추적 대상인 것이다.That is, the similarity distance ρ [P m , T] calculated by Equation 1 using the color histogram of the tracking target calculated based on the shape information and the color histogram of the tracking target calculated based on the information on the tracking target is The largest target is chosen as the final tracking target. In other words, the target having the color histogram most similar to the color histogram of the tracking target calculated based on the shape information is the tracking target.

추적대상 중심점 산출부(149)는 최종 추적 대상의 형태 정보에 기초하여 추적 대상의 중심점 Fn=(xn,yn)을 산출한다. 구체적으로, 추적대상 중심점 산출부(149)는 추적 대상의 에지 좌표값의 평균을 산출하며, 산출된 에지 좌표값의 평균이 추적 대상의 중심점 Fn=(xn,yn)이다.The tracking target center point calculator 149 calculates the tracking center point F n = (x n , y n ) based on the shape information of the last tracking target. In detail, the tracking target center point calculator 149 calculates an average of the edge coordinate values of the tracking target, and the average of the calculated edge coordinate values is the center point F n = (x n , y n ) of the tracking target.

도 3은 본 발명의 일 실시예에 따른 촬영장치의 대상 추적방법의 설명에 제공되는 흐름도이다.3 is a flowchart provided to explain an object tracking method of the photographing apparatus according to an exemplary embodiment of the present invention.

도 3을 참조하면, 전처리부(120)는 촬영부(110)에 의해 생성된 영상을 다운-스케일링한다(S310). 영상을 다운-스케일링하는 이유는, 영상의 크기를 감소시켜 연산량을 줄임으로써, 이들의 처리속도를 증가시키기 위함이다.Referring to FIG. 3, the preprocessor 120 down-scales an image generated by the photographing unit 110 (S310). The reason for down-scaling the images is to increase their processing speed by reducing the size of the images and reducing the amount of computation.

움직임 검출부(130)는 다운-스케일링된 현재프레임과 이전프레임의 영상을 비교하여 움직임을 검출하고, 움직임이 검출된 대상 중 기설정된 추적 대상 조건에 만족하는 추적 대상을 선별한다(S320). 그리고, 움직임 검출부(130)는 기설정된 추적 대상의 조건을 만족시키는 추적 대상이 선별되면, 선별된 추적 대상을 판별하라는 명령 및 선별된 추적 대상에 대한 정보를 출력한다. The motion detector 130 detects the motion by comparing the down-scaled current frame with the image of the previous frame, and selects a tracking object that satisfies a predetermined tracking object condition among the detected objects (S320). When the tracking target satisfying the condition of the preset tracking target is selected, the motion detector 130 outputs a command to determine the selected tracking target and information on the selected tracking target.

영상 차 산출부(141)는 움직임 검출부(130)로부터 현재 입력되는 프레임의 영상과 이전에 입력된 프레임의 영상의 차를 산출한다(S330). The image difference calculator 141 calculates a difference between an image of a frame currently input from the motion detector 130 and an image of a frame previously input (S330).

추적대상 영역 판별부(143)는 영상 차 산출부(141)에 의해 산출된 영상의 차에 대해 액티브 콘토어를 이용하여 움직임 검출부(130)에 의해 추적 대상 조건을 만족하는 것으로 선별된 추적 대상의 영역을 판별한다(S340).The tracking target area determining unit 143 selects the tracking target selected by the motion detection unit 130 to satisfy the tracking target condition using the active contour for the difference of the image calculated by the image difference calculating unit 141. The area is determined (S340).

블랍 판단부(145)는 추적대상 영역 판별부(143)에 의해 판별된 추적 대상의 영역 중 영역의 크기가 기설정된 문턱값 이하인 추적 대상의 영역을 제거하고, 추적 대상의 형태(shape) 정보를 획득한다(S350).The blob determination unit 145 removes an area of the tracking object of which the size of the area of the tracking object area determined by the tracking object area determination unit 143 is equal to or less than a preset threshold value, and removes shape information of the tracking object. Acquire (S350).

색 히스토그램 비교부(147)는 형태 정보에 기초하여 산출한 색 히스토그램과 추적 대상 정보에 기초하여 산출한 색 히스토그램을 비교하여, 형태 정보에 기초하여 산출한 추적 대상의 색 히스토그램과 가장 유사한 색 히스토그램을 가지는 대상을 추적 대상이라 판단한다(S360).The color histogram comparison unit 147 compares the color histogram calculated based on the shape information with the color histogram calculated based on the tracking object information, and compares the color histogram most similar to the color histogram of the tracking object calculated based on the shape information. It is determined that the target is a tracking target (S360).

그리고, 추적대상 중심점 산출부(149)는 추적 대상의 형태 정보에 기초하여 추적 대상의 중심점을 산출한다(S370).The tracking target center point calculator 149 calculates the tracking center point based on the shape information of the tracking target (S370).

촬영 제어부(150)는 추적대상 중심점 산출부(149)에 의해 산출된 추적 대상의 중심점의의 위치에 따라 추적 대상의 촬영을 제어한다(S380). 구체적으로, 촬영 제어부(150)는 팬(Pan), 틸트(Tilt), 및 줌(Zoom) 기능을 이용하여 추적 대상의 중심점이 영상의 가장자리로 접근하면, 추적 대상이 영상의 중앙에 위치되도록 촬영부(110)를 제어한다.The photographing control unit 150 controls photographing of the tracking target according to the position of the center point of the tracking target calculated by the tracking target center point calculator 149 (S380). In detail, when the center point of the tracking target approaches the edge of the image using the pan, tilt, and zoom functions, the capturing controller 150 captures the tracking target to be positioned at the center of the image. The unit 110 is controlled.

이로써, 항상 추적 대상이 영상의 중심에 위치되도록 촬영부(110)를 이동하기 때문에 영상의 소정 영역만을 고려함으로써, 액티브 콘토어의 계산량을 줄일 수 있고, 움직임이 있는 다른 물체가 나타나더라도 추적 대상으로 판별된 대상의 색 히스토그램을 이용하여 판별된 대상을 추적함으로써, 다른 물체에 의한 추적 대상의 오인 가능성을 줄일 수 있다. As a result, since the imaging unit 110 is always moved so that the tracking object is located at the center of the image, only a predetermined area of the image is taken into consideration, thereby reducing the calculation amount of the active contour. By tracking the identified object using the color histogram of the determined object, it is possible to reduce the possibility of a mistake of the tracking object by another object.

이상 설명한 바와 같이, 본 발명에 따르면, 주변 환경의 변화에 강건한 추적 알고리즘의 구현이 가능해진다. 그리고, 액티브 콘토어를 이용하여 획득된 형태 정보를 추적에 사용함으로써, 고정되지 않은 카메라에도 적용될 수 있으며, PTZ 카메라에도 적용가능하다.As described above, according to the present invention, it is possible to implement a tracking algorithm that is robust to changes in the surrounding environment. And, by using the shape information obtained by using the active contour for tracking, it can be applied to a camera that is not fixed, it is also applicable to a PTZ camera.

또한, 물체를 자동으로 추적하는 중에 임의의 다른 물체가 영상에 나타나게 되도 추적 대상을 오인하여 추적 대상을 놓치는 문제점이 해결된다.In addition, even if any other object appears in the image while automatically tracking the object, the problem of misunderstanding the tracking object and missing the tracking object is solved.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 이해되어져서는 안 될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood from the technical spirit or the prospect of the present invention.

Claims (5)

현재프레임과 이전프레임의 영상을 비교하여, 기설정된 추적 대상의 조건을 만족시키는 추적 대상을 선별하고, 상기 선별된 추적 대상에 대한 정보를 출력하는 움직임 검출부;A motion detection unit for comparing a current frame image with a previous frame, selecting a tracking target that satisfies a condition of a predetermined tracking target, and outputting information on the selected tracking target; 상기 추적 대상에 대한 정보를 이용하여 추적 대상을 판별하며, 상기 판별된 추적 대상의 형태 정보를 이용하여 상기 판별된 추적 대상의 중심점 정보를 출력하는 추적대상 판별부; 및A tracking object discrimination unit which determines a tracking object by using the information on the tracking object, and outputs center point information of the determined tracking object by using the determined shape information of the tracking object; And 상기 추적 대상의 중심점 정보에 기초하여 상기 판별된 추적 대상이 영상의 중앙에 위치되도록 촬영을 제어하는 촬영제어부;를 포함하는 것을 특징으로 하는 촬영장치.And a photographing controller configured to control photographing so that the determined trace object is located at the center of the image based on the center point information of the trace object. 제 1항에 있어서,The method of claim 1, 상기 추적대상 판별부는,The tracking object determination unit, 상기 현재프레임과 이전프레임의 영상의 차를 산출하는 영상 차 산출부;An image difference calculator configured to calculate a difference between an image of the current frame and a previous frame; 상기 산출된 영상의 차에 대해 액티브 콘토어를 이용하여 상기 선별된 추적 대상의 영역을 판별하는 추적대상 영역 판별부;A tracking target area discriminating unit which determines an area of the selected tracking target by using an active contour on the calculated difference of the image; 상기 판별된 추적 대상의 영역 중 영역의 크기가 기설정된 문턱값 이하인 영역을 제거하고, 상기 추적 대상 정보 및 영상 상기 판별된 추적 대상의 영역 정보의 교집합을 이용하여 상기 판별된 추적 대상의 형태 정보를 획득하는 블랍 판단 부; The region of the determined region to be traced is removed, the region having a size less than or equal to a predetermined threshold value, and the shape information of the determined trace object is obtained by using an intersection of the tracking target information and the image of the determined region to be traced. A blob determination unit to obtain; 상기 형태 정보에 기초하여 산출한 색 히스토그램과 상기 추적 대상 정보에 기초하여 산출한 색 히스토그램을 비교하여 Bhattacharyya 계수를 이용한 유사도 거리를 산출하고, 상기 산출된 유사도 거리가 가장 큰 대상을 추적 대상으로 판단하는 색 히스토그램 비교부; 및Comparing the color histogram calculated on the basis of the shape information and the color histogram calculated on the basis of the tracking target information to calculate the similarity distance using the Bhattacharyya coefficient, and to determine the target having the largest similarity distance as the tracking target. Color histogram comparison unit; And 상기 판단된 추적 대상의 형태 정보에 기초하여 상기 추적 대상의 중심점인 에지 좌표값의 평균을 산출하는 추적대상 중심점 산출부;를 포함하는 것을 특징으로 하는 촬영장치.And a tracking target center point calculator configured to calculate an average of edge coordinate values, which are center points of the tracking target, based on the determined shape information of the tracking target. 제 1항에 있어서, The method of claim 1, 상기 촬영 제어부는,The photographing control unit, 상기 추적 대상의 중심점이 영상의 가장자리로 접근하면, 팬(Pan), 틸트(Tilt), 및 줌(Zoom) 기능 중 어느 하나를 이용하여 상기 추적 대상이 영상의 중앙에 위치되도록 촬영을 제어하는 것을 특징으로 하는 촬영장치.When the center point of the tracking target approaches the edge of the image, controlling the shooting so that the tracking target is positioned at the center of the image using one of pan, tilt, and zoom functions. Characterized in that the photographing apparatus. 현재프레임과 이전프레임의 영상을 비교하여, 기설정된 추적 대상의 조건을 만족시키는 추적 대상을 선별하고, 상기 선별된 추적 대상에 대한 정보를 출력하는 단계;Comparing the images of the current frame and the previous frame, selecting a tracking object that satisfies a condition of a predetermined tracking object, and outputting information on the selected tracking object; 상기 추적 대상에 대한 정보를 이용하여 추적 대상을 판별하며, 상기 판별된 추적 대상의 형태 정보를 이용하여 상기 판별된 추적 대상의 중심점 정보를 출력하 는 단계; 및Determining a tracking target by using the information on the tracking target, and outputting center point information of the determined tracking target by using the determined shape information of the tracking target; And 상기 추적 대상의 중심점 정보에 기초하여 상기 판별된 추적 대상이 영상의 중앙에 위치되도록 촬영을 제어하는 단계;를 포함하는 것을 특징으로 하는 대상 추적방법.And controlling photographing so that the determined tracking object is located at the center of the image based on the center point information of the tracking object. 제 4항에 있어서,The method of claim 4, wherein 상기 중심점 정보 출력단계는,The center point information output step, 상기 현재프레임과 이전프레임의 영상의 차를 산출하는 단계;Calculating a difference between an image of the current frame and a previous frame; 상기 산출된 영상의 차에 대해 액티브 콘토어를 이용하여 상기 선별된 추적 대상의 영역을 판별하는 단계;Determining an area of the selected tracking target by using an active contour on the calculated difference of the image; 상기 판별된 추적 대상의 영역 중 영역의 크기가 기설정된 문턱값 이하인 영역을 제거하고, 상기 추적 대상 정보 및 영상 상기 판별된 추적 대상의 영역 정보의 교집합을 이용하여 상기 판별된 추적 대상의 형태 정보를 획득하는 단계; The region of the determined region to be traced is removed, the region having a size less than or equal to a predetermined threshold value, and the shape information of the determined trace object is obtained by using an intersection of the tracking target information and the image of the determined region to be traced. Obtaining; 상기 형태 정보에 기초하여 산출한 색 히스토그램과 상기 추적 대상 정보에 기초하여 산출한 색 히스토그램을 비교하여 Bhattacharyya 계수를 이용한 유사도 거리를 산출하고, 상기 산출된 유사도 거리가 가장 큰 대상을 추적 대상으로 판단하는 단계; 및Comparing the color histogram calculated on the basis of the shape information and the color histogram calculated on the basis of the tracking target information to calculate the similarity distance using the Bhattacharyya coefficient, and to determine the target having the largest similarity distance as the tracking target. step; And 상기 판단된 추적 대상의 형태 정보에 기초하여 상기 추적 대상의 중심점인 에지 좌표값의 평균을 산출하는 단계;를 포함하는 것을 특징으로 하는 대상 추적방법.And calculating an average of edge coordinate values, which are center points of the tracking target, on the basis of the determined shape information of the tracking target.
KR1020070019785A 2007-02-27 2007-02-27 Photographing apparatus for tracking object and method thereof KR101290517B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070019785A KR101290517B1 (en) 2007-02-27 2007-02-27 Photographing apparatus for tracking object and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070019785A KR101290517B1 (en) 2007-02-27 2007-02-27 Photographing apparatus for tracking object and method thereof

Publications (2)

Publication Number Publication Date
KR20080079506A true KR20080079506A (en) 2008-09-01
KR101290517B1 KR101290517B1 (en) 2013-07-26

Family

ID=40020425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070019785A KR101290517B1 (en) 2007-02-27 2007-02-27 Photographing apparatus for tracking object and method thereof

Country Status (1)

Country Link
KR (1) KR101290517B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101142100B1 (en) * 2010-05-20 2012-05-03 주식회사 와이즈오토모티브 Apparatus and method for sensing data using concentration scan
CN110351520A (en) * 2019-07-11 2019-10-18 深圳市华方信息产业有限公司 A kind of movable body image trace acquisition methods and its system
KR102086438B1 (en) * 2019-10-30 2020-03-09 (주)씨앤티 Apparatus for monitoring object using cctv
KR102564038B1 (en) * 2023-03-09 2023-08-04 국방과학연구소 Method and system for detecting target using time series images

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102222176B1 (en) * 2020-07-24 2021-03-03 주식회사 에이트테크 System for sorting recycle based on artificial intelligence

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101142100B1 (en) * 2010-05-20 2012-05-03 주식회사 와이즈오토모티브 Apparatus and method for sensing data using concentration scan
CN110351520A (en) * 2019-07-11 2019-10-18 深圳市华方信息产业有限公司 A kind of movable body image trace acquisition methods and its system
KR102086438B1 (en) * 2019-10-30 2020-03-09 (주)씨앤티 Apparatus for monitoring object using cctv
KR102564038B1 (en) * 2023-03-09 2023-08-04 국방과학연구소 Method and system for detecting target using time series images

Also Published As

Publication number Publication date
KR101290517B1 (en) 2013-07-26

Similar Documents

Publication Publication Date Title
JP6942488B2 (en) Image processing equipment, image processing system, image processing method, and program
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
JP6655878B2 (en) Image recognition method and apparatus, program
JP6700752B2 (en) Position detecting device, position detecting method and program
JP2022166067A (en) Information processing system, information processing method and program
US9767568B2 (en) Image processor, image processing method, and computer program
JP6555906B2 (en) Information processing apparatus, information processing method, and program
KR101035055B1 (en) System and method of tracking object using different kind camera
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
JP6806188B2 (en) Information processing system, information processing method and program
JP5484184B2 (en) Image processing apparatus, image processing method, and program
KR101486308B1 (en) Tracking moving objects for mobile robots control devices, methods, and its robot
JP2012118698A (en) Image processing system
KR20090037275A (en) Detecting apparatus of human component and method of the same
JP6579950B2 (en) Image analysis apparatus, program, and method for detecting person appearing in captured image of camera
JP2016015045A (en) Image recognition device, image recognition method, and program
JP5271227B2 (en) Crowd monitoring device, method and program
KR101737430B1 (en) A method of detecting objects in the image with moving background
KR101712136B1 (en) Method and apparatus for detecting a fainting situation of an object by using thermal image camera
JP2010123019A (en) Device and method for recognizing motion
KR101290517B1 (en) Photographing apparatus for tracking object and method thereof
CN108369739B (en) Object detection device and object detection method
JP4691570B2 (en) Image processing apparatus and object estimation program
KR101542206B1 (en) Method and system for tracking with extraction object using coarse to fine techniques
KR20060121503A (en) Apparatus and method for tracking salient human face in robot surveillance

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 7