KR102114687B1 - Appratus and Method of tracking a object - Google Patents
Appratus and Method of tracking a object Download PDFInfo
- Publication number
- KR102114687B1 KR102114687B1 KR1020190055150A KR20190055150A KR102114687B1 KR 102114687 B1 KR102114687 B1 KR 102114687B1 KR 1020190055150 A KR1020190055150 A KR 1020190055150A KR 20190055150 A KR20190055150 A KR 20190055150A KR 102114687 B1 KR102114687 B1 KR 102114687B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- video image
- feature
- frame
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000000284 extract Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 오브젝트 트랙킹 방법에 관한 것으로서, 더욱 상세하게는 CCTV 등을 통해 촬영된 동영상 내의 추출된 오브젝트가 최초 촬영된 시간, 일치율 등이 함께 사용자에게 제공될 수 있는 오브젝트 트랙킹 방법 및 장치에 관한 것이다.The present invention relates to an object tracking method, and more particularly, to an object tracking method and apparatus in which an extracted object in a video captured through CCTV or the like is initially provided with a time, coincidence rate, and the like.
종래 기술에서 비디오 시퀀스내에서 오브젝트들이 추적될 때, 궤적 좌표들이 일반적으로 비디오의 각 프레임을 위해 생성된다. 일 예로서, 초당 30 프레임들을 생성하는 NTSC 표준하에서, 비디오 시퀀스내의 각각의 오브젝트를 위한 새로운 위치 또는 좌표가 각 프레임을 위해 반드시 생성 및 저장되어야 한다. 이러한 프로세스는 극도로 비효율적이며, 방대한 저장량들을 필요로 한다. 예로서, 비디오 시퀀스내의 오브젝트들이 추적될 때, 단 한시간 동안의 궤적 데이터를 저장하기 위해 2메가바이트가 넘는 저장부가 필요하다. 따라서, 모든 궤적들의 저장은 비실용적이지는 않더라도 비용이 많이 소요된다.When objects are tracked within a video sequence in the prior art, trajectory coordinates are generally generated for each frame of video. As an example, under the NTSC standard generating 30 frames per second, a new location or coordinate for each object in the video sequence must be created and stored for each frame. This process is extremely inefficient and requires massive storage. For example, when objects in a video sequence are tracked, more than 2 megabytes of storage is needed to store trajectory data for only an hour. Therefore, storage of all trajectories is expensive, if not impractical.
종래 기술의 비효율성을 극복하기 위한 시도들이 존재한다. 예로서, 공간을 절약하기 위해서, 매 비디오 프레임을 위한 좌표들이 압축된다. 한가지 단점은 궤적들의 압축이 프로세스를 지연시킨다는 것이다. Attempts have been made to overcome the inefficiencies of the prior art. For example, to save space, coordinates for every video frame are compressed. One drawback is that compression of trajectories delays the process.
선행기술 1(공개공보 KR 10-2018-0036056)에서는 머신 러닝을 사용하는 비디오 피드 내에서의 자동화된 오브젝트 추적을 함에 있어서, 트랙 프래그먼트를 활용하고, 선행기술 2(공개공보 KR 10-2016-0103018)에서는 비디오 프레임들의 디스플레이 파티셔닝 및 클러스터링을 통해 오브젝트들을 선택 및 추적하고 있다.Prior art 1 (published publication KR 10-2018-0036056) utilizes track fragments to perform automated object tracking within a video feed using machine learning, and prior art 2 (published publication KR 10-2016-0103018) ) Selects and tracks objects through display partitioning and clustering of video frames.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 트랙킹하고자 하는 오브젝트에 대해서만 컬러로 표시하고, 다른 이미지에 대해서는 그레이스케일로 처리함으로써, 컬러 영상에서 트랙킹하는 경우보다 빠르게 연산할 수 있어 실시간으로 트랙킹이 가능하고, 사용자가 쉽게 오브젝트를 인지할 수 있는 오브젝트 트랙킹 방법을 제공하는 것이다.Therefore, the first problem to be solved by the present invention is to display only the object to be tracked in color, and to process other images in grayscale, so that it can be calculated faster than when tracking in a color image, so real-time tracking is possible. And, it provides an object tracking method that can be easily recognized by the user.
본 발명이 해결하고자 하는 두 번째 과제는 CCTV 등을 통해 촬영된 동영상 내의 추출된 오브젝트가 최초 촬영된 시간, 일치율 등이 함께 사용자에게 제공될 수 있는 오브젝트 트랙킹 장치를 제공하는 것이다.The second problem to be solved by the present invention is to provide an object tracking device in which an extracted object in a video filmed through CCTV, etc., can be provided to a user with a time at which the object was first captured and a matching rate.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.It is also to provide a recording medium readable by a computer recording a program for executing the above-described method on a computer.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 컬러 비디오 영상을 그레이스케일 비디오 영상으로 변환하는 단계; 상기 그레이스케일 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제1 특징을 추출하는 단계; 상기 그레이스케일 비디오 영상으로부터 타겟 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제2 특징을 추출하는 단계; 상기 추출된 제1 특징과 상기 제2 특징을 비교하여 오브젝트를 추출하고, 대응하는 오브젝트간의 벡터값을 생성하는 단계; 상기 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 획득하고 상기 생성된 벡터값의 역방향 벡터값을 이용하여 상기 타겟 프레임의 오브젝트의 컬러를 결정하는 단계; 및 상기 참조 프레임과 상기 타겟 프레임의 오브젝트의 이동을 상기 결정된 컬러를 이용하여 트랙킹하는 단계를 포함하는 오브젝트 트랙킹 방법을 제공한다.The present invention, in order to achieve the first problem, converting a color video image to a grayscale video image; Extracting a reference frame from the grayscale video image and extracting a first feature by applying convolution and subsampling; Extracting a target frame from the grayscale video image, and extracting a second feature by applying convolution and subsampling; Comparing the extracted first feature and the second feature to extract an object, and generating a vector value between corresponding objects; Obtaining a color corresponding to the object included in the reference frame and determining the color of the object of the target frame using the reverse vector value of the generated vector value; And tracking the movement of the objects of the reference frame and the target frame using the determined color.
본 발명의 일 실시 예에 의하면, 상기 그레이스케일 비디오 영상으로부터 추출된 참조 프레임 또는 타겟 프레임에 적용하는 컨벌루션 마스크의 가중치를 적어도 2개 이상 적용하고, 적어도 2개 이상의 출력 영상 중 왜곡에 강인한 특징을 갖는 마스크의 가중치를 선택할 수 있다.According to an embodiment of the present invention, at least two or more weights of a convolution mask applied to a reference frame or a target frame extracted from the grayscale video image are applied, and distortion characteristics among at least two or more output images have robust characteristics. The weight of the mask can be selected.
또한, 상기 컬러 비디오 영상 내의 오프젝트가 갖는 색의 일관성을 이용하여 상기 오브젝트를 트랙킹하는 것이 바람직하다.In addition, it is preferable to track the object by using the color consistency of the object in the color video image.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 컬러 비디오 영상을 그레이스케일 비디오 영상으로 변환하는 영상 변환부; 상기 그레이스케일 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제1 특징을 추출하고, 상기 그레이스케일 비디오 영상으로부터 타겟 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제2 특징을 추출하는 특징 추출부; 상기 추출된 제1 특징과 상기 제2 특징을 비교하여 오브젝트를 추출하고, 대응하는 오브젝트간의 벡터값을 생성하는 벡터 생성부; 상기 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 획득하고 상기 생성된 벡터값의 역방향 벡터값을 이용하여 상기 타겟 프레임의 오브젝트의 컬러를 결정하는 컬러 결정부; 및 상기 참조 프레임과 상기 타겟 프레임의 오브젝트의 이동을 상기 결정된 컬러를 이용하여 트랙킹하는 트랙킹부를 포함하는 오브젝트 트랙킹 장치를 제공한다. The present invention, in order to achieve the second problem, an image converter for converting a color video image to a grayscale video image; A reference frame is extracted from the grayscale video image, a first feature is extracted by applying convolution and subsampling, a target frame is extracted from the grayscale video image, and a second feature is extracted by applying convolution and subsampling. Feature extraction unit; A vector generator that compares the extracted first feature and the second feature to extract an object, and generates a vector value between corresponding objects; A color determining unit that acquires a color corresponding to the object included in the reference frame and determines the color of the object in the target frame using the reverse vector value of the generated vector value; And a tracking unit for tracking the movement of the object of the reference frame and the target frame using the determined color.
본 발명의 일 실시 예에 의하면, 상기 특징 추출부는 상기 그레이스케일 비디오 영상으로부터 추출된 참조 프레임 또는 타겟 프레임에 적용하는 컨벌루션 마스크의 가중치를 적어도 2개 이상 적용하고, 적어도 2개 이상의 출력 영상 중 왜곡에 강인한 특징을 갖는 마스크의 가중치를 선택할 수 있다.According to an embodiment of the present invention, the feature extraction unit applies at least two or more weights of a convolution mask applied to a reference frame or a target frame extracted from the grayscale video image, and applies distortion to at least two or more output images. It is possible to select the weight of the mask having a robust characteristic.
또한, 상기 트랙킹부는 상기 컬러 비디오 영상 내의 오프젝트가 갖는 색의 일관성을 이용하여 상기 오브젝트를 트랙킹하는 것이 바람직하다.In addition, it is preferable that the tracking unit tracks the object by using color consistency of an object in the color video image.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 오브젝트 트랙킹 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above other technical problems, the present invention provides a computer-readable recording medium recording a program for executing the object tracking method described above on a computer.
본 발명에 따르면, 트랙킹하고자 하는 오브젝트에 대해서만 컬러로 표시하고, 다른 이미지에 대해서는 그레이스케일로 처리함으로써, 컬러 영상에서 트랙킹하는 경우보다 빠르게 연산할 수 있어 실시간으로 트랙킹이 가능하고, 사용자가 쉽게 오브젝트를 인지할 수 있다.According to the present invention, only the object to be tracked is displayed in color, and other images are processed in grayscale, so that it can be calculated faster than when tracking in a color image, so real-time tracking is possible and the user can easily view the object. Can be recognized.
또한, 본 발명에 따르면, CCTV 등을 통해 촬영된 동영상 내의 추출된 오브젝트가 최초 촬영된 시간, 일치율 등이 함께 사용자에게 제공될 수 있다.In addition, according to the present invention, the time at which the extracted object in the video captured through CCTV or the like was first photographed, the matching rate, and the like may be provided to the user.
도 1은 본 발명의 바람직한 일 실시 예에 따른 오브젝트 트랙킹 장치의 구성도이다.
도 2는 컨벌루션 과정을 예를 나타내기 위한 도면이다.
도 3은 서브 샘플링의 일례를 도시한 것이다.
도 4는 컨벌루션과 서브 샘플링을 입력 영상에 대하여 반복적으로 적용하면서 영상의 크기를 줄여나가는 과정을 도시한 것이다.
도 5는 본 발명에 따른 오브젝트 트랙킹 장치가 역방향 벡터값을 이용하여 타겟 프레임의 오브젝트 컬러를 결정하는 과정을 개념적으로 도시한 것이다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 오브젝트 트랙킹 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 오브젝트 트랙킹을 하는 경우의 또 다른 실시예를 도시한 것이다.1 is a configuration diagram of an object tracking device according to an exemplary embodiment of the present invention.
2 is a diagram for showing an example of a convolution process.
3 shows an example of sub-sampling.
4 shows a process of reducing the size of an image while repeatedly applying convolution and subsampling to the input image.
5 conceptually illustrates a process in which the object tracking apparatus according to the present invention determines the object color of the target frame using the reverse vector value.
6 is a flowchart of an object tracking method according to an exemplary embodiment of the present invention.
7 illustrates another embodiment of tracking an object according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention can be applied to various changes and can have various embodiments, and specific embodiments will be illustrated and described in the drawings. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers such as second and first may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the second component may be referred to as a first component without departing from the scope of the present invention, and similarly, the first component may also be referred to as a second component. The term and / or includes a combination of a plurality of related described items or any one of a plurality of related described items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When an element is said to be "connected" or "connected" to another component, it is understood that other components may be directly connected to or connected to the other component, but there may be other components in between. It should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.
도 1은 본 발명의 바람직한 일 실시 예에 따른 오브젝트 트랙킹 장치의 구성도이다.1 is a configuration diagram of an object tracking device according to an exemplary embodiment of the present invention.
도 1을 참조하면, 본 실시 예에 따른 오브젝트 트랙킹 장치는 영상 변환부(110), 특징 추출부(120), 벡터 생성부(130), 컬러 결정부(140), 및 트랙킹부(150)로 구성된다.Referring to FIG. 1, the object tracking apparatus according to the present embodiment includes an
영상 변환부(110)는 컬러 비디오 영상을 그레이스케일 비디오 영상으로 변환한다.The
컬러 비디오 영상을 그레이스케일 비디오 영상으로 변환함으로써, 연산에 사용되는 비디오 데이터 크기를 줄일 수 있고, 이 후 연산을 간단히 할 수 있는 장점이 있다.By converting a color video image to a grayscale video image, the size of video data used for calculation can be reduced, and thereafter, there is an advantage of simplifying calculation.
또한 모든 오브젝트에 컬러가 표시되어 있는 비디오 영상에서 특정 오브젝트를 트랙킹하는 것보다는 트랙킹할 오브젝트에만 해당하는 컬러를 대응시키고 나머지 오브젝트를 그레이스케일로 유지하는 것이 특정 오브젝트를 쉽게 트랙킹할 수 있다.Also, rather than tracking a specific object in a video image in which colors are displayed on all objects, it is easy to track a specific object by matching the color corresponding to the object to be tracked and keeping the remaining objects in grayscale.
특징 추출부(120)는 상기 그레이스케일 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제1 특징을 추출하고, 상기 그레이스케일 비디오 영상의 타겟 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제2 특징을 추출한다.The
가중치를 갖는 마스크를 이용하여 영상처리를 하는 것을 컨벌루션이라고 하는데, 입력 영상에 마스크를 적용한 다음 입력 영상의 픽셀값과 대응하는 마스크의 가중치를 각각 곱한 후 그 합을 출력영상의 픽셀값으로 정한다.Image processing using a mask having a weight is called convolution. After applying a mask to an input image, the pixel value of the input image is multiplied by the weight of the corresponding mask, and the sum is determined as the pixel value of the output image.
상기 컨벌루션 과정을 도 3을 참조하여 살펴보기로 한다.The convolution process will be described with reference to FIG. 3.
도 2는 컨벌루션 과정을 예를 나타내기 위한 도면이다.2 is a diagram for showing an example of a convolution process.
입력 영상은 7×7 영상이고, 마스크는 3×3 윈도우이다.The input image is a 7x7 image, and the mask is a 3x3 window.
컨벌루션이란, 입력 영상의 특징을 추출하기 위해 필터를 입력 영상에 적용하는 것을 의미하므로, 여러 개의 다른 특징을 추출하고자 하는 경우 여러 개의 마스크를 사용할 수 있다.Convolution means applying a filter to an input image in order to extract characteristics of the input image, so multiple masks can be used to extract multiple different features.
상기 입력 영상에 마스크를 적용하기 위해 입력 영상에 마스크를 이동하면서 계산하는데, 계산은 입력영상과 마스크가 겹치도록 한 후, 마스크의 가중치와 입력영상의 대응하는 픽셀값을 곱하여 합한 결과를 산출하는 것이다.In order to apply a mask to the input image, a calculation is performed while moving the mask on the input image. After calculation, the input image and the mask are overlapped, and the weight of the mask is multiplied by the corresponding pixel value of the input image to calculate a sum result. .
출력 영상의 첫번째 픽셀값 2는 0×1+0×0+0×1+0×0+1×1+1×0+0×1+0×0+1×1=2로 계산된 것이다.The
이와 같이 계산한 결과 오른쪽의 출력영상이 산출된다. 이러한 컨벌루션은 원하는 영상을 추출하고자 할 때 특징 추출을 위한 것이다.As a result of this calculation, the output image on the right is calculated. This convolution is for feature extraction when a desired image is to be extracted.
종래의 컨벌루션은 마스크의 가중치가 고정되는 반면 본 발명에서는 마스크의 가중치가 학습에 의해 바꾸도록 한다. In the conventional convolution, the weight of the mask is fixed, whereas in the present invention, the weight of the mask is changed by learning.
영상의 특성에 따라 소벨 마스크(Sobel Mask), 방향 마스크(Directional Mask), 경사 마스크(Gradient Mask), 차 마스크(Difference Mask) 등을 변경할 수 있다.The Sobel Mask, Directional Mask, Gradient Mask, and Difference Mask can be changed according to the characteristics of the image.
나아가 컨벌루션에 적용하는 마스크의 가중치를 다양하게 적용하면 여러 출력영상이 나오게 되는데, 여러 출력영상 중 왜곡, 변형같은 환경변화에 강인한 특징을 갖는 마스크의 가중치를 선택하는 것이 바람직하다. 선택된 마스크의 가중치는 특징 추출부(120)가 다음 타겟 프레임의 특징을 추출하기 위해 컨벌루션을 적용할 때 사용된다.Furthermore, when various weights of a mask applied to convolution are applied variously, multiple output images appear. It is preferable to select a weight of a mask having characteristics that are robust to environmental changes such as distortion and deformation. The weight of the selected mask is used when the
한편, 서브샘플링 과정을 도 3을 참조하여 살펴보기로 한다.Meanwhile, the subsampling process will be described with reference to FIG. 3.
서브 샘플링은 해당되는 영역의 픽셀값 중에서 최대값을 선택함으로써, 화면의 크기를 줄일 수 있다. The sub-sampling can reduce the size of the screen by selecting a maximum value among pixel values in a corresponding area.
도 3은 서브 샘플링의 일례를 도시한 것이다.3 shows an example of sub-sampling.
도 3을 참조하면, 4×4 입력영상을 2×2 서브영역으로 구분하고, 각 서브 영역에서 가장 큰 수를 선택하여 4×4 입력영상을 2×2 출력영상을 생성하는데, 이를 서브 샘플링이라고 한다. 이러한 서브 샘플링은 노이즈가 감소하고 영상처리 속도를 빠르게 하는 효과가 있다.Referring to FIG. 3, a 4 × 4 input image is divided into 2 × 2 sub-regions, and the largest number is selected from each sub-region to generate a 4 × 4 input image and a 2 × 2 output image, which is called sub-sampling. do. Such sub-sampling has an effect of reducing noise and speeding up image processing.
도 3에 도시된 서브 샘플링의 예는 가장 강한 신호을 전달하는 방식으로, 2×2 서브영역의 평균값으로 서브 샘플링하는 것도 가능하다.The example of sub-sampling shown in FIG. 3 is a method of transmitting the strongest signal, and it is also possible to sub-sample with an average value of 2 × 2 sub-regions.
마지막으로 컨벌루션과 서브샘플링을 적용하여 특징을 추출하는 방법을 도 4를 참조하여 살펴보기로 한다.Finally, a method of extracting features by applying convolution and subsampling will be described with reference to FIG. 4.
도 4는 컨벌루션과 서브 샘플링을 입력 영상에 대하여 반복적으로 적용하면서 영상의 크기를 줄여나가는 과정을 도시한 것이다.4 shows a process of reducing the size of an image while repeatedly applying convolution and subsampling to the input image.
상기 그레이스케일 비디오 영상으로부터 추출된 참조 프레임 또는 타겟 프레임에 적용하는 컨벌루션 마스크의 가중치를 적어도 2개 이상 적용하고, 적어도 2개 이상의 출력 영상 중 왜곡에 강인한 특징을 갖는 마스크의 가중치를 선택하여 컨벌루션 마스크의 가중치를 조정할 수 있다.The weight of a convolution mask applied to a reference frame or a target frame extracted from the grayscale video image is applied to at least two or more, and a weight of a mask having a characteristic resistant to distortion among at least two output images is selected to select a weight of the convolution mask. Weight can be adjusted.
도 4를 참조하면, 입력 영상은 28×28 프레임이고, 컨벌루션을 통해 24×24 프레임을 생성할 수 있다. 이때 여러 가중치를 적용하여 4개의 출력영상이 산출되는 것이 도시되어 있다.Referring to FIG. 4, the input image is 28 × 28 frames, and 24 × 24 frames can be generated through convolution. At this time, it is shown that four output images are calculated by applying various weights.
상기 산출된 출력영상에 서브샘플링을 적용하면, 12×12 프레임의 출력영상 4개가 생성된다.When subsampling is applied to the calculated output image, four output images of 12 × 12 frames are generated.
이후, 다시 컨벌루션과 서브 샘플링 영상을 출력 영상에 반복 적용하면 결국 1×1 프레임이 생성되어 1차원 행렬을 만들 수 있다.Subsequently, if the convolution and sub-sampling images are repeatedly applied to the output image, a 1 × 1 frame is finally generated to create a 1-dimensional matrix.
이와 같이 2차원 영상을 줄이고 줄여 1차원 행렬이 되면 상기 입력 영상의 특징이 추출된다. 이러한 과정을 거치지 않고 바로 2차원 영상의 특징을 추출하면변수의 갯수가 많아지므로 특징 추출시간이 증가하는 문제가 발생하는 문제가 있다.When the 2D image is reduced and reduced to become a 1D matrix, the characteristics of the input image are extracted. If the feature of the 2D image is directly extracted without going through such a process, the number of variables increases, and there is a problem in that the feature extraction time increases.
벡터 생성부(130)는 상기 추출된 제1 특징과 상기 제2 특징을 비교하여 유사한 오브젝트를 추출하고, 대응하는 오브젝트간의 벡터값을 생성한다.The
상기 제1 특징과 상기 제2 특징의 비교는 종래의 K means 알고리즘, Fuzzy C means 알고리즘, ISODATA 알고리즘과 같은 데이터 분류 알고리즘을 활용한다.The comparison of the first feature and the second feature utilizes a data classification algorithm such as a conventional K means algorithm, Fuzzy C means algorithm, ISODATA algorithm.
상기 데이터 분류 알고리즘을 사용하면, 추출된 특징의 유사성을 확인하거나 유사한 특징들을 클러스터링할 수 있다.Using the data classification algorithm, it is possible to check the similarity of the extracted features or cluster similar features.
유사한 특징을 갖는 오브젝트들 사이에 벡터값을 생성하면, 컬러 결정부(140)가 타겟 프레임에 있는 오브젝트에 컬러를 대응시키는데 상기 벡터값을 활용할 수 있다.When a vector value is generated between objects having similar characteristics, the
컬러 결정부(140)는 상기 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 획득하고 상기 생성된 벡터값의 역방향 벡터값을 이용하여 상기 타겟 프레임의 오브젝트의 컬러를 결정한다.The
도 5는 본 발명에 따른 오브젝트 트랙킹 장치가 역방향 벡터값을 이용하여 타겟 프레임의 오브젝트 컬러를 결정하는 과정을 개념적으로 도시한 것이다.5 conceptually illustrates a process in which the object tracking apparatus according to the present invention determines the object color of the target frame using the reverse vector value.
도 5를 참조하면, 입력되는 컬러 영상을 그레이스케일 비디오 영상으로 변환한 후, 참조 프레임과 타겟 프레임을 생성한다. 참조 프레임과 타겟 프레임에는 오브젝트들이 포함되어 있다.Referring to FIG. 5, after the input color image is converted into a grayscale video image, a reference frame and a target frame are generated. Objects are included in the reference frame and the target frame.
참조 프레임과 타겟 프레임 각각에 대하여 특징추출을 하고, 유사한 특징을 갖는 오브젝트끼리 대응시켜 벡터값을 생성한다.Feature extraction is performed for each of the reference frame and the target frame, and objects having similar features are matched to generate vector values.
참조 프레임에서 트랙킹하고자 하는 오브젝트의 컬러를 획득하고, 상기 벡터값의 역방향 벡터값을 이용하여 타겟 프레임의 오브젝트 컬러를 결정한다.The color of the object to be tracked is obtained from the reference frame, and the object color of the target frame is determined using the backward vector value of the vector value.
트랙킹부(150)는 상기 참조 프레임과 상기 타겟 프레임의 오브젝트 이동을 상기 결정된 컬러를 이용하여 트랙킹한다.The
트랙킹부(150)는 트랙킹하고자 하는 오브젝트에 대해서만 컬러로 표시하고, 다른 이미지에 대해서는 그레이스케일로 처리함으로써, 컬러 영상에서 트랙킹하는 경우보다 빠르게 연산할 수 있어 실시간으로 트랙킹이 가능하고, 사용자가 쉽게 오브젝트를 인지할 수 있다.The
이와 같이 동영상 내의 특정 오프젝트가 갖는 색의 일관성을 이용하여 동영상에서 사물을 추적할 수 있다. 한편, 갑자기 조명이 켜지는 등의 상황이 발생하여 특정 오브젝트 내의 색의 일관성이 유지되지 못할 수도 있지만, 일반적으로 시간이 지나면 색상은 일관성을 갖기 때문에 오브젝트를 추적하는데 큰 문제가 되지 않는다.In this way, objects can be tracked in a video by using color consistency of a specific object in the video. On the other hand, a situation such as suddenly turning on the light may occur and the color consistency in a specific object may not be maintained, but in general, it is not a big problem to track the object because the color is consistent over time.
도 6은 본 발명의 바람직한 일 실시 예에 따른 오브젝트 트랙킹 방법의 흐름도이다.6 is a flowchart of an object tracking method according to an exemplary embodiment of the present invention.
도 6을 참조하면, 본 실시 예에 따른 오브젝트 트랙킹 방법은 도 1에 도시된 오브젝트 트랙킹 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 오브젝트 트랙킹 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 오브젝트 트랙킹 방법에도 적용된다. Referring to FIG. 6, the object tracking method according to the present embodiment includes steps that are time-seriesly processed by the object tracking device illustrated in FIG. 1. Therefore, even if omitted below, the contents described above with respect to the object tracking device shown in FIG. 1 also apply to the object tracking method according to the present embodiment.
610 단계에서 오브젝트 트랙킹 장치는 컬러 비디오 영상을 그레이 스케일 비디오 영상으로 변환한다.In
컬러 비디오 영상을 그레이스케일 비디오 영상으로 변환함으로써, 연산에 사용되는 비디오 데이터 크기를 줄일 수 있고, 이 후 연산을 간단히 할 수 있는 장점이 있다.By converting a color video image to a grayscale video image, the size of video data used for calculation can be reduced, and thereafter, there is an advantage of simplifying calculation.
620 단계에서 오브젝트 트랙킹 장치는 상기 그레이스케일 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제1 특징을 추출한다.In
다른 실시 예로서, 620 단계에서 오브젝트 트랙킹 장치는 상기 그레이스케일 비디오 영상으로부터 참조 프레임을 추출하는 대신 컬러 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제1 특징을 추출할 수 있다. 이 경우에는 650 단계에서 상기 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 확인하는 것을 용이하게 할 수 있다.As another embodiment, in
630 단계에서 오브젝트 트랙킹 장치는 상기 그레이스케일 비디오 영상의 타겟 프레임을 추출하고, 컨벌루션과 서브샘플링을 적용하여 제2 특징을 추출한다.In
640 단계에서 오브젝트 트랙킹 장치는 상기 추출된 제1 특징과 상기 제2 특징을 비교하여 서로 대응하는 오브젝트를 추출하고, 대응하는 오브젝트간의 벡터값을 생성한다.In
650 단계에서 오브젝트 트랙킹 장치는 상기 생성된 벡터값의 역방향 벡터값을 이용하여 상기 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 이용하여 상기 타겟 프레임의 오브젝트의 컬러를 결정한다.In
660 단계에서 오브젝트 트랙킹 장치는 상기 참조 프레임과 상기 타겟 프레임의 오브젝트의 이동을 상기 결정된 컬러를 이용하여 트랙킹한다.In
도 7은 본 발명의 일 실시예에 따라 오브젝트 트랙킹을 하는 경우의 또 다른 실시예를 도시한 것이다.7 illustrates another embodiment of tracking an object according to an embodiment of the present invention.
도 7을 참조하면, 오브젝트 트랙킹 장치에 의해 참조 프레임 내에서 굴착기와 트럭이 오브젝트로 특징이 추출되는 한편, 타겟 프레임에서 추출된 비교 오브젝트들이 도시되어 있다.Referring to FIG. 7, features are extracted from the excavator and the truck as objects in the reference frame by the object tracking device, while comparison objects extracted from the target frame are illustrated.
참조 프레임의 굴착기와 트럭 중에서 굴착기를 트랙킹하고자 하는 경우, 참조 프레임에서 트랙킹하고자 하는 오브젝트로 굴착기를 선택하고, 타겟 프레임 내에서 추출된 오브젝트들 중에서 특징이 유사한 오브젝트를 추출할 수 있다. 동영상 내의 추출된 오브젝트가 최초 촬영된 시간, 일치율 등이 함께 사용자에게 제공되는 것이 바람직하다.When the excavator is to be tracked among the excavator and the truck of the reference frame, the excavator can be selected as the object to be tracked in the reference frame, and an object having similar characteristics can be extracted from the extracted objects in the target frame. It is preferable that the extracted object in the video is provided to the user with the time at which the object was first photographed and the matching rate.
즉, 도 7에서 트랙킹하고자 하는 오브젝트로 굴착기를 선택하면, 타겟 프레임의 오브젝트 특징을 추출한 후 참조 프레임의 굴착기 특징과 상호 비교하여, 유사한 타겟 프레임의 오브젝트를 참조 프레임의 굴착기 컬러로 대응시킴으로써, 트랙킹을 보다 용이하게 할 수 있다.That is, when the excavator is selected as the object to be tracked in FIG. 7, the object characteristics of the target frame are extracted and compared with those of the reference frame, and objects of similar target frames are matched with the excavator color of the reference frame, thereby tracking. It can be made easier.
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention are implemented in the form of program instructions that can be executed through various computer means and can be recorded on computer readable media. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~ unit' used in this embodiment means a software or hardware component such as a field-programmable gate array (FPGA) or an ASIC, and '~ unit' performs certain roles. However, '~ wealth' is not limited to software or hardware. The '~ unit' may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example, '~ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays, and variables. The functions provided within components and '~ units' may be combined into a smaller number of components and '~ units', or further separated into additional components and '~ units'. In addition, the components and '~ unit' may be implemented to play one or more CPUs in the device or secure multimedia card.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.All of the above-described functions may be performed by a processor such as a microprocessor, controller, microcontroller, or application specific integrated circuit (ASIC) according to software or program code coded to perform the function. The design, development and implementation of the code will be apparent to those skilled in the art based on the description of the present invention.
이상 본 발명에 대하여 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시 예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.Although the present invention has been described above with reference to examples, those skilled in the art can practice various modifications and changes of the present invention without departing from the spirit and scope of the present invention. You will understand. Therefore, it is not limited to the above-described embodiment, the present invention will be said to include all embodiments within the scope of the following claims.
Claims (7)
상기 컬러 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 반복 적용하여 1×1 프레임을 생성함으로써, 1차원 행렬이 되면 제1 특징을 추출하는 단계;
상기 그레이스케일 비디오 영상으로부터 타겟 프레임을 추출하고, 컨벌루션과 서브샘플링을 반복 적용하여 1×1 프레임을 생성함으로써, 1차원 행렬이 되면 제2 특징을 추출하는 단계;
상기 추출된 제1 특징과 상기 제2 특징을 비교하여 서로 대응하는 오브젝트를 추출하고, 대응하는 오브젝트간의 벡터값을 생성하는 단계;
상기 컬러 비디오 영상으로부터 추출된 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 획득하고 상기 생성된 벡터값의 역방향 벡터값을 이용하여 상기 타겟 프레임의 오브젝트의 컬러를 결정하는 단계;
상기 참조 프레임과 상기 타겟 프레임의 오브젝트의 이동을 상기 결정된 컬러를 이용하여 트랙킹하는 단계; 및
상기 트랙킹되는 타겟 프레임의 오브젝트의 최초 촬영시간 및 일치율 등이 사용자에게 제공되는 단계를 포함하고,
상기 참조 프레임 또는 타겟 프레임에 적용하는 컨벌루션 마스크의 가중치를 적어도 2개 이상 적용하고, 적어도 2개 이상의 출력 영상 중 왜곡에 강인한 특징을 갖는 마스크의 가중치를 선택하여 상기 제1 특징과 상기 제2 특징을 추출하는 것을 특징으로 하는 오브젝트 트랙킹 방법.Converting a 2D image color video image into a 2D image grayscale video image;
Extracting a reference frame from the color video image and repeatedly applying convolution and subsampling to generate a 1 × 1 frame, thereby extracting a first feature when a 1D matrix is obtained;
Extracting a target frame from the grayscale video image, and generating a 1 × 1 frame by repeatedly applying convolution and subsampling, thereby extracting a second feature when a 1D matrix is obtained;
Comparing the extracted first feature and the second feature to extract objects corresponding to each other, and generating vector values between corresponding objects;
Obtaining a color corresponding to an object included in a reference frame extracted from the color video image and determining the color of the object in the target frame using the reverse vector value of the generated vector value;
Tracking movement of objects of the reference frame and the target frame using the determined color; And
Including the step of providing to the user the first shooting time and the matching rate of the object of the tracked target frame,
Applying at least two weights of the convolution mask applied to the reference frame or the target frame, and selecting the weights of the masks having distortion-resistant characteristics among the at least two output images to select the first and second characteristics. Object tracking method characterized in that the extraction.
상기 컬러 비디오 영상 내의 오프젝트가 갖는 색의 일관성을 이용하여 상기 오브젝트를 트랙킹하는 것을 특징으로 하는 오브젝트 트랙킹 방법.According to claim 1,
And tracking the object by using color consistency of an object in the color video image.
상기 컬러 비디오 영상으로부터 참조 프레임을 추출하고, 컨벌루션과 서브샘플링을 반복 적용하여 1×1 프레임을 생성함으로써, 1차원 행렬이 되면 제1 특징을 추출하고, 상기 그레이스케일 비디오 영상으로부터 타겟 프레임을 추출하고, 컨벌루션과 서브샘플링을 반복 적용하여 1×1 프레임을 생성함으로써, 1차원 행렬이 되면 제2 특징을 추출하는 특징 추출부;
상기 추출된 제1 특징과 상기 제2 특징을 비교하여 서로 대응하는 오브젝트를 추출하고, 대응하는 오브젝트간의 벡터값을 생성하는 벡터 생성부;
상기 컬러 비디오 영상으로부터 추출된 참조 프레임에 포함된 오브젝트에 상응하는 컬러를 획득하고 상기 생성된 벡터값의 역방향 벡터값을 이용하여 상기 타겟 프레임의 오브젝트의 컬러를 결정하는 컬러 결정부; 및
상기 참조 프레임과 상기 타겟 프레임의 오브젝트의 이동을 상기 결정된 컬러를 이용하여 트랙킹하는 트랙킹부를 포함하고,
상기 참조 프레임 또는 타겟 프레임에 적용하는 컨벌루션 마스크의 가중치를 적어도 2개 이상 적용하고, 적어도 2개 이상의 출력 영상 중 왜곡에 강인한 특징을 갖는 마스크의 가중치를 선택하여 상기 제1 특징과 상기 제2 특징을 추출하고,
상기 트랙킹되는 타겟 프레임의 오브젝트의 최초 촬영시간 및 일치율 등이 사용자에게 제공되는 것을 특징으로 하는 오브젝트 트랙킹 장치.An image converter for converting a color video image, which is a 2D image, into a grayscale video image, which is a 2D image;
A reference frame is extracted from the color video image, and convolution and subsampling are repeatedly applied to generate a 1 × 1 frame, thereby extracting a first feature when a 1D matrix is obtained, and extracting a target frame from the grayscale video image. , A feature extraction unit that extracts a second feature when a 1D matrix is generated by repeatedly applying convolution and subsampling to generate a 1 × 1 frame;
A vector generator that compares the extracted first feature and the second feature, extracts objects corresponding to each other, and generates vector values between corresponding objects;
A color determiner that acquires a color corresponding to an object included in a reference frame extracted from the color video image and determines the color of the object in the target frame using the reverse vector value of the generated vector value; And
And a tracking unit for tracking the movement of the object of the reference frame and the target frame using the determined color,
Applying at least two weights of the convolution mask applied to the reference frame or the target frame, and selecting the weights of the masks having distortion-resistant characteristics among the at least two output images to select the first and second characteristics. Extract,
An object tracking device, characterized in that the user is provided with an initial shooting time and a matching rate of an object of the target frame being tracked.
상기 트랙킹부는 상기 컬러 비디오 영상 내의 오프젝트가 갖는 색의 일관성을 이용하여 상기 오브젝트를 트랙킹하는 것을 특징으로 하는 오브젝트 트랙킹 장치.According to claim 4,
The tracking unit tracks the object by using color consistency of an object in the color video image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190055150A KR102114687B1 (en) | 2019-05-10 | 2019-05-10 | Appratus and Method of tracking a object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190055150A KR102114687B1 (en) | 2019-05-10 | 2019-05-10 | Appratus and Method of tracking a object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102114687B1 true KR102114687B1 (en) | 2020-05-25 |
Family
ID=70914328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190055150A KR102114687B1 (en) | 2019-05-10 | 2019-05-10 | Appratus and Method of tracking a object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102114687B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160131848A (en) * | 2015-05-08 | 2016-11-16 | 삼성전자주식회사 | Recognition apparatus and method |
| JP2017139701A (en) * | 2016-02-05 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | Tracking support device, tracking support system and tracking support method |
| WO2018128138A1 (en) * | 2017-01-05 | 2018-07-12 | 日本電気株式会社 | Image processing device, video monitoring system, image processing method, and recording medium storing program |
-
2019
- 2019-05-10 KR KR1020190055150A patent/KR102114687B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160131848A (en) * | 2015-05-08 | 2016-11-16 | 삼성전자주식회사 | Recognition apparatus and method |
| JP2017139701A (en) * | 2016-02-05 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | Tracking support device, tracking support system and tracking support method |
| WO2018128138A1 (en) * | 2017-01-05 | 2018-07-12 | 日本電気株式会社 | Image processing device, video monitoring system, image processing method, and recording medium storing program |
Non-Patent Citations (1)
| Title |
|---|
| Vondrick et al. Tracking emerges by colorizing videos. ECCV, 2018년, pp. 391-408. 1부.* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Deeperlab: Single-shot image parser | |
| US9569694B2 (en) | Detection of objects in an image using self similarities | |
| US20150205997A1 (en) | Method, apparatus and computer program product for human-face features extraction | |
| US10026197B2 (en) | Signal processing method, signal processing apparatus, and storage medium | |
| KR20170047167A (en) | Method and apparatus for converting an impression of a face in video | |
| Fei et al. | Real-time visual tracking based on improved perceptual hashing | |
| US20230394796A1 (en) | Information processing device, information processing method, and program recording medium | |
| US20100226538A1 (en) | Object detection apparatus and method therefor | |
| US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| CN115035581A (en) | Facial expression recognition method, terminal device and storage medium | |
| Huang et al. | A fast HOG descriptor using lookup table and integral image | |
| JP2007025902A (en) | Image processor and image processing method | |
| Jetley et al. | 3D activity recognition using motion history and binary shape templates | |
| US10643096B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| US20230394871A1 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image | |
| KR102114687B1 (en) | Appratus and Method of tracking a object | |
| KR102173955B1 (en) | Apparatus of detecting feature point for tracking object and method thereof | |
| JP2010271792A (en) | Image processing apparatus and method | |
| CN117252908A (en) | Anti-occlusion multi-target tracking method based on attention | |
| US8928815B1 (en) | System and method for outdoor scene change detection | |
| JP2020035098A (en) | Image processing system and information processing method and program | |
| KR20220064857A (en) | Segmentation method and segmentation device | |
| Ozturk et al. | A Real-Time Application of Singular Spectrum Analysis to Object Tracking with SIFT | |
| Ar et al. | Action recognition using random forest prediction with combined pose-based and motion-based features | |
| JP2012226403A (en) | Image area tracking device, image area tracking method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |