KR101885839B1 - System and Method for Key point Selecting for Object Tracking - Google Patents

System and Method for Key point Selecting for Object Tracking Download PDF

Info

Publication number
KR101885839B1
KR101885839B1 KR1020170031833A KR20170031833A KR101885839B1 KR 101885839 B1 KR101885839 B1 KR 101885839B1 KR 1020170031833 A KR1020170031833 A KR 1020170031833A KR 20170031833 A KR20170031833 A KR 20170031833A KR 101885839 B1 KR101885839 B1 KR 101885839B1
Authority
KR
South Korea
Prior art keywords
error
key point
motion
tracking
frame
Prior art date
Application number
KR1020170031833A
Other languages
Korean (ko)
Inventor
백준기
김민재
박석목
한상필
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170031833A priority Critical patent/KR101885839B1/en
Application granted granted Critical
Publication of KR101885839B1 publication Critical patent/KR101885839B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an apparatus to select a feature point for object tracking, capable of performing robust object tracking, and a method thereof. According to the present invention, the apparatus to select a feature point for object tracking comprises: a video frame input unit to receive an image (It) of a current frame, an image (It+1) of a next frame, and a location of an object to be tracked; an object location tracking unit calculating movement of an i^th key point existing in an object at a time (t) to find the location of the object in the next frame; a forward and backward (FB) error value calculation unit to measure an error of a motion vector of the found key points in an FB error calculation type; a key point selection unit applying a weighted random sample consensus (W-RANDSAC) algorithm to remove outliers so as to select key points; and an object movement determination unit using a model of the selected key points to estimate movement of the object based on a least squares method.

Description

객체추적을 위한 특징점 선별 장치 및 방법{System and Method for Key point Selecting for Object Tracking}TECHNICAL FIELD [0001] The present invention relates to a feature point selection apparatus and method for object tracking,

본 발명은 객체추적에 관한 것으로, 구체적으로 W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 신뢰할 수 있는 키포인트(inlier)들을 선별하여 강건한 객체의 추적이 가능하도록 한 객체추적을 위한 특징점 선별 장치 및 방법에 관한 것이다.The present invention relates to object tracking, and more particularly, to a feature point sorting device for object tracking, which enables robust object tracking by selecting reliable key points (inliers) by applying a weighted random sample consensus (W-RANSAC) ≪ / RTI >

컴퓨터 비전 분야에서 영상 객체의 추적은 매우 중요한 문제로서, 특히 키포인트 기반(keypoint-based)의 객체 추적방법들은 Advanced Driver System(ADAS), 지능형감시시스템 등 다양한 적용분야에서 최근 발전의 초석이 되고 있다.Tracking video objects in the field of computer vision is a very important issue. In particular, keypoint-based object tracking methods have become the cornerstone of recent developments in various applications such as Advanced Driver System (ADAS) and intelligent surveillance system.

키포인트 기반 객체 추적방법에서는 객체의 움직임을 예측하기 위해, 연속된 프레임에서 다수의 키포인트를 각각 추적하고, 그 결과를 종합한다.In the keypoint-based object tracking method, multiple keypoints are tracked in successive frames to predict the motion of the object, and the results are synthesized.

따라서 키포인트 기반 객체 추적 알고리즘에서는 이상점(outlier)을 제거하고, 신뢰할 수 있는 키포인트들을 선택하는 것이 추적 성능의 중요한 요소가 된다.Therefore, in keypoint-based object tracking algorithm, it is important to remove outliers and select reliable keypoints.

키포인트 기반 추적 알고리즘의 속도와 정확도를 개선하기 위해 일반적으로 코너나 에지 등 추적하기 좋은 키포인트들을 선택하여 추적하는 방식이 널리 사용되어 왔다.To improve the speed and accuracy of keypoint-based tracking algorithms, it has been widely used to select and track keypoints that are generally good to track, such as corners or edges.

하지만, 이 방식을 적용했을 때에도, 추적하는 객체가 다른 물체에 의해 겹쳐지거나, 외형이 변하는 경우, 추적에 실패할 가능성이 높아지게 된다.However, even when this method is applied, if the tracked object is overlapped by another object or the appearance changes, the possibility of tracking failure increases.

이러한 문제를 해결하기 위해, 프레임 사이의 시간적 연속성을 고려하여 키포인트 추적의 오류를 측정할 수 있는 방법인 FB(Forward-Backward) error와 이를 활용한 Median flow 추적기를 갖는 기술이 제안되고 있다.In order to solve this problem, there has been proposed a technique using an FB (Forward-Backward) error and a Median flow tracker that can measure an error of keypoint tracking in consideration of temporal continuity between frames.

Median flow 추적기에서는 FB error가 큰 50%의 키 포인트들을 이상점으로 판단하여 제거하고, 나머지 키 포인트들 중에서 중간값(median)을 찾아서 객체의 움직임을 결정한다.In the median flow tracker, 50% of the FB error is determined as an ideal point, and the median of the remaining key points is determined to determine the motion of the object.

이와 같이 키포인트 기반 추적 알고리즘의 속도와 정확도를 개선하기 위해 일반적으로, 코너(Corner)나 에지(Edge) 등의 불연속점(Discontinuity)에서 키포인트들을 검출하고 그 점들을 모두 추적하여 추정한 움직임의 평균값(Mean)을 이용하는 방식에서는 다음과 같은 문제가 있다.In order to improve the speed and accuracy of the keypoint-based tracking algorithm, it is generally necessary to detect keypoints in discontinuity such as a corner or an edge, track the points, Mean), there are the following problems.

불연속점에서 검출한 키포인트들을 모두 추적하여 평균값을 이용하는 기존방식의 문제점은 추적하는 객체가 다른 물체에 의해 겹쳐지거나, 외형이 변하는 경우, 추적 성능이 크게 저하된다는 것이다.The problem of the conventional method of tracking all the keypoints detected at the discontinuity point and using the average value is that the tracking performance is greatly degraded when the tracked object is overlapped by another object or the appearance changes.

이러한 문제점을 해결하기 위해 제안된 방법이 Median flow인데, 이 방법은 검출한 특징점들의 움직임을 각각 추적하여 그 값들 중 중간값(Median)으로 추적하는 객체의 움직임으로 결정하는 방식이다.In order to solve this problem, the proposed method is a median flow method in which the motion of detected minutiae points is tracked, and the motion of the object is tracked to median of the values.

그러나 특징점 움직임의 중간값이 추적하는 객체의 움직임을 대표한다고 볼 수 없기 때문에, 역시 추적하는 객체가 일부 가려지는 등의 변화를 겪으면 추적 성능이 크게 떨어지게 된다.However, since the intermediate value of the feature point motion does not represent the motion of the tracking object, the tracking performance is greatly degraded if the tracking object undergoes a change such as blocking.

따라서, 이와 같은 객체 추적을 위한 방법들의 문제를 해결하기 위한 새로운 기술의 개발이 요구되고 있다.Therefore, it is required to develop a new technique for solving the problem of the methods for object tracking.

대한민국 공개특허 제10-2014-0141239호Korean Patent Publication No. 10-2014-0141239 대한민국 등록특허 제10-1681104호Korean Patent No. 10-1681104 대한민국 등록특허 제10-1234046호Korean Patent No. 10-1234046

본 발명은 이와 같은 종래 기술의 객체 추적 방법의 문제를 해결하기 위한 것으로, 단일카메라에서 키포인트 기반(Keypoint-based) 영상기반 객체추적 방법의 추적성능 향상을 제공하기 위한 객체추적을 위한 특징점 선별 장치 및 방법을 제공하는데 그 목적이 있다.The object of the present invention is to solve the problem of the object tracking method of the related art, and it is an object of the present invention to provide a feature point selection device for object tracking for providing tracking improvement of a keypoint-based image- The purpose of the method is to provide.

본 발명은 W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 신뢰할 수 있는 키포인트(inlier)들을 선별하여 강건한 객체의 추적이 가능하도록 한 객체추적을 위한 특징점 선별 장치 및 방법을 제공하는데 그 목적이 있다.The object of the present invention is to provide a feature point selection apparatus and method for tracking an object which can reliably track an object by selecting reliable key points by applying a weighted random sample consensus (W-RANSAC) algorithm .

본 발명은 신뢰할 수 있는 키포인트(inlier)들을 선별하기 위해 이상점을 제거하는데 탁월한 성능을 보이는 W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하고 이상점을 제거하기 위해 사용되는 에러 측정방식은 FB 에러값(Forward-Backward error) 계산을 이용하여 키포인트 기반 추적방법의 단점을 극복할 수 있도록 한 객체추적을 위한 특징점 선별 장치 및 방법을 제공하는데 그 목적이 있다.The present invention employs a weighted random sample consensus (W-RANSAC) algorithm that exhibits excellent performance in eliminating anomalous points to select reliable key points and an error measurement method used to eliminate an anomalous point is an FB error The object of the present invention is to provide a feature point selection apparatus and method for tracking an object that can overcome the disadvantages of the key point based tracking method by using a Forward-Backward error calculation.

본 발명은 선별한 키포인트들이 연속된 프레임에서 가지고 있는 기하적 변환을 최소자승법을 이용해 추정하여 강건한 객체 추적이 가능하도록 한 객체추적을 위한 특징점 선별 장치 및 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide a feature point selection apparatus and method for tracking an object that enables robust object tracking by estimating a geometric transformation possessed by a selected key point in a continuous frame by using a least squares method.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명에 따른 객체추적을 위한 특징점 선별 장치는 현재 프레임의 영상 It과 다음 프레임의 영상 It +1, 그리고 추적하는 객체의 위치

Figure 112017025207828-pat00001
를 입력받는 비디오프레임 입력부;시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112017025207828-pat00002
을 구하여 다음 프레임에서의 객체의 위치
Figure 112017025207828-pat00003
를 찾는 객체 위치 추적부;객체 위치 추적부에서 찾은 키포인트들의 모션 벡터의 에러를 FB 에러(Forward-Backward error) 계산 방식으로 측정하는 FB 에러값 계산부;W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하여 키포인트들을 선별하는 키포인트 선별부;상기 키포인트 선별부에서 선별된 키포인트들의 모델을 이용하여 최소자승법을 적용하여 객체의 움직임
Figure 112017025207828-pat00004
을 추정하는 객체 움직임 결정부;를 포함하는 것을 특징으로 한다.In order to accomplish the above object, according to the present invention, there is provided a feature point selection apparatus for tracking an object, comprising an image I t of a current frame, an image I t +1 of a next frame,
Figure 112017025207828-pat00001
A motion of an i-th key point existing in an object at a time t
Figure 112017025207828-pat00002
The position of the object in the next frame
Figure 112017025207828-pat00003
An FB error value calculation unit for measuring an error of a motion vector of key points found by the object position tracking unit by a forward error correction (FB) error calculation method, a weighted random sample consensus (W-RANSAC) A keypoint selection unit for selecting keypoints by removing outliers by applying a least squares method using a model of keypoints selected by the keypoint selection unit,
Figure 112017025207828-pat00004
And an object motion determiner for estimating an object motion.

여기서, 시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임

Figure 112017025207828-pat00005
을,
Figure 112017025207828-pat00006
또는
Figure 112017025207828-pat00007
으로 정의하고, vt는 모션벡터인 것을 특징으로 한다.Here, the motion of the i-th key point in the object at time t
Figure 112017025207828-pat00005
of,
Figure 112017025207828-pat00006
or
Figure 112017025207828-pat00007
, And v t is a motion vector.

그리고 상기 FB 에러값 계산부에서의 FB 에러값 계산을,

Figure 112017025207828-pat00008
으로 계산하고,
Figure 112017025207828-pat00009
는 Euclidean distance를 이용하여 계산하고,
Figure 112017025207828-pat00010
는
Figure 112017025207828-pat00011
에서 t+1번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00012
를 추정한 후, 다시 역방향으로
Figure 112017025207828-pat00013
에서 t번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00014
를 추정하여 구하는 것을 특징으로 한다.The FB error value calculation unit calculates the FB error value,
Figure 112017025207828-pat00008
Lt; / RTI >
Figure 112017025207828-pat00009
Is calculated using Euclidean distance,
Figure 112017025207828-pat00010
The
Figure 112017025207828-pat00011
The position of the key point in the (t + 1) th frame
Figure 112017025207828-pat00012
, And then backward
Figure 112017025207828-pat00013
The position of the key point in the tth frame
Figure 112017025207828-pat00014
Is estimated.

그리고 상기 키포인트 선별부에서, W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하기 위한 가중치를,In the key point selection unit, a weight for removing the outliers by applying a weighted random sample consensus (W-RANSAC)

Figure 112017025207828-pat00015
으로 설정하고,
Figure 112017025207828-pat00016
는 i번째 키포인트의 가중치,
Figure 112017025207828-pat00017
는 i번째 키포인트의 FB 에러값,
Figure 112017025207828-pat00018
는 FB 에러값의 평균이고, FB 에러가 작을수록 큰 가중치를 갖도록 하는 것을 특징으로 한다.
Figure 112017025207828-pat00015
Respectively,
Figure 112017025207828-pat00016
Is the weight of the i-th key point,
Figure 112017025207828-pat00017
Is the FB error value of the i-th key point,
Figure 112017025207828-pat00018
Is an average of the FB error values, and has a larger weight as the FB error is smaller.

다른 목적을 달성하기 위한 본 발명에 따른 객체추적을 위한 특징점 선별 방법은 현재 프레임의 영상 It과 다음 프레임의 영상 It +1, 그리고 추적하는 객체의 위치

Figure 112017025207828-pat00019
를 입력받는 비디오프레임 입력 단계;시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112017025207828-pat00020
을 구하여 다음 프레임에서의 객체의 위치
Figure 112017025207828-pat00021
를 찾는 객체 위치 추적 단계;찾은 키포인트들의 모션 벡터의 에러를 FB 에러(Forward-Backward error) 계산 방식으로 측정하는 FB 에러값 계산 단계;W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하여 키포인트들을 선별하는 키포인트 선별 단계;상기 선별된 키포인트들의 모델을 이용하여 최소자승법을 적용하여 객체의 움직임
Figure 112017025207828-pat00022
을 추정하는 객체 움직임 결정 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a feature point selection method for tracking an object, comprising: extracting an image I t of a current frame, an image I t +1 of a next frame,
Figure 112017025207828-pat00019
A motion of an i-th key point existing in an object at a time t
Figure 112017025207828-pat00020
The position of the object in the next frame
Figure 112017025207828-pat00021
An FB error value calculation step of measuring an error of a motion vector of key points found by a forward-backward error calculation method, a weighted random sample consensus (W-RANSAC) A keypoint selection step of selecting keypoints by removing the keypoints from the keypoints, applying a least squares method using the selected keypoint models,
Figure 112017025207828-pat00022
And an object motion determining step of estimating an object motion.

여기서, 상기 키포인트 선별 단계에서 이상치(outlier)를 제거하는 과정은,모든 특징점들의 모션벡터를 계산하는 단계와,임의로 최소한의 특징점들의 모션벡터를 부분집합으로 선별한 후, 선택된 부분집합을 키포인트(inlier)로 가정하고 이를 기반으로 모델을 생성하는 단계와,생성한 모델과 모든 다른 데이터들과 일치 여부를 판단하여 선택된 부분집합과 가중치(weight) 값을 적용하여 가장 지지를 많이 받은 모델을 선택하는 단계를 포함하는 것을 특징으로 한다.Here, the step of removing the outliers in the keypoint selection step may include calculating motion vectors of all the feature points, optionally selecting a subset of the motion vectors of the minimum feature points, ), Generating a model based on the generated model, and determining whether the generated model is consistent with all other data, and applying a selected subset and a weight value to select the most supported model .

이와 같은 본 발명에 따른 객체추적을 위한 특징점 선별 장치 및 방법은 다음과 같은 효과를 갖는다.The feature point selection apparatus and method for object tracking according to the present invention have the following effects.

첫째, 단일카메라에서 키포인트 기반(Keypoint-based) 영상기반 객체추적 방법의 추적 성능을 향상시킬 수 있다.First, tracking performance of keypoint-based image-based object tracking method can be improved in a single camera.

둘째, W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 신뢰할 수 있는 키포인트(inlier)들을 선별하여 강건한 객체의 추적이 가능하다.Second, robust object tracking is possible by selecting reliable keypoints (inliers) by applying the weighted random sample consensus (W-RANSAC) algorithm.

셋째, 신뢰할 수 있는 키포인트(inlier)들을 선별하기 위해 이상점을 제거하는데 탁월한 성능을 보이는 W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하고, 이상점을 제거하기 위해 사용되는 에러 측정방식은 FB 에러값(Forward-Backward error) 계산을 이용하여 키포인트 기반 추적방법의 단점을 극복할 수 있다.Third, the weighted random sample consensus (W-RANSAC) algorithm is applied to remove the anomalous points to select reliable keypoints, and the error measurement method used to remove the anomalies is the FB error We can overcome the disadvantages of the keypoint-based tracking method by using the forward-backward error calculation.

넷째, 선별한 키포인트들이 연속된 프레임에서 가지고 있는 기하적 변환을 최소자승법을 이용해 추정하여 강건한 객체 추적이 가능하도록 한다.Fourth, the robust object tracking is enabled by estimating the geometric transformations of the selected keypoints in the successive frames using the least squares method.

다섯째, 키포인트들의 에러율을 측정하고, 측정된 에러율을 기반으로 키포인트들을 적응적으로 선별하여 추적의 성능을 개선하여 감시시스템이나, 운전자 보조시스템 등 단일 카메라에서 객체를 추적하는 시스템에의 적용 가능성을 높인다.Fifth, the error rate of keypoints is measured, and the keypoints are adaptively selected based on the measured error rate to improve the tracking performance, thereby increasing the applicability to a system for tracking objects in a single camera such as a surveillance system or a driver assistance system .

도 1은 본 발명에 따른 객체추적을 위한 특징점 선별 장치의 구성도
도 2는 본 발명에 따른 객체추적을 위한 특징점 선별 방법을 나타낸 플로우 차트
도 3은 FB 에러값(Forward-Backward error) 계산을 나타낸 구성도
도 4는 W-RANSAC 알고리즘을 적용하여 이상치(outlier)를 제거하는 방법을 나타낸 플로우 차트
도 5는 본 발명에 따른 객체추적을 위한 특징점 선별 방법의 적용 예를 나타낸 구성도1 is a block diagram of a feature point selection apparatus for tracking an object according to the present invention
2 is a flowchart showing a method of selecting feature points for object tracking according to the present invention.
FIG. 3 is a block diagram showing the calculation of the FB error value (Forward-Backward error)
4 is a flowchart showing a method of removing outliers by applying the W-RANSAC algorithm
5 is a diagram showing an application example of a feature point selection method for object tracking according to the present invention

이하, 본 발명에 따른 객체추적을 위한 특징점 선별 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a feature point selection apparatus and method for object tracking according to the present invention will be described in detail as follows.

본 발명에 따른 객체추적을 위한 특징점 선별 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The features and advantages of the feature point selection apparatus and method for object tracking according to the present invention will be apparent from the following detailed description of each embodiment.

도 1은 본 발명에 따른 객체추적을 위한 특징점 선별 장치의 구성도이다.1 is a block diagram of a feature point selection apparatus for tracking an object according to the present invention.

본 발명은 이상점을 제거하는데 탁월한 성능을 보이는 W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 신뢰할 수 있는 키포인트(inlier)들을 선별하고, 이상점을 제거하기 위해 사용되는 에러 측정방식은 FB 에러값(Forward-Backward error) 계산을 이용하여 키포인트 기반 추적방법의 단점을 극복할 수 있도록 한 것이다.The present invention employs a weighted random sample consensus (W-RANSAC) algorithm, which shows excellent performance in eliminating an anomaly point, to select reliable keypoints, and an error measurement method used to remove an anomaly point is an FB error Value-based (Forward-Backward error) calculation to overcome the disadvantages of the keypoint-based tracking method.

본 발명은 선별한 키포인트들이 연속된 프레임에서 가지고 있는 기하적 변환을 최소자승법을 이용해 추정하여 강건한 객체 추적이 가능하도록 하는 구성을 포함한다.The present invention includes a configuration for making robust object tracking possible by estimating the geometric transformation that the selected keypoints have in successive frames using a least squares method.

본 발명에 따른 객체추적을 위한 특징점 선별 장치는 도 1에서와 같이, 현재 프레임의 영상 It과 다음 프레임의 영상 It +1, 그리고 추적하는 객체의 위치

Figure 112017025207828-pat00023
를 입력받는 비디오프레임 입력부(10)와, 시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112017025207828-pat00024
을 구하여 다음 프레임에서의 객체의 위치
Figure 112017025207828-pat00025
를 찾는 객체 위치 추적부(20)와, 객체 위치 추적부(20)에서 찾은 키포인트들의 모션 벡터의 에러를 FB 에러(Forward-Backward error) 계산 방식으로 측정하는 FB 에러값 계산부(30)와, 확률적 이상치 제거 방법(outlier detecrtion method)인 RANSAC에 가중치로서 활용하도록 하는 W-RANSAC 알고리즘을 적용하여 이상치(outlier)를 효과적으로 제거하고 신뢰할 수 있는 키포인트들을 선별하는 키포인트 선별부(40)와, 선별된 키포인트들의 모델을 이용하여 최소자승법을 적용하여 객체의 움직임
Figure 112017025207828-pat00026
를 추정하는 객체 움직임 결정부(50)를 포함한다.As shown in FIG. 1, the feature point selection apparatus for tracking an object according to the present invention includes an image I t of a current frame, an image I t +1 of a next frame,
Figure 112017025207828-pat00023
(I) a video frame input unit 10 for inputting a motion of an i-th key point existing in the object at time t,
Figure 112017025207828-pat00024
The position of the object in the next frame
Figure 112017025207828-pat00025
An FB error value calculation unit 30 for measuring an error of a motion vector of key points found by the object position tracking unit 20 by a forward error correction (FB) error calculation method, A key point sorting unit 40 for effectively removing outliers and selecting reliable key points by applying a W-RANSAC algorithm to be used as a weight to RANSAC, which is an outlier detecration method, By applying the least squares method using the keypoint model,
Figure 112017025207828-pat00026
And an object motion determiner 50 for estimating an object motion.

그리고 본 발명에 따른 객체추적을 위한 특징점 선별 방법을 설명하면 다음과 같다.A feature point selection method for object tracking according to the present invention will now be described.

도 2는 본 발명에 따른 객체추적을 위한 특징점 선별 방법을 나타낸 플로우 차트이다.FIG. 2 is a flowchart illustrating a feature point selection method for object tracking according to the present invention.

본 발명에 따른 객체추적을 위한 특징점 선별 방법은 비디오프레임 입력 단계(S201)와, 키포인트 기반 추적을 수행하는 단계(S202)와, FB 에러값을 계산하는 단계(S203)와, 신뢰할 수 있는 키포인트 선별 단계(S204)와, 객체 움직임을 결정하는 단계(S205)를 포함한다.The feature point selection method for object tracking according to the present invention includes a video frame input step S201, a key point based tracking step S202, an FB error value calculation step S203, a reliable key point selection Step S204, and step S205 of determining object motion.

본 발명에 따른 객체추적을 위한 특징점 선별 방법을 구체적으로 설명하면 다음과 같다.The feature point selection method for object tracking according to the present invention will be described in detail as follows.

객체 추적은 현재 프레임의 영상 It과 다음 프레임의 영상 It +1, 그리고 추적하는 객체의 위치

Figure 112017025207828-pat00027
를 입력받고, 다음 프레임에서의 객체의 위치
Figure 112017025207828-pat00028
를 찾는 과정이다.The object tracking consists of the image I t of the current frame, the image I t +1 of the next frame,
Figure 112017025207828-pat00027
And the position of the object in the next frame
Figure 112017025207828-pat00028
.

시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임

Figure 112017025207828-pat00029
은 수학식 1 또는 수학식 2에서와 같은 관계가 성립한다.Movement of the i-th keypoint inside the object at time t
Figure 112017025207828-pat00029
Has the same relationship as in Equation (1) or Equation (2).

Figure 112017025207828-pat00030
Figure 112017025207828-pat00030

Figure 112017025207828-pat00031
Figure 112017025207828-pat00031

여기서, vt는 일반적으로 모션벡터라 한다.Here, v t is generally referred to as a motion vector.

일반적인 키포인트 기반 객체 추적 방법에서는 엣지나 코너점 등을 검출하고, 그 점들의 모션벡터를 옵티컬 플로우 방식으로 모두 추적하여 평균값(Mean)또는 중간값(Median)을 취하여 객체의 움직임을 결정한다.In general, a keypoint-based object tracking method detects an edge or a corner point, and tracks motion vectors of the points in an optical flow manner to determine a motion of an object by taking an average value or a median value.

하지만, 이렇게 찾은 키포인트들의 모션벡터 중에서 일부는 다양한 잡음에 의해서 실제 추적하는 객체의 움직임을 반영하고 있지 않다.However, some of the motion vectors of the keypoints found in this way do not reflect the movement of the object actually tracked by various noises.

이러한 문제점을 해결하기 위해서, 본 발명에서는 모션벡터의 에러를 Forward-Backward (FB) error 방식으로 측정하고, 신뢰할 수 있는 모션벡터들을 이용하여 추적하는 객체의 움직임을 추정한다.In order to solve such a problem, in the present invention, the error of the motion vector is measured by the Forward-Backward (FB) error method and the motion of the object to be tracked is estimated using the reliable motion vectors.

도 3은 FB 에러값(Forward-Backward error) 계산의 개념을 나타낸 구성도이다.3 is a block diagram showing the concept of a calculation of an FB error value (forward-backward error).

FB error를 구하는 수식은 수학식 3에서와 같다.The formula for obtaining the FB error is as shown in Equation 3 below.

Figure 112017025207828-pat00032
Figure 112017025207828-pat00032

여기서

Figure 112017025207828-pat00033
는
Figure 112017025207828-pat00034
에서 t+1번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00035
를 추정한 후, 다시 역방향으로
Figure 112017025207828-pat00036
에서 t번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00037
를 추정함으로써 구할 수 있다.here
Figure 112017025207828-pat00033
The
Figure 112017025207828-pat00034
The position of the key point in the (t + 1) th frame
Figure 112017025207828-pat00035
, And then backward
Figure 112017025207828-pat00036
The position of the key point in the tth frame
Figure 112017025207828-pat00037
Can be obtained.

즉, FB error는 키포인트를 앞방향으로 추적하고 난 후, 뒷방향으로 다시 추적했을 때 같은 키포인트로 추적이 되는 경우 에러가 작게 된다.That is, the FB error is small when tracking the keypoint in the forward direction and then tracking backward in the backward direction at the same key point.

또한

Figure 112017025207828-pat00038
는 Euclidean distance를 이용하여 계산할 수 있다.Also
Figure 112017025207828-pat00038
Can be calculated using the Euclidean distance.

따라서, FB error값이 적을수록 좋은 특징점이라고 판단할 수 있다.Therefore, the smaller the FB error value, the better the feature point.

이렇게 측정된 에러를 일반적으로 우수한 성능을 보이는 확률적 이상치 제거 방법(outlier detecrtion method)인 RANSAC에 가중치로서 활용하도록 하는 W-RANSAC 알고리즘을 적용하면, 이상치(outlier)를 효과적으로 제거하고 신뢰할 수 있는 키포인트들을 선별해낼 수 있다.Applying the W-RANSAC algorithm, which uses the measured error as a weight to RANSAC, which is a generally superior outlier detecrtion method, effectively removes outliers and provides reliable keypoints Can be sorted out.

이때, W-RANSAC을 위한 가중치는 수학식 4에서와 같이 설정한다. At this time, the weight for W-RANSAC is set as shown in Equation (4).

Figure 112017025207828-pat00039
Figure 112017025207828-pat00039

여기서,

Figure 112017025207828-pat00040
는 i번째 키포인트의 가중치,
Figure 112017025207828-pat00041
는 i번째 키포인트의 FB 에러값,
Figure 112017025207828-pat00042
는 FB 에러값으 평균이고,here,
Figure 112017025207828-pat00040
Is the weight of the i-th key point,
Figure 112017025207828-pat00041
Is the FB error value of the i-th key point,
Figure 112017025207828-pat00042
0.0 > FB < / RTI > error value,

이렇게 하면, FB error가 작을수록 큰 가중치를 갖게 되어, 최종적으로 찾게 되는 모델에 더 큰 기여를 하게 된다.In this way, the smaller the FB error, the larger the weight, and the greater the contribution to the model that is finally found.

본 발명에 따른 객체 추적 방법에서 적용되는 W-RANSAC 모델의 목표는 다음과 같다.The goals of the W-RANSAC model applied in the object tracking method according to the present invention are as follows.

객체는 특징점들의 집합(set)으로써, 객체의 이동은 점들의 집합의 이동으로 볼 수 있다.An object is a set of feature points, and the movement of an object can be seen as a movement of a set of points.

그러나 잡음 등의 문제로 인해 한 객체 내부의 점들이 모두 같은 움직임을 나타내고 있지는 않게 된다.However, due to problems such as noise, the points within an object do not represent the same movement.

그러므로 이동성분(또는 모션벡터)이 같은 점들의 부분집합(subset)을 신뢰할 수 있는 키포인트들로써 추정하는 것이 해결하고자 하는 문제이다.Therefore, it is a problem to solve by estimating a subset of points with the same moving component (or motion vector) as reliable keypoints.

이와 같은 문제를 해결하기 위한 W-RANSAC 과정은 다음과 같이 진행된다.The W-RANSAC process to solve this problem is as follows.

도 4는 W-RANSAC 알고리즘을 적용하여 이상치(outlier)를 제거하는 방법을 나타낸 플로우 차트이다.4 is a flowchart illustrating a method of removing an outlier by applying the W-RANSAC algorithm.

먼저, 모든 특징점들의 모션벡터를 계산한다.(S401)First, motion vectors of all feature points are calculated (S401)

이어, 임의로 최소한의 특징점들의 모션벡터를 부분집합으로 선별한 후(S402), 선택된 부분집합을 키포인트(inlier)로 가정하고 이를 기반으로 모델을 생성한다.(S403)Subsequently, the motion vectors of the minimum feature points are arbitrarily selected as a subset (S402), and the selected subset is assumed to be an inlier, and a model is generated based on the selected subset.

생성한 모델과 모든 다른 데이터들과 일치 여부를 판단하여(S404) 선택된 부분집합과 가중치(weight) 값을 적용하여 가장 지지를 많이 받은 모델을 선택한다.(S405)In step S404, it is determined whether or not the generated model matches all the other data. In step S404, the model having the most support is selected by applying the selected subset and the weight value.

최종적으로 가장 좋은 결과를 얻은 부분집합, 즉 이렇게 선별된 키포인트들의 모델을 이용하여 최소자승법을 적용하면, 객체의 움직임

Figure 112017025207828-pat00043
를 추정할 수 있다.Finally, applying the least-squares method using the best-fit subset, ie, a model of keypoints,
Figure 112017025207828-pat00043
Can be estimated.

이상에서 설명한 본 발명에 따른 객체추적을 위한 특징점 선별 장치 및 방법은 이상점을 제거하는데 탁월한 성능을 보이는 W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 신뢰할 수 있는 키포인트(inlier)들을 선별하고, 이상점을 제거하기 위해 사용되는 에러 측정방식은 FB 에러값(Forward-Backward error) 계산을 이용하고, 선별한 키포인트들이 연속된 프레임에서 가지고 있는 기하적 변환을 최소자승법을 이용해 추정하여 강건한 객체 추적이 가능하도록 하는 것이다.The apparatus and method for selecting feature points for object tracking according to the present invention as described above selects trusted keypoints by applying a weighted random sample consensus algorithm (W-RANSAC) The error measurement method used to remove anomalies uses the FB error value (Forward-Backward error) calculation and estimates the geometric transformation of the selected keypoints in successive frames using the least squares method. .

도 5는 본 발명에 따른 객체추적을 위한 특징점 선별 방법의 적용 예를 나타낸 구성도이다.5 is a block diagram showing an application example of a feature point selection method for object tracking according to the present invention.

이와 같은 본 발명에 따른 객체추적을 위한 특징점 선별 장치 및 방법은 키포인트들의 에러율을 측정하고, 측정된 에러율을 기반으로 키포인트들을 적응적으로 선별하여 추적의 성능을 개선하여 감시시스템이나, 운전자 보조시스템 등 단일 카메라에서 객체를 추적하는 시스템에의 적용 가능성을 높인 것이다.The feature point selection apparatus and method for object tracking according to the present invention measures the error rate of keypoints and adaptively selects keypoints based on the measured error rate to improve the tracking performance, It is more applicable to systems that track objects in a single camera.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.

10. 비디오프레임 입력부 20. 객체 위치 추적부
30. FB 에러값 계산부 40. 키포인트 선별부
50. 객체 움직임 결정부10. Video frame input unit 20. Object position tracking unit
30. FB error value calculation unit 40. Key point selection unit
50. Object motion determination unit

Claims (9)

현재 프레임의 영상 It과 다음 프레임의 영상 It+1, 그리고 추적하는 객체의 위치
Figure 112018050688673-pat00044
를 입력받는 비디오프레임 입력부;
시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112018050688673-pat00045
을 구하여 다음 프레임에서의 객체의 위치
Figure 112018050688673-pat00046
를 찾는 객체 위치 추적부;
객체 위치 추적부에서 찾은 키포인트들의 모션 벡터의 에러를 FB 에러(Forward-Backward error) 계산 방식으로 측정하는 FB 에러값 계산부;
W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하여 키포인트들을 선별하는 키포인트 선별부;
상기 키포인트 선별부에서 선별된 키포인트들의 모델을 이용하여 최소자승법을 적용하여 객체의 움직임
Figure 112018050688673-pat00047
을 추정하는 객체 움직임 결정부;를 포함하고,
상기 키포인트 선별부에서, W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하기 위한 가중치를,
Figure 112018050688673-pat00089
으로 설정하고,
Figure 112018050688673-pat00090
는 i번째 키포인트의 가중치,
Figure 112018050688673-pat00091
는 i번째 키포인트의 FB 에러값,
Figure 112018050688673-pat00092
는 FB 에러값의 평균이고, FB 에러가 작을수록 큰 가중치를 갖도록 하는 것을 특징으로 하는 객체추적을 위한 특징점 선별 장치.The image I t of the current frame, the image I t + 1 of the next frame, and the position of the tracked object
Figure 112018050688673-pat00044
A video frame input unit receiving the input video frame;
Movement of the i-th keypoint inside the object at time t
Figure 112018050688673-pat00045
The position of the object in the next frame
Figure 112018050688673-pat00046
An object position locator for finding an object;
An FB error value calculation unit for measuring an error of a motion vector of key points found by the object position tracking unit by a forward error correction (FB) error calculation method;
A key point selection unit for applying a weighted random sample consensus (W-RANSAC) algorithm to remove outliers to select key points;
The key point selection unit selects the keypoints using the least squares method to determine the motion of the object
Figure 112018050688673-pat00047
And an object motion determiner for estimating an object motion,
In the key point selection unit, a weight for removing an outlier is applied by applying a weighted random sample consensus (W-RANSAC)
Figure 112018050688673-pat00089
Respectively,
Figure 112018050688673-pat00090
Is the weight of the i-th key point,
Figure 112018050688673-pat00091
Is the FB error value of the i-th key point,
Figure 112018050688673-pat00092
Is an average of the FB error values, and has a larger weight as the FB error is smaller. 제 1 항에 있어서, 시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112017025207828-pat00048
을,
Figure 112017025207828-pat00049
또는
Figure 112017025207828-pat00050
으로 정의하고, vt는 모션벡터인 것을 특징으로 하는 객체추적을 위한 특징점 선별 장치.2. The method according to claim 1, wherein the motion of the i-th key point existing within the object at time t
Figure 112017025207828-pat00048
of,
Figure 112017025207828-pat00049
or
Figure 112017025207828-pat00050
, And v t is a motion vector. 제 1 항에 있어서, 상기 FB 에러값 계산부에서의 FB 에러값 계산을,
Figure 112017025207828-pat00051
으로 계산하고,
Figure 112017025207828-pat00052
는 Euclidean distance를 이용하여 계산하고,
Figure 112017025207828-pat00053
는
Figure 112017025207828-pat00054
에서 t+1번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00055
를 추정한 후, 다시 역방향으로
Figure 112017025207828-pat00056
에서 t번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00057
를 추정하여 구하는 것을 특징으로 하는 객체추적을 위한 특징점 선별 장치.2. The method as claimed in claim 1, wherein the FB error value calculation unit
Figure 112017025207828-pat00051
Lt; / RTI >
Figure 112017025207828-pat00052
Is calculated using Euclidean distance,
Figure 112017025207828-pat00053
The
Figure 112017025207828-pat00054
The position of the key point in the (t + 1) th frame
Figure 112017025207828-pat00055
, And then backward
Figure 112017025207828-pat00056
The position of the key point in the tth frame
Figure 112017025207828-pat00057
Wherein the feature point discrimination device for estimating the feature points comprises: 삭제delete 현재 프레임의 영상 It과 다음 프레임의 영상 It+1, 그리고 추적하는 객체의 위치
Figure 112018050688673-pat00062
를 입력받는 비디오프레임 입력 단계;
시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112018050688673-pat00063
을 구하여 다음 프레임에서의 객체의 위치
Figure 112018050688673-pat00064
를 찾는 객체 위치 추적 단계;
찾은 키포인트들의 모션 벡터의 에러를 FB 에러(Forward-Backward error) 계산 방식으로 측정하는 FB 에러값 계산 단계;
W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하여 키포인트들을 선별하는 키포인트 선별 단계;
상기 선별된 키포인트들의 모델을 이용하여 최소자승법을 적용하여 객체의 움직임
Figure 112018050688673-pat00065
을 추정하는 객체 움직임 결정 단계;를 포함하고,
상기 키포인트 선별 단계에서, W-RANSAC(weighted Random Sample Consensus)알고리즘을 적용하여 이상치(outlier)를 제거하기 위한 가중치를,
Figure 112018050688673-pat00093
으로 설정하고,
Figure 112018050688673-pat00094
는 i번째 키포인트의 가중치,
Figure 112018050688673-pat00095
는 i번째 키포인트의 FB 에러값,
Figure 112018050688673-pat00096
는 FB 에러값의 평균이고, FB 에러가 작을수록 큰 가중치를 갖도록 하는 것을 특징으로 하는 객체추적을 위한 특징점 선별 방법.The image I t of the current frame, the image I t + 1 of the next frame, and the position of the tracked object
Figure 112018050688673-pat00062
A video frame input step of inputting a video frame;
Movement of the i-th keypoint inside the object at time t
Figure 112018050688673-pat00063
The position of the object in the next frame
Figure 112018050688673-pat00064
An object position tracking step of searching for an object;
An FB error value calculation step of measuring errors of the motion vectors of the found keypoints by a forward error correction (FB) error calculation method;
A keypoint selection step of applying a weighted random sample consensus (W-RANSAC) algorithm to remove outliers to select keypoints;
By applying the least squares method using the model of the selected key points,
Figure 112018050688673-pat00065
And an object motion determining step of estimating an object motion,
In the keypoint selection step, a weight for removing the outliers by applying a weighted random sample consensus (W-RANSAC)
Figure 112018050688673-pat00093
Respectively,
Figure 112018050688673-pat00094
Is the weight of the i-th key point,
Figure 112018050688673-pat00095
Is the FB error value of the i-th key point,
Figure 112018050688673-pat00096
Is an average of the FB error values, and has a larger weight as the FB error is smaller. 제 5 항에 있어서, 객체 위치 추적 단계에서 시간 t에서의 객체 내부에 존재하는 i번째 키포인트의 움직임
Figure 112017025207828-pat00066
을,
Figure 112017025207828-pat00067
또는
Figure 112017025207828-pat00068
으로 정의하고, vt는 모션벡터인 것을 특징으로 하는 객체추적을 위한 특징점 선별 방법.6. The method according to claim 5, wherein, in the object position tracking step, the motion of the i-th key point existing in the object at time t
Figure 112017025207828-pat00066
of,
Figure 112017025207828-pat00067
or
Figure 112017025207828-pat00068
, And v t is a motion vector. 제 5 항에 있어서, 상기 FB 에러값 계산 단계에서 FB 에러값 계산을,
Figure 112017025207828-pat00069
으로 계산하고,
Figure 112017025207828-pat00070
는 Euclidean distance를 이용하여 계산하고,
Figure 112017025207828-pat00071
는
Figure 112017025207828-pat00072
에서 t+1번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00073
를 추정한 후, 다시 역방향으로
Figure 112017025207828-pat00074
에서 t번째 프레임에서의 키포인트의 위치
Figure 112017025207828-pat00075
를 추정하여 구하는 것을 특징으로 하는 객체추적을 위한 특징점 선별 방법.6. The method of claim 5, wherein the calculating of the FB error value comprises:
Figure 112017025207828-pat00069
Lt; / RTI >
Figure 112017025207828-pat00070
Is calculated using Euclidean distance,
Figure 112017025207828-pat00071
The
Figure 112017025207828-pat00072
The position of the key point in the (t + 1) th frame
Figure 112017025207828-pat00073
, And then backward
Figure 112017025207828-pat00074
The position of the key point in the tth frame
Figure 112017025207828-pat00075
And estimating a feature point of the object. 삭제delete 제 5 항에 있어서, 상기 키포인트 선별 단계에서 이상치(outlier)를 제거하는 과정은,
모든 특징점들의 모션벡터를 계산하는 단계와,
임의로 최소한의 특징점들의 모션벡터를 부분집합으로 선별한 후, 선택된 부분집합을 키포인트(inlier)로 가정하고 이를 기반으로 모델을 생성하는 단계와,
생성한 모델과 모든 다른 데이터들과 일치 여부를 판단하여 선택된 부분집합과 가중치(weight) 값을 적용하여 가장 지지를 많이 받은 모델을 선택하는 단계를 포함하는 것을 특징으로 하는 객체추적을 위한 특징점 선별 방법.
6. The method of claim 5, wherein removing the outlier in the keypoint selection step comprises:
Calculating motion vectors of all feature points,
Selecting a subset of the motion vectors of the minimum feature points, generating a model based on the selected subset as a key point,
Determining whether the generated model is consistent with all other data, and selecting a model with the most support by applying a selected subset and a weight value.
KR1020170031833A 2017-03-14 2017-03-14 System and Method for Key point Selecting for Object Tracking KR101885839B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170031833A KR101885839B1 (en) 2017-03-14 2017-03-14 System and Method for Key point Selecting for Object Tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170031833A KR101885839B1 (en) 2017-03-14 2017-03-14 System and Method for Key point Selecting for Object Tracking

Publications (1)

Publication Number Publication Date
KR101885839B1 true KR101885839B1 (en) 2018-08-06

Family

ID=63252091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170031833A KR101885839B1 (en) 2017-03-14 2017-03-14 System and Method for Key point Selecting for Object Tracking

Country Status (1)

Country Link
KR (1) KR101885839B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183255A (en) * 2020-09-15 2021-01-05 西北工业大学 Underwater target visual identification and attitude estimation method based on deep learning
KR20210067016A (en) * 2019-11-29 2021-06-08 군산대학교산학협력단 Method for object tracking using extended control of search window and object tracking system thereof
KR20210069686A (en) * 2018-11-15 2021-06-11 소니그룹주식회사 Object tracking based on custom initialization points
CN113470080A (en) * 2021-07-20 2021-10-01 浙江大华技术股份有限公司 Illegal behavior identification method
WO2024005619A1 (en) * 2022-06-28 2024-01-04 주식회사 브이알크루 Method and apparatus for visual localization
WO2024010323A1 (en) * 2022-07-04 2024-01-11 주식회사 브이알크루 Method and device for visual localization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234046B1 (en) 2011-11-11 2013-02-15 재단법인대구경북과학기술원 Method for tracking object using features in object and apparatus thereof
KR20130095985A (en) * 2012-02-21 2013-08-29 중앙대학교 산학협력단 Apparatus and method for tracking object
KR20140141239A (en) 2013-05-31 2014-12-10 전자부품연구원 Real Time Object Tracking Method and System using the Mean-shift Algorithm
KR101592125B1 (en) * 2014-12-17 2016-02-04 한양대학교 에리카산학협력단 Target tracing method and apparatus
KR101681104B1 (en) 2015-07-09 2016-11-30 한국외국어대학교 연구산학협력단 A multiple object tracking method with partial occlusion handling using salient feature points

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234046B1 (en) 2011-11-11 2013-02-15 재단법인대구경북과학기술원 Method for tracking object using features in object and apparatus thereof
KR20130095985A (en) * 2012-02-21 2013-08-29 중앙대학교 산학협력단 Apparatus and method for tracking object
KR20140141239A (en) 2013-05-31 2014-12-10 전자부품연구원 Real Time Object Tracking Method and System using the Mean-shift Algorithm
KR101592125B1 (en) * 2014-12-17 2016-02-04 한양대학교 에리카산학협력단 Target tracing method and apparatus
KR101681104B1 (en) 2015-07-09 2016-11-30 한국외국어대학교 연구산학협력단 A multiple object tracking method with partial occlusion handling using salient feature points

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kalal et al. Forward-backward error: Automatic detection of tracking failures. ICPR, 2010년 8월, pp. 2756-2759.* *
Zhang et al. Matching images more efficiently with local descriptors. ICPR, 2008년 12월, pp. 1-4.* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210069686A (en) * 2018-11-15 2021-06-11 소니그룹주식회사 Object tracking based on custom initialization points
KR102572986B1 (en) 2018-11-15 2023-09-01 소니그룹주식회사 Object Tracking Based on Custom Initialization Points
KR20210067016A (en) * 2019-11-29 2021-06-08 군산대학교산학협력단 Method for object tracking using extended control of search window and object tracking system thereof
KR102335755B1 (en) * 2019-11-29 2021-12-06 군산대학교 산학협력단 Method for object tracking using extended control of search window and object tracking system thereof
CN112183255A (en) * 2020-09-15 2021-01-05 西北工业大学 Underwater target visual identification and attitude estimation method based on deep learning
CN113470080A (en) * 2021-07-20 2021-10-01 浙江大华技术股份有限公司 Illegal behavior identification method
CN113470080B (en) * 2021-07-20 2024-05-14 浙江大华技术股份有限公司 Illegal behavior recognition method
WO2024005619A1 (en) * 2022-06-28 2024-01-04 주식회사 브이알크루 Method and apparatus for visual localization
WO2024010323A1 (en) * 2022-07-04 2024-01-11 주식회사 브이알크루 Method and device for visual localization

Similar Documents

Publication Publication Date Title
KR101885839B1 (en) System and Method for Key point Selecting for Object Tracking
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
US20230077355A1 (en) Tracker assisted image capture
US10404917B2 (en) One-pass video stabilization
KR102029896B1 (en) Adaptive switching between a vision aided intertial camera pose estimation and a vision based only camera pose estimation
US9852511B2 (en) Systems and methods for tracking and detecting a target object
US8311351B2 (en) Apparatus and method for improving frame rate using motion trajectory
JP6405778B2 (en) Object tracking method and object tracking apparatus
KR101703515B1 (en) Apparatus and method for target tracking of image
US8004528B2 (en) Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence
US10600190B2 (en) Object detection and tracking method and system for a video
JP6186834B2 (en) Target tracking device and target tracking program
Pan et al. Robust and accurate object tracking under various types of occlusions
JP2001126061A (en) Image processor, image processing method, data processor and data processing method
JP2007249309A (en) Obstacle tracking system and method
Xiao et al. An enhanced adaptive coupled-layer LGTracker++
WO2013100791A1 (en) Method of and apparatus for scalable frame rate up-conversion
JP6507843B2 (en) Image analysis method and image analysis apparatus
KR20080066486A (en) Apparatus and method for estimating motion vector
KR20160108979A (en) Method and apparatus of tracking targets
CN113870302A (en) Motion estimation method, chip, electronic device, and storage medium
KR102190297B1 (en) Method for tracking air-targets using correlation filter and system thereof
JP2017515372A (en) Motion field estimation
US9094561B1 (en) Frame interpolation and motion vector reconstruction
US8463037B2 (en) Detection of low contrast for image processing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant