KR101643672B1 - 광류 추적 방법 및 장치 - Google Patents

광류 추적 방법 및 장치 Download PDF

Info

Publication number
KR101643672B1
KR101643672B1 KR1020157002681A KR20157002681A KR101643672B1 KR 101643672 B1 KR101643672 B1 KR 101643672B1 KR 1020157002681 A KR1020157002681 A KR 1020157002681A KR 20157002681 A KR20157002681 A KR 20157002681A KR 101643672 B1 KR101643672 B1 KR 101643672B1
Authority
KR
South Korea
Prior art keywords
random structure
image
tracked
structural
blocks
Prior art date
Application number
KR1020157002681A
Other languages
English (en)
Other versions
KR20150027291A (ko
Inventor
궈시옹 옌
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20150027291A publication Critical patent/KR20150027291A/ko
Application granted granted Critical
Publication of KR101643672B1 publication Critical patent/KR101643672B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

광류 추적 방법은, 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계 - 상기 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함함-; 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계; 및 상기 랜덤 구조의 위치 오프셋에 따라 상기 물체의 타겟 위치를 추정하는 단계를 포함한다. 본 발명의 실시예에서 제공되는 광류 추적 방법 및 장치에 따르면, 이미지 내의 물체의 특징점을 취득하고, 특징점에 따라 랜덤 구조를 생성하며, 각 랜덤 구조를 추적하여 랜덤 구조의 위치 오프셋을 취득하여, 물체의 위치를 추정하므로, 추적 에러를 감소시키고 추적 정밀도를 효과적으로 향상시킨다.

Description

광류 추적 방법 및 장치 {OPTICAL FLOW TRACKING METHOD AND APPARATUS}
본 발명은 정보 기술 분야에 관한 것으로, 특히, 광류 추적 방법 및 장치에 관한 것이다.
관련 출원의 상호참조
본 출원은 2013년 8월 1일에 출원된 중국 특허출원 제201310331742.8호에 대해 우선권을 주장하여, 2014년 1월 21일에 출원된 국제출원 PCT/CN2014/071016의 계속이며, 이 두 출원의 내용 전부는 인용에 의해 본 출원에 포함된다.
비디오 감시(video surveillance) 분야에서는, 인간 얼굴, 보행자, 또는 차량의 움직임은 일반적으로 타겟 검출 및 추적 (target detection and tracking ) 기술을 사용하여 검출 및 추적된다. 또한, 비디오 압축 및 로봇 네비게이션(robot navigation) 분야에서도 타겟의 움직임 정보를 분석할 필요가 있다. 따라서, 움직임 분석의 애플리케이션 시나리오는 풍부하고 중요한 가치가 있다. 움직임 분석의 목적은 물체를 추적하기 위해, 물체의 위치 오프셋(position offset)을 얻는 것이다. 현재, 광류법(optical flow method)은 일반적으로 움직임 분석을 수행하는 데 사용되며, 이미지 내의 점(point)의 움직임 방향과 움직임 속도는 광류 계산을 사용하여 결정될 수 있다. 광류 계산 요건은, 인접한 이미지 간의 시간 간격이 매우 작고, 인접한 두 이미지 사이에서 큰 변화가 발생하지 않는 것이다.
종래 기술에서, 광류법이 타겟을 추적하기 위해 사용될 때, 먼저 이미지 내의 추적할 물체 상의 특징점(characteristic point)을 결정하고; 그 후 피라미드 광류 알고리즘(pyramid optical flow algorithm)을 사용하여 각 특징점을 하나씩 추적하고; 그 후 일정한 기준(certain criterion)을 사용하여 추적 오류(tracking error)가 있는 특징점을 배제하고; 나머지 특징점의 위치 오프셋 정보에 대한 통계를 수집하고; 위치 오프셋을 계산하여 추적할 물체의 타겟 위치를 취득한다.
그러나, 다른 추적점이 모호해지기 쉬워서, 추적 오류(tracking error) 및 낮은 추적 정밀도(tracking precision)를 초래한다.
본 발명은 계산 복잡도(calculation complexity)를 증가시키지 않으면서 타겟 추적의 정밀도 및 실시간성(real-timeness) 향상시키기 위한, 광류 추적 방법 및 장치를 제공한다.
제1 측면에 따르면, 본 발명의 실시예는 광류 추적 방법을 제공하며, 상기 광류 추적 방법은,
이미지 내의 추적할 물체에 따라 랜덤 구조(random structure)를 생성하는 단계 - 상기 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 상기 추적할 물체의 하나 이상의 특징점을 포함함 -;
광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계; 및
상기 랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하는 단계를 포함한다.
제1 측면의 제1 가능한 구현 방식에서, 상기 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계는 구체적으로,
상기 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 상기 추적할 물체가 위치하는 이미지의 기울기 이미지(gradient image)를 생성하는 단계;
상기 기울기 이미지를 스캔하여 상기 기울기 이미지의 기울기 히스토그램을 취득하고, 상기 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정하는 단계;
상기 랜덤 구조에 포함된 구조 블록의 수를 결정하고, 상기 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택하는 단계;
구조 블록 간의 거리의 범위를 설정하고, 상기 선택된 특징점의 상기 이미지에서의 위치 및 상기 구조 블록의 수에 따라, 상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하는 단계; 및
상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 상기 랜덤 구조를 생성하는 단계를 포함한다.
제1 측면의 제1 가능한 구현 방식에 따르면, 제2 가능한 구현 방식에서,
상기 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계는 구체적으로,
상기 광류 추적 알고리즘
Figure 112015010409699-pct00001
을 사용하여, 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차(displacement residual)의 합을 결정하는 단계를 포함하고, 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합은 상기 랜덤 구조의 위치 오프셋으로 사용되며;
Figure 112015010557008-pct00002
는 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
Figure 112015010557008-pct00003
는 구조 블록의 변위이고,
Figure 112015010557008-pct00004
는 상기 구조 블록의 x 방향에서의 변위이고,
Figure 112015010557008-pct00005
는 상기 구조 블록의 y방향에서의 변위이고,
Figure 112015010557008-pct00006
는 상기 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
Figure 112015010557008-pct00007
는 상기 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
Figure 112015010557008-pct00008
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수평 좌표이고,
Figure 112015010557008-pct00009
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수직 좌표이고,
Figure 112015010557008-pct00010
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치이고,
Figure 112015010557008-pct00011
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 타겟 위치이고,
Figure 112015010557008-pct00012
는 상기 랜덤 구조 내의 구조 블록의 중간점(midpoint)의 수평 좌표이고,
Figure 112015010557008-pct00013
는 상기 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
Figure 112015010557008-pct00014
는 상기 구조 블록의 수평 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00015
는 상기 구조 블록의 수직 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00016
은 상기 랜덤 구조 내의 구조 블록의 수이다.
제1 측면과, 제1 측면의 제1 및 제2 가능한 구현 방식 중 어느 하나에 따르면, 제3 가능한 구현 방식에서, 상기 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계 후에,
상기 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제2 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득하는 단계를 더 포함하고;
상기 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하는 것은 구체적으로,
상기 광류 추적 알고리즘을 사용하여, 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하는 것을 포함한다.
제1 측면의 제3 가능한 구현 방식에 따르면, 제4 가능한 구현 방식에서, 상기 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제2 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득하는 단계 후에,
정규화 상관 계수(normalized correlation coefficient, NCC)법을 사용하여, 상기 제1 에러 필터레이션을 거치는 상기 랜덤 구조 내의 모든 구조 블록에 포함된 특징점 중에서 제2 에러 특징점을 필터링하여, 제2 에러 필터레이션을 거치는 랜덤 구조를 취득하는 단계를 더 포함하고;
상기 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하는 것은 구체적으로,
상기 광류 추적 알고리즘을 사용하여, 상기 제2 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하는 것을 포함한다.
제1 측면의 제4 가능한 구현 방식에 따르면, 제5 가능한 구현 방식에서, 상기 랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하는 단계는 구체적으로,
상기 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값(median value)을 상기 추적할 물체의 위치 오프셋으로 결정하는 단계; 및
상기 추적할 물체의 위치 오프셋과 상기 추적할 물체의 초기 위치를 가산하여, 상기 추적할 물체의 타겟 위치를 취득하는 단계를 포함한다.
제2 측면에 따르면, 본 발명의 실시예는 광류 추적 장치를 제공하며, 상기 장치는,
이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하도록 구성된 랜덤 구조 생성 모듈 - 상기 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 상기 추적할 물체의 하나 이상의 특징점을 포함함 -;
광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하도록 구성된 광류 추적 모듈; 및
상기 랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하도록 구성된 위치 추정 모듈을 포함한다.
제2 측면의 제1 가능한 구현 방식에서, 상기 랜덤 구조 생성 모듈은 구체적으로, 상기 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 상기 추적할 물체가 위치하는 이미지의 기울기 이미지를 생성하고; 상기 기울기 이미지를 스캔하여 상기 기울기 이미지의 기울기 히스토그램을 취득하고, 상기 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정하고; 상기 랜덤 구조에 포함된 구조 블록의 수를 결정하고, 상기 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택하고; 구조 블록 간의 거리의 범위를 설정하고, 상기 이미지에서의 상기 선택된 특징점의 위치 및 상기 구조 블록의 수에 따라, 상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하고; 상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 상기 랜덤 구조를 생성하도록, 구성되어 있다.
제2 측면의 제1 가능한 구현 방식에 따르면, 제2 가능한 구현 방식에서,
상기 광류 추적 모듈은 구체적으로, 상기 광류 추적 알고리즘
Figure 112015010409699-pct00017
을 사용하여, 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합을 결정하도록 구성되어 있고, 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합은 상기 랜덤 구조의 위치 오프셋으로 사용되며;
Figure 112015010557008-pct00018
는 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
Figure 112015010557008-pct00019
는 구조 블록의 변위이고,
Figure 112015010557008-pct00020
는 상기 구조 블록의 x 방향에서의 변위이고,
Figure 112015010557008-pct00021
는 상기 구조 블록의 y방향에서의 변위이고,
Figure 112015010557008-pct00022
는 상기 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
Figure 112015010557008-pct00023
는 상기 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
Figure 112015010557008-pct00024
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수평 좌표이고,
Figure 112015010557008-pct00025
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수직 좌표이고,
Figure 112015010557008-pct00026
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치이고,
Figure 112015010557008-pct00027
는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 타겟 위치이고,
Figure 112015010557008-pct00028
는 상기 랜덤 구조 내의 구조 블록의 중간점의 수평 좌표이고,
Figure 112015010557008-pct00029
는 상기 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
Figure 112015010557008-pct00030
는 상기 구조 블록의 수평 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00031
는 상기 구조 블록의 수직 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00032
은 상기 랜덤 구조 내의 구조 블록의 수이다.
제2 측면과, 제2 측면의 제1 및 제2 가능한 구현 방식 중 어느 하나에 따르면, 제3 가능한 구현 방식에서, 상기 장치는 상기 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제3 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득하도록 구성된 에러 필터링 모듈을 더 포함하고, 상기 광류 추적 모듈은 구체적으로, 상기 광류 추적 알고리즘을 사용하여 상기 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하도록 구성되어 있다.
제2 측면의 제3 가능하는 구현 방식에 따르면, 제4 가능한 구현 방식에서,
상기 에러 필터링 모듈은,
정규화 상관 계수(NCC)법을 사용하여, 상기 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록에 포함된 특징점 중에서 제2 에러 특징점을 필터링하여, 제2 에러 필터레이션을 거치는 랜덤 구조를 취득하도록 더 구성되어 있고;
상기 광류 추적 모듈은 구체적으로, 상기 광류 추적 알고리즘을 사용하여, 상기 제2 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하도록 구성되어 있다.
제2 측면의 제4 가능한 구현 방식에 따르면, 제5 가능한 구현 방식에서, 상기 위치 추정 모듈은 구체적으로, 상기 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값을 상기 추적할 물체의 위치 오프셋으로 결정하고; 상기 추적할 물체의 위치 오프셋과 상기 추적할 물체의 초기 위치를 가산하여, 상기 추적할 물체의 타겟 위치를 취득하도록, 구성되어 있다.
본 발명의 실시예에서 제공되는 광류 추적 방법 및 장치에 따르면, 이미지 내의 추적할 물체의 특징점을 취득하고, 특징점에 따라 랜덤 구조를 생성하며, 각 랜덤 구조를 추적하여 랜덤 구조의 위치 오프셋을 취득하여, 추적할 물체의 위치를 추정한다. 종래기술에서 특징점을 하나씩 추적하는 방식과 비교하면, 본 발명의 실시예에서의 추적 방법에서는, 구조적인 제약을 이용함으로써 추적 에러를 감소시키고 추적 정밀도를 효과적으로 향상시킨다.
본 발명의 실시예에서의 기술적 방안을 더욱 명확하게 설명하기 위해, 이하에 본 발명의 실시예의 설명에 필요한 첨부도면을 간단하게 소개한다. 명백히, 이하의 설명에서의 첨부도면은 단지 본 발명의 일부 실시예를 보여줄 뿐이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진자(이하, 당업자라고 함)라면 여전히 창의적인 노력 없이 이들 첨부도면에 따라 다른 도면을 도출할 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 광류 추적 방법의 흐름도이다.
도 2는 본 발명의 제2 실시예에 따른 광류 추적 방법의 흐름도이다.
도 3은 본 발명의 제2 실시예에 따라 생성된 가능한 랜덤 구조의 개략도이다.
도 4는 본 발명의 제3 실시예에 따른 광류 추적 장치의 개략 구성도이다.
도 5는 본 발명의 제4 실시예에 따른 광류 추적 장치의 개략 구성도이다.
도 6은 본 발명의 제5 실시예에 따른 광류 추적 장치의 개략 구성도이다.
본 발명의 실시예의 목적, 기술적 방안, 및 이점이 더욱 분명하게 하기 위해, 이하에 본 발명의 실시예에서의 첨부도면을 참조하여 본 발명의 실시예에서의 기술적 방안을 명확하게 설명한다. 명백히, 설명된 실시예는 본 발명의 모든 실시예가 아니라 일부이다. 당업자가 본 발명의 실시예에 기초하여 창의적인 노력 없이 얻은 모든 다른 실시예는 본 발명의 보호 범위에 속한다.
도 1은 본 발명의 제1 실시예에 따른 광류 추적 방법의 흐름도이다. 본 실시예에서 제공되는 방법은, 비디오 감시 및 로봇 네비게이션 분야와 같은, 이미지 내의 물체 추적에 관련된 분야에 적용할 수 있다. 이하의 단계는 컴퓨터, PAD 및 휴대폰(mobile phone)과 같은, 이미지 처리 기능을 구비한 디바이스에 의해 실행될 수 있다. 도 1에 도시된 바와 같이, 본 실시예에서 제공되는 방법은 이하의 단계를 포함할 수 있다:
101: 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하며, 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 추적할 물체의 하나 이상의 특징점을 포함한다.
각 이미지는 복수의 로컬 영역 화소 블록으로 분할될 수 있고, 특징점은 이미지 내의 각 로컬 영역 화소 블록에 대한 설명이며, 이 설명은 구체적으로 로컬 영역 화소 블록의 위치에 대한 설명 및 로컬 영역 화소 블록의 구체적인 특징에 대한 설명을 포함한다. 위치에 대한 설명은 각 특징점의, 로컬 영역에서의 좌표로 표현될 수 있고, 로컬 영역 화소 블록의 구체적인 특징에 대한 설명은 로컬 영역 화소 블록의 다음 특징: 색상 특징, 텍스트 특징(textual characteristic), 공간 관계 특징 등 중 하나 이상을 포함할 수 있으며, 본 발명에서는 특별히 한정되는 것은 아니다. 각 랜덤 구조는 둘 이상의 구조 블록을 포함할 수 있고, 각 구조 블록은 추적할 물체의 하나 이상의 특징점을 포함한다. 각 랜덤 구조 내의 구조 블록의 선택은 랜덤하고, 특정 거리 범위 내에서 몇 개의 구조 블록이 랜덤 구조로서 선택될 수 있다. 랜럼 구조의 형상도 또한 구체적인 요건 없이 랜덤하다. 각 구조 블록에 포함된 특징점의 수는 하나로 한정되지 않으며, 서로 가까운 수 개의 특징점이 포함될 수도 있다.
102: 광류 추적 알고리즘을 사용하여 랜덤 구조 내의 모든 구조 블록을 추적하여, 랜덤 구조의 위치 오프셋을 취득한다.
이 단계에서, 랜덤 구조 내의 모든 구조 블록에 대한 광류 추적의 수행은 구체적으로,각 랜덤 구조를 전체로서 취하고, 광류 추적 방법을 사용하여 동시에 랜덤 구조 내의 복수의 구조 블록을 추적하여, 각 랜덤 구조의 위치 오프셋을 취득한다. 복수의 구조 블록이 동시에 추적되고, 이는, 단일 특징점이 추적될 때 발생하는 모호성(ambiguity)을 효과적으로 회피할 수 있고, 추적 오류를 감소시킬 수 있다.
구체적으로, 광류 추적이 수행되는 경우, 피라미드 광류 추적 알고리즘이, 이미지의 최상층(top layer)에서부터, 각 층에 대해 반복 연산을 수행하여, 최종 위치 오프셋을 취득하는 데 사용될 수 있다. 피라미드 광류 추적 알고리즘의 기본적인 개념은 다음과 같다: 먼저, 이미지 피라미드가 구성된다. 그 후, 위치 오프셋의 초기값이 영(zero)으로 설정되고, 피라미드의 최상층에서부터 최하층(bottom layer)까지 위치 오프셋에 대한 추정 및 반복이 수행되며, 최종 반복 결과가 랜덤 구조의 위치 오프셋이다.
이미지 피라미드를 구성하는 구체적인 프로세스는 다음과 같다: 피라미드의 최하층인 원본 이미지(original image)를 F=0으로 기록할 수 있으며, 원본 이미지를 원본 사이즈의 1/22N으로 다운샘플링하여 층 F=1의 이미지를 취득하고, N의 값은 일반적으로 1이며, N의 값이 너무 크면 이미지 정보의 심각한 손실이 발생한다. 따라서, 층 F=1에서의 인접 프레임 간의 타겟 화소의 움직임 거리는 D/2N이 되고, D는 원본 이미지에서의 인접한 프레임 간의 타겟 화소의 움직임 거리, 즉 특징점의 변위이다. 이 규칙에 따르면, F가 일정한 값, 일반적으로,
Figure 112015010409699-pct00033
에 도달하는 경우, 최상층에서 인접 프레임 간의 타겟 움직임 스케일(target motion scale)은 서브픽셀 레벨(sub-pixel level)이 된다. 따라서, 적용하는 동안 광류 추적 알고리즘에 의해 요구되는 작은 움직임의 제약 조건이 충족될 수 있고, 정밀한 광류 추적이 수행된다.
103: 랜덤 구조의 위치 오프셋에 따라 추적할 물체의 타겟 위치를 추정한다.
유의해야 할 것은, 본 발명에 관련된 이미지 내의 추적할 물체의 초기 위치는 이미지 추적이 수행되기 전, 즉 이미지 내의 추적할 물체의 위치가 변화하기 전의 이미지 내의 추적할 물체의 위치를 가리킨다 것이다. 타겟 위치와 초기 위치 사이의 차이 값이 위치 오프셋이다, 즉, 이미지 추적 프로세스 동안에 추적할 물체에 의해 생성된 변위가 위치 오프셋이다. 일반적으로, 이미지 추적은 프레임 단위로 수행될 수 있다, 즉 추적은 이미지의 전 프레임(former frame)에서의 추적할 물체의 위치에 대한, 이미지의 후 프레임(latter frame)에서의 추적할 물체의 위치의 변화에 대해 수행될 수 있다. 본 발명의 실시예에서, 초기 위치와 타겟 위치 둘 다는, 좌표값으로 표현될 수 있고, 또한 벡터와 같은, 다른 방식으로 표현될 수도 있으며, 본 발명에서는 이에 특히 한정되는 것은 아니다.
각 랜덤 구조의 취득된 위치 오프셋에 따라 관련 계산이 수행된다, 예를 들어, 모든 위치 오프셋의 평균값 계산 또는 모든 랜덤 구조의 위치 오프셋의 중앙값 계산을 수행하여, 추적되는 타겟 물체의 위치 오프셋을 취득한다. 그 후, 위치 오프셋을 원본 이미지에서의 추적 물체의 위치와 가산하여, 추적 물체의 타켓 위치를 취득할 수 있다.
본 발명의 실시예에서 제공되는 광류 추적 방법에 따르면, 이미지 내의 추적할 물체의 특징점을 취득하고, 특징점에 따라 랜덤 구조를 생성하며, 각 랜덤 구조를 추적하여 랜덤 구조의 위치 오프셋을 취득하여, 추적할 물체의 위치를 추정한다. 종래기술에서 특징점을 하나씩 추적하는 방식과 비교하면, 본 발명의 실시예에서의 추적 방법은, 구조적인 제약을 이용함으로써 추적 에러를 감소시키고 추적 정밀도를 효과적으로 향상시킨다.
도 2는 본 발명의 제2 실시예에 따른 광류 추적 방법의 흐름도이다. 상기 실시예에서 제공되는 방법은, 비디오 감시 및 로봇 네비게이션과 같은, 이미지 내의 물체 추적과 관련된 분야에 적용할 수 있다. 도 1 및 도 2를 참조하고, 제1 실시예에 기초하여, 본 발명의 실시예는 이하의 광류 추적 방법의 구체적인 프로세스를 제공한다:
201: 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 추적할 물체가 위치하는 이미지의 기울기 이미지를 생성한다.
구체적으로, 비디오 감시와 같은 분야에서는, 타겟 물체를 추적할 필요가 있는 경우, 먼저, 이미지 내의 추적할 물체의 초기 위치 및 크기를 취득할 필요가 있으므로, 타겟 물체를 추적하는 동안 가능한 한 정확하게 추적할 수 있어, 추적 에러를 감소시킬 수 있다. 이미지 내의 추적할 물체의 초기 위치 및 크기를 취득한 후, 그 이미지에 대해 어떤 계산을 수행하여, 추적할 물체가 위치하는 이미지의 기울기 이미지를 생성한다. 기울기는 이미지 그레이 스케일 값(grey-scale value)이 크게 변화하는 위치를 가리킨다. 이미지를 이차원 이산 함수로 보면, 이미지의 기울기는 그 이차원 이상 함수에 대해 미분을 수행하여 취득된다. 따라서, 기울기 이미지는, 이미지의 기울기가 취득된 후에 취득된 이미지를 가리킨다. 기울기 이미지는, 이미지 내의 물체의 특징을 잘 반영할 수 있다. 구체적으로, 기울기 이미지를 생성할 때, 미분은 이미지의 이차원 함수에 대해 직접 수행될 수 있거나, 선형 필터링 방법에서의 몇몇 전형적인 추정 방법, 예를 들어, 예를 들어, Sobel 연산자, Prewitt 연산자, 및 Roberts 연산자와 같은, 방법이 사용될 수 있다. 예로서 Sobel 연산자를 사용하면, 두 그룹의 3*3 매트릭스를 제공하고, 수평 및 수직 기울기 이미지를 계산하며, 취득된 수평 기울기 이미지 및 수직 기울기 이미지에 대해 콘볼루션을 수행하여, 기울기 이미지를 취득한다.
추적할 물체가 위치하는 이미지의 기울기 이미지를 생성한 후, 기울기 이미지의 추적할 물체의 영역에서의 일정한 설정값보다 큰 기울기 진폭(gradient amplitude)을 갖는 지점을 추적할 물체의 특징점으로 선택할 수 있으며, 이 특징점들은 추적할 물체의 특징을 잘 반영할 수 있다. 구체적으로, 이미지의 기울기 이미지를 생성하고, 스캔에 의해 타겟 영역 내에 있는, 기울기 진폭이 큰 지점 세트를 취득하고, 이들 지점 세트를 특징으로 사용한다. 또는, Sobel 연산자 또는 Roberts 연산자와 같은, 일부 기존의 특징 추출 알고리즘을 사용하여 이미지에 대해 에지 검출을 수행할 수도 있으며, 검출된 에지 특징점을 추적할 물체의 특징점으로 사용한다. 설정값(set value)은 구체적인 기울기 이미지에 따라 설정될 수 있으며, 다른 기울기 이미지는 다른 설정값을 가질 수 있고, 설정값을 설정하는 근거는 설정값보다 큰 지점이 추적할 물체의 특징을 잘 반영할 수 있다는 것이다. 구체적인 설정은 선행 지식(prior knowledge)에 따라 취득될 수 있거나, 기울기의 가능한 범위 내에서 값이 추정될 수도 있다. 예를 들어, 모든 기울기의 중앙값이 설정값으로 선택될 수 있다.
202: 기울기 이미지를 스캔하여 기울기 이미지의 기울기 히스토그램을 취득하고, 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정한다.
구체적으로, 생성된 기울기 이미지를 스캔할 수 있다. 예를 들어, 기울기 이미지를 3*3 템플릿(template)으로 스캔하여, 이미지의 기울기 히스토그램을 취득하고, 기울기 히스토그램에서의 평균 기울기가 제1 설정값보다 큰 특징점을 결정하고 기록한다. 3*3 템플릿은 전처리(pre-processing) 템플릿이고, 이 템플릿은, 기울기 이미지 내의 각 화소의 기울기 히스트토그램을, 통계에 의해, 취득하기 위해, 이미지 내의 각 로컬 영역의 최대 기울기 또는 평균 기울기를 계산하는 데 사용될 수 있다. 평균 기울기는 이미지의 경계 또는 해치(hatch)의 양측 근처의 그레이 스케일 차의 크기(magnitude), 즉, 그레이 스케일 변화율(gray-scale change rate)을 가리킨다. 평균 기울기는 또한, 이미지가 얼마나 선명한지를 보여 줄 수 있고 이미지 내의 미세한 부분(minute details)의 콘트라스트 및 텍스처 변화 특징(texture change characteristic)을 반영할 수 있는, 정의라고도 한다. 일반적으로, 평균 기울기가 클수록 더 선명한 이미지를 나타낸다. 예를 들어, 평균 기울기는 어느 화소와 그 화소의 인접 화소 사이의 기울기의 평균값, 예를 들어, 수평 기울기에서는, 어느 화소와 그 화소의 왼쪽 화소 사이의 기울기와 어느 화소와 그 화소의 오른쪽 화소 사이의 기울기의 평균값을 가리킬 수 있다. 유의해야 할 것은, 제1 설정값은, 추적할 물체의 특징점이 결정되는 경우에 관련된 설정값보다 작다는 것이다, 즉, 추적할 물체의 모든 추출된 특징점이 기록될 것이고, 기울기 히스토그램에서 제1 설정값보다 큰 평균 기울기를 갖는 모든 위치가 기울기 어레이에 기록 및 저장되도록 결정된다.
203: 랜덤 구조에 포함된 구조 블록의 수를 선택하고, 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택한다.
랜덤 구조는 특징점으로부터 추출될 수 있으므로, 후속 추적은 랜덤 구조 단위로 수행될 수 있고, 이에 따라 단일 특징점에 대해 추적이 수행되는 경우에 발생하는 모호성을 감소시킬 수 있다. 구체적으로, 구조 블록의 수는 랜덤하게 선택될 수 있다. 구조 블록 간의 거리 및 각 구조 블록의 크기는 구체적인 요건에 따라 미리 설정될 수 있다, 예를 들어, 랜덤 구조 내의 각 구조 블록의 크기는 [3 * 3, 12 * 12]의 범위로 한정될 수 있고, 구조 블록의 수의 범위는 (1, 4)이고, 구조 블록 간의 거리는 (1, 타켓 크기)이며; 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점이 선택된다. 일반적으로, 하나의 특징점이 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 선택될 수 있다.
204: 구조 블록 간의 거리의 범위를 설정하고 선택된 특징점의, 이미지에서의 위치 및 구조 블록의 수에 따라, 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정한다.
구체적으로, 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하고, 선택되는 구조 블록의 수, 구조 블록 간의 거리의 범위, 및 관련 위치에 따라 기울기 배열에서 이들 특징점에 대응하는 위치를 찾아낸다.
205: 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 랜덤 구조를 생성한다.
구체적으로, 각 랜덤 구조 단위로 타겟 물체를 추적하기 위해, 전술한 단계에서 취득된, 구조 블록에 대응하는 특징점에 따라 랜덤 구조를 생성한다. 도 3은 본 발명의 제2 실시예에 따라 생성된 가능한 랜덤 구조의 개략도이다. 도 3에 도시된 바와 같이, 실시예에 따라 생성된 랜덤 구조에서, 구조 블록의 크기, 구조 블록의 수, 및 구조 블록 간의 거리는, 이들이 미리 설정된 범위에 따르는 한, 특별히 한정되지 않는다.
또한 구체적으로,
206: 광류 추적 알고리즘
Figure 112015010409699-pct00034
(1)
을 사용하여, 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합을 결정하고, 여기서 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합은 랜덤 구조의 위치 오프셋으로 사용된다.
Figure 112015010557008-pct00035
는 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
Figure 112015010557008-pct00036
는 구조 블록의 변위이고,
Figure 112015010557008-pct00037
는 구조 블록의 x 방향에서의 변위이고,
Figure 112015010557008-pct00038
는 구조 블록의 y방향에서의 변위이고,
Figure 112015010557008-pct00039
는 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
Figure 112015010557008-pct00040
는 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
Figure 112015010557008-pct00041
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치의 수평 좌표이고,
Figure 112015010557008-pct00042
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치의 수직 좌표이고,
Figure 112015010557008-pct00043
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치이고,
Figure 112015010557008-pct00044
는 랜덤 구조에 포함된 특징점의, 이미지에서의 타겟 위치이고,
Figure 112015010557008-pct00045
는 랜덤 구조 내의 구조 블록의 중간점의 수평 좌표이고,
Figure 112015010557008-pct00046
는 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
Figure 112015010557008-pct00047
는 구조 블록의 수평 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00048
는 구조 블록의 수직 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00049
은 랜덤 구조 내의 구조 블록의 수이다.
구체적으로, 단계 206에서 취득된 랜덤 구조의 추적은 랜덤 구조의 단위로 각 랜덤 구조에 대해 피라미드 광류 추적을 수행하는 것이다. 구체적으로, 피라미드 광류 추적 알고리즘을 사용하여 각 랜덤 구조를 추적하는 경우, 식 (1)에 따라 최상층에서 최하층까지 피라미드의 각 층에 대해 반복을 수행하여, 최종적으로 각 랜덤 구조의 변위를 취득한다. 구체적인 계산 시에,
Figure 112015010409699-pct00050
는 최소일 필요가 있다, 즉,
Figure 112015010409699-pct00051
는 최소일 필요가 있다.
Figure 112015010409699-pct00052
로 가정하면, 식 (1)을 영(zero)으로 만들 수 있다, 즉,
Figure 112015010409699-pct00053
(2)
그러면, 식 (2)를 참(true)으로 만드는 변위 값이 취득된다. 구체적으로, 식 (2)에 대해 미분을 수행하여, 다음을 구할 수 있다:
Figure 112015010409699-pct00054
(3), 여기서, G와
Figure 112015010409699-pct00055
는 각각:
Figure 112015010409699-pct00056
와
Figure 112015010409699-pct00057
이고;
여기서
Figure 112015010557008-pct00058
와
Figure 112015010557008-pct00059
는 각각 제n 구조 블록 내의 어떤 특징점의 x 방향에서의 기울기 및 y 방향에서의 기울기이고,
Figure 112015010557008-pct00060
는 원본 이미지(orginal image) 및 추적할 이미지에서의 구조 블록 내의 그 특정 특징점의 변위를 나타내고,
Figure 112015010557008-pct00061
는 랜덤 구조 내의 구조 블록의 중간점의 수평 좌표이고,
Figure 112015010557008-pct00062
는 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
Figure 112015010557008-pct00063
는 구조 블록의 수평 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00064
는 구조 블록의 수직 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00065
은 랜덤 구조 내의 구조 블록의 수이고,
Figure 112015010557008-pct00066
.
추가적인 계산에 의해, 이하의 것이 취득된다:
Figure 112015010409699-pct00067
(4)
전술한 실시예에서는, 추적할 물체에 따라 다양한 랜덤 구조를 생성하고, 피라미드 광류 추적 알고리즘을 사용하여 추적할 물체를 각 랜덤 구조 단위로 추적하므로, 추적 프로세스에서 모호성을 회피하고 추적 정밀도를 효과적으로 향상시킨다.
유의해야 할 것은, 전술한 실시예를 기초로, 단계 205 후에 다음 연산(operation)이 실행될 수 있다는 것이다.
제1 에러 필터레이션을 거치는 랜덤 구조를 취득하기 위해, 랜덤 구조 내의 모든 구조 블록에 포함되어 있는, 제2 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링한다. 이에 상응하여, 단계 206에서는, 광류 추적 알고리즘을 사용하여 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적할 수 있다.
선택적으로, 단계 206에서의 설명으로부터, 피라미드 광류 추적 알고리즘을 사용하여 랜덤 구조를 추적하는 것은 반복 프로세스와 관련 있기 때문에 반복 프로세스 동안에 발생하는 에러에 대한 통계를 수집할 수 있다는 것을, 알 수 있을 것이다. 추적 프로세스 동안에 발생하는 특정 랜덤 구조 블록의 에러가 제2 설정값보다 큰 경우, 랜덤 구조 블록이 추적 에러를 만난 것으로 생각될 수 있다. 이 경우에, 랜덤 구조에 포함된 특징점을 표시할 수 있으며, 이러한 특징점을 포함하는 랜덤 구조는 더 이상 추적되지 않는다. 피라미드 광류 추적 알고리즘의 프로세스 동안에, 에러가 제2 설정값보다 큰 랜덤 구조를 계속하여 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득한다. 제2 설정값은 랜덤 구조의 추적 프로세스 동안에 발생하는 추적 에러에 대해 설정된 에러 값이고, 반복 시의 수렴 조건에 대해 설정된 값일 수 있다. 예를 들어, 반복이 일정한 횟수 수행된 후, 변위값의 수렴값이 특정 값보다 크면, 추적 에러가 발생한 것으로 생각될 수 있다. 이 경우에, 그 구체적인 값이 제2 설정값이다.
또한, 제1 에러 필터레이션을 거치는 랜덤 구조의 취득에 기초하여, 연산이 더 실행될 수 있다: 정규화 상관 계수(NCC)법을 사용하여, 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록에 포함된 특징점 중에서 제2 에러 특징점을 필터링하여, 제2 에러 필터레이션을 거치는 랜덤 구조를 취득한다. 이에 상응하여, 단계 206에서는, 광류 추적 알고리즘을 사용하여 제2 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적할 수 있다.
선택적으로, 피라미드 광류 추적 알고리즘을 사용하여 계산을 완료한 후, 정규화 상관 계수(normalized correlation coefficient, 약칭하여 NCC) 또는 다른 에러 측정 방법을 사용하여, 제1 에러 필터레이션을 거치는 취득된 랜덤 구조 내의 모든 구조 블록에 포함된 특징점 중에 있는, 큰 에러를 갖는 특징점을 필터링할 수 있다. 예를 들어, 에러 추적점(tracking point)은 특징점의 색상 또는 밝기와 같은, 특징에 따라 결정되고 필터링될 수 있다, 즉 2 에러 특징점을 필터링하여, 제2 에러 필터레이션을 거치는 랜덤 구조를 취득한다. NCC법은 구체적으로, 구조 블록의 각 세트에 대해 NCC 상관 계수, 즉, 영역 정규화 후에 취득된 에러 계수를 계산하는 것일 수 있다. 계산에 의해 모든 NCC 상관 계수를 취득한 후, 평균값을 취득하는 방법과 같은, 통계 분석에 기초하여, 에러가 평균값보다 큰 NCC 계수에 대응하는 구조 블록을 필터링한다.
207: 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값을 추적할 물체의 위치 오프셋으로 결정한다.
208: 추적할 물체의 위치 오프셋과 추적할 물체의 초기 위치를 가산하여, 추적할 물체의 타겟 위치를 취득한다.
구체적으로, 랜덤 구조의 위치 오프셋에 대해 통합 계산(integrated calculation)이 수행될 수 있다. 예를 들어, 위치 오프셋의 평균값 또는 중앙값을 취득할 수 있으며, 그 평균값 또는 중앙값을 추적할 물체의 위치 오프셋으로 사용한다.
또한, 추적할 물체의 변위를 취득한 후, 추적할 물체의 위치 오프셋을 추적할 물체의 초기 위치에 또한 가산할 수 있으며, 위치 오프셋과 초기 위치의 합이 추적할 물체의 타겟 위치인 것으로 결정된다. 유의해야 할 것은, 위치 오프셋과 초기 위치는 벡터 또는 좌표로 표현될 수 있고, 위치 오프셋과 초기 위치의 덧셈 연산은 일반적인 의미에서의 수치(figure)의 가산이 아닌 벡터 연산이라는 것이다.
본 발명의 실시예에서 제공되는 광류 추적 방법에 따르면, 이미지 내의 추적할 물체의 특징점을 취득하고, 특징점에 따라 랜덤 구조를 생성하며, 각 랜덤 구조를 추적하여 랜덤 구조의 위치 오프셋을 취득하여, 추적할 물체의 위치를 추정하고, 추적할 물체의 위치 오프셋을 추적할 물체의 초기 위치와 가산하여, 추적할 물체의 타켓 위치를 취득하므로, 추적 에러를 감소시키고 추적 정밀도를 효과적으로 향상시킨다.
도 4는 본 발명의 제3 실시예 따른 광류 추적 장치의 개략 구성도이다. 도 4에 도시된 바와 같이, 본 발명의 실시예에서 제공된 광류 추적 장치는,
이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하도록 구성된 랜덤 구조 생성 모듈(401) - 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 상기 추적할 물체의 하나 이상의 특징점을 포함함 -;
광류 추적 알고리즘을 사용하여 랜덤 구조 내의 모든 구조 블록을 추적하여, 랜덤 구조의 위치 오프셋을 취득하도록 구성된 광류 추적 모듈(402); 및
랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하도록 구성된 위치 추정 모듈(403)을 포함한다.
선택적으로, 랜덤 구조 생성 모듈(401)은 구체적으로, 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 추적할 물체가 위치하는 이미지의 기울기 이미지를 생성하고; 기울기 이미지를 스캔하여 기울기 이미지의 기울기 히스토그램을 취득하고, 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정하고; 랜덤 구조에 포함된 구조 블록의 수를 결정하고, 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택하고; 구조 블록 간의 거리의 범위를 설정하고 선택된 특징점의, 이미지에서의 위치 및 구조 블록의 수에 따라, 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하고; 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 랜덤 구조를 생성하도록, 구성될 수 있다.
선택적으로, 광류 추적 모듈(402)은 구체적으로, 광류 추적 알고리즘
Figure 112015010409699-pct00068
을 사용하여, 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합을 결정하도록 구성될 수 있고, 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합은 상기 랜덤 구조의 위치 오프셋으로 사용되며;
Figure 112015010557008-pct00069
는 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
Figure 112015010557008-pct00070
는 구조 블록의 변위이고,
Figure 112015010557008-pct00071
는 구조 블록의 x 방향에서의 변위이고,
Figure 112015010557008-pct00072
는 구조 블록의 y방향에서의 변위이고,
Figure 112015010557008-pct00073
는 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
Figure 112015010557008-pct00074
는 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
Figure 112015010557008-pct00075
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치의 수평 좌표이고,
Figure 112015010557008-pct00076
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치의 수직 좌표이고,
Figure 112015010557008-pct00077
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치이고,
Figure 112015010557008-pct00078
는 랜덤 구조에 포함된 특징점의, 이미지에서의 타겟 위치이고,
Figure 112015010557008-pct00079
는 랜덤 구조 내의 구조 블록의 중간점의 수평 좌표이고,
Figure 112015010557008-pct00080
는 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
Figure 112015010557008-pct00081
는 구조 블록의 수평 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00082
는 구조 블록의 수직 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00083
은 랜덤 구조 내의 구조 블록의 수이다.
도 5는 본 발명의 제4 실시예에 따른 광류 추적 장치의 개략 구성도이다. 선택적으로, 도 4에 도시된 실시예를 기초로, 이 광류 추적 장치는, 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제3 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득하도록 구성된 에러 필터링 모듈(404)을 더 포함하고;
이에 상응하여, 광류 추적 모듈(402)은 구체적으로, 광류 추적 알고리즘을 사용하여, 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하도록 구성될 수 있다.
선택적으로, 에러 필터링 모듈(404)은, 정규화 상관 계수(NCC)법을 사용하여, 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록에 포함된 특징점 중에서 제2 에러 특징점을 필터링하여, 제2 에러 필터레이션을 거치는 랜덤 구조를 취득하도록 더 구성되어 있고;
이에 상응하여, 광류 추적 모듈(402)은 구체적으로, 광류 추적 알고리즘을 사용하여, 제2 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하도록 구성될 수 있다.
선택적으로, 위치 추정 모듈(403)은 구체적으로, 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값을 추적할 물체의 위치 오프셋으로 결정하고; 추적할 물체의 위치 오프셋과 추적할 물체의 초기 위치를 가산하여, 추적할 물체의 타겟 위치를 취득하도록, 구성될 수 있다. 유의해야 할 것은, 위치 오프셋과 초기 위치는 벡터 또는 좌표로 표현될 수 있고, 위치 오프셋과 초기 위치의 덧셈 연산은 일반적인 의미에서 수치의 가산이 아니라 벡터 연산이라는 것이다.
본 실시예에서 제공되는 광류 추적 장치는 전술한 방법 실시예 중 어느 하나의 기술적 방안을 구현하도록 구성될 수 있다. 광류 추적 장치에 포함된 기능 모듈의 구체적인 구현 원리에 대해서는, 전술한 방법 실시예를 참조할 수 있으므로, 자세한 것은 여기서 반복 설명하지 않는다.
본 발명의 실시예에서 제공되는 광류 추적 장치에 따르면, 이미지 내의 추적할 물체의 특징점을 취득하고, 특징점에 따라 랜덤 구조를 생성하며, 각 랜덤 구조를 추적하여 랜덤 구조의 위치 오프셋을 취득하여, 추적할 물체의 위치를 추정한다. 종래기술에서 특징점을 하나씩 추적하는 방식과 비교하면, 본 발명의 실시예에서의 추적 방법에서는, 구조적인 제약을 이용함으로써 추적 에러를 감소시키고 추적 정밀도를 효과적으로 향상시킨다.
도 6은 본 발명의 제5 실시예에 따른 광류 추적 장치의 개략 구성도이다. 도 6에 도시된 바와 같이, 광류 추적 장치는, 메모리(601)와, 메모리(601)와 통신하는 프로세서(602)를 포함하며, 메모리(601)는 프로그램 코드 세트를 저장하고, 프로세서(602)는 메모리(601)에 저장된 프로그램 코드를 호출하여, 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계 - 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 추적할 물체의 하나 이상의 특징점을 포함함 -; 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계; 및 랜덤 구조의 위치 오프셋에 따라 추적할 물체의 타겟 위치를 추정하는 단계를 포함하는, 방법을 수행하도록 구성되어 있다.
선택적으로, 프로세서(602)는 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계를 실행하며, 이 단계는 구체적으로, 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 추적할 물체가 위치하는 이미지의 기울기 이미지를 생성하는 단계; 기울기 이미지를 스캔하여 기울기 이미지의 기울기 히스토그램을 취득하고, 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정하는 단계; 랜덤 구조에 포함된 구조 블록의 수를 결정하고, 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택하는 단계; 구조 블록 간의 거리의 범위를 설정하고, 선택된 특징점의, 이미지에서의 위치 및 선택되는 구조 블록의 수에 따라, 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하는 단계; 및 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 상기 랜덤 구조를 생성하는 단계일 수 있다.
선택적으로, 프로세서(602)는 광류 추적 알고리즘을 사용하여 랜덤 구조 내의 모든 구조 블록을 추적하여, 랜덤 구조의 위치 오프셋을 취득하는 단계를 실행하며, 이 단계는 구체적으로,
광류 추적 알고리즘
Figure 112015010409699-pct00084
을 사용하여, 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합을 결정하는 단계일 수 있고, 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합은 랜덤 구조의 위치 오프셋으로 사용되며;
Figure 112015010557008-pct00085
는 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
Figure 112015010557008-pct00086
는 구조 블록의 변위이고,
Figure 112015010557008-pct00087
는 구조 블록의 x 방향에서의 변위이고,
Figure 112015010557008-pct00088
는 구조 블록의 y방향에서의 변위이고,
Figure 112015010557008-pct00089
는 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
Figure 112015010557008-pct00090
는 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
Figure 112015010557008-pct00091
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치의 수평 좌표이고,
Figure 112015010557008-pct00092
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치의 수직 좌표이고,
Figure 112015010557008-pct00093
는 랜덤 구조에 포함된 특징점의, 이미지에서의 초기 위치이고,
Figure 112015010557008-pct00094
는 랜덤 구조에 포함된 특징점의, 이미지에서의 타겟 위치이고,
Figure 112015010557008-pct00095
는 랜덤 구조 내의 구조 블록의 중간점의 수평 좌표이고,
Figure 112015010557008-pct00096
는 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
Figure 112015010557008-pct00097
는 구조 블록의 수평 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00098
는 구조 블록의 수직 좌표의 중간점에서 구조 블록의 에지까지의 거리 내의 화소 수이고,
Figure 112015010557008-pct00099
은 랜덤 구조 내의 구조 블록의 수이다.
선택적으로, 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계를 실행한 후에, 프로세서(602)는 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제2 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득하는 단계를 더 실행할 수 있다.
이에 상응하여, 프로세서(602)는 광류 추적 알고리즘을 사용하여 랜덤 구조 내의 모든 구조 블록의 추적을 실행하며, 구체적으로는 광류 추적 알고리즘을 사용하여, 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하는 것을 포함한다.
선택적으로, 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제2 설정값을 초과하는 에러를 가지는 제1 에러 특징점을 필터링하여, 제1 에러 필터레이션을 거치는 랜덤 구조를 취득하는 단계를 실행한 후, 프로세서(602)는 정규화 상관 계수(NCC)법을 사용하여, 제1 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록에 포함된 특징점 중에서 제2 에러 특징점을 필터링하여, 제2 에러 필터레이션을 거치는 랜덤 구조를 취득하는 단계를 더 실행할 수 있다.
이에 상응하여, 프로세서(602)는, 광류 추적 알고리즘을 사용하여 랜덤 구조 내의 모든 구조 블록의 추적을 실행하며, 이는 구체적으로 광류 추적 알고리즘을 사용하여, 제2 에러 필터레이션을 거치는 랜덤 구조 내의 모든 구조 블록을 추적하는 것을 포함한다. 선택적으로, 프로세서(602)는 랜덤 구조의 위치 오프셋에 따라 추적할 물체의 타겟 위치를 추정하는 단계를 실행하며, 이 단계는 구체적으로, 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값을 추적할 물체의 위치 오프셋으로 결정하는 단계; 및 추적할 물체의 위치 오프셋과 추적할 물체의 초기 위치를 가산하여, 추적할 물체의 타겟 위치를 취득하는 단계이다.
유의할 것은, 실시예서 제공되는 광류 추적 장치는 구체적으로 PC, PAD 또는 휴대폰과 같은 다양한 단말 디바이스일 수 있다는 것이다. 프로세서는 구체적으로, 중앙 처리 유닛(Central Processing Unit, CPU), 그래픽 처리 유닛(Graphic Processing Unit, GPU), 또는 디지털 신호 처리기((Digital Signal Processor, DSP))와 같은, 데이터 처리 기능을 구비한 디바이스일 수 있다.
실시예에서 제공되는 광류 추적 장치는 전술한 방법 실시예 중 어느 하나의 기술적 방안을 실행하도록 구성될 수 있으며, 구현 원리 및 기술적 효과는 마찬가지이므로, 자세한 것은 여기서 반복 설명하지 않는다.
당업자는 방법 실시예의 단계 중 일부 또는 전부를 관련 하드웨어에 명령하는 프로그램으로 구현할 수 있다는 것을 이해할 수 있을 것이다. 상기 프로그램은 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있다. 프로그램을 실행할 때, 방법 실시예의 단계가 수행된다. 상기 저장 매체로는 ROM, RAM, 자기 디스크, 또는 광 디스크와 같은, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
끝으로, 이상의 실시예는 단지 본 발명의 기술적 방안을 설명하기 위한 것일 뿐이며, 본 발명을 한정하는 것은 아니라는 것에 유의하기 바란다. 이상의 실시예를 참조하여 본 발명을 자세하게 설명하였지만, 당업자는, 본 발명의 실시예의 기술적 방안의 범위를 벗어나지 않으면서, 전술한 실시예에서 설명한 기술적 방안에 대한 수정 또는 그 기술적 특징의 일부 또는 전부에 대한 동등물의 대체가 이루어질 수 있음을 이해하여야 한다.

Claims (12)

  1. 이미지 내의 추적할 물체에 따라 랜덤 구조(random structure)를 생성하는 단계 - 상기 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 상기 추적할 물체의 하나 이상의 특징점을 포함함 -;
    광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계; 및
    상기 랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하는 단계
    를 포함하고,
    상기 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계는,
    상기 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 상기 이미지의 기울기 이미지(gradient image)를 생성하는 단계;
    상기 기울기 이미지를 스캔하여 상기 기울기 이미지의 기울기 히스토그램을 취득하고, 상기 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정하는 단계;
    상기 랜덤 구조에 포함된 구조 블록의 수를 결정하고, 상기 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택하는 단계;
    구조 블록 간의 거리의 범위를 설정하고 상기 선택된 특징점의 상기 이미지에서의 위치 및 상기 구조 블록의 수에 따라, 상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하는 단계; 및
    상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 상기 랜덤 구조를 생성하는 단계
    를 포함하는, 광류 추적 방법.
  2. 제1항에 있어서,
    상기 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계는,
    상기 광류 추적 알고리즘
    Figure 112016019725353-pct00138
    을 사용하여, 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차(displacement residual)의 합을 상기 랜덤 구조의 위치 오프셋으로 결정하는 단계를 포함하고;
    Figure 112016019725353-pct00139
    는 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
    Figure 112016019725353-pct00140
    는 구조 블록의 변위이고,
    Figure 112016019725353-pct00141
    는 상기 구조 블록의 x 방향에서의 변위이고,
    Figure 112016019725353-pct00142
    는 상기 구조 블록의 y방향에서의 변위이고,
    Figure 112016019725353-pct00143
    는 상기 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
    Figure 112016019725353-pct00144
    는 상기 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
    Figure 112016019725353-pct00145
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수평 좌표이고,
    Figure 112016019725353-pct00146
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수직 좌표이고,
    Figure 112016019725353-pct00147
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치이고,
    Figure 112016019725353-pct00148
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 타겟 위치이고,
    Figure 112016019725353-pct00149
    는 상기 랜덤 구조 내의 구조 블록의 중간점(midpoint)의 수평 좌표이고,
    Figure 112016019725353-pct00150
    는 상기 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
    Figure 112016019725353-pct00151
    는 상기 구조 블록의 수평 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
    Figure 112016019725353-pct00152
    는 상기 구조 블록의 수직 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
    Figure 112016019725353-pct00153
    은 상기 랜덤 구조 내의 구조 블록의 수인, 광류 추적 방법.
  3. 제2항에 있어서,
    상기 이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계 후에,
    상기 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제2 설정값을 초과하는 에러를 가지는 특징점을 필터링하여, 제1 에러 필터레이션을 거친 랜덤 구조를 취득하는 단계를 더 포함하고;
    상기 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하는 것은,
    상기 광류 추적 알고리즘을 사용하여 상기 제1 에러 필터레이션을 거친 랜덤 구조 내의 모든 구조 블록을 추적하는 것을 포함하는, 광류 추적 방법.
  4. 제3항에 있어서,
    상기 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제2 설정값을 초과하는 에러를 가지는 특징점을 필터링하여, 제1 에러 필터레이션을 거친 랜덤 구조를 취득하는 단계 후에,
    상기 제1 에러 필터레이션을 거친 랜덤 구조 내의 모든 구조 블록에 포함된 특징점의 색상 또는 밝기에 따라, 에러 추적점을 필터링하여, 제2 에러 필터레이션을 거친 랜덤 구조를 취득하는 단계를 더 포함하고;
    상기 광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하는 것은,
    상기 광류 추적 알고리즘을 사용하여, 상기 제1 에러 필터레이션 및 상기 제2 에러 필터레이션을 거친 랜덤 구조 내의 모든 구조 블록을 추적하는 것을 포함하는, 광류 추적 방법.
  5. 제1항에 있어서,
    상기 랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하는 단계는,
    상기 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값(median value)을 상기 추적할 물체의 위치 오프셋으로 결정하는 단계; 및
    상기 추적할 물체의 위치 오프셋과 상기 추적할 물체의 초기 위치를 가산하여, 상기 추적할 물체의 타겟 위치를 취득하는 단계를 포함하는, 광류 추적 방법.
  6. 프로그램 코드의 세트를 저장하는 메모리, 및 프로세서를 포함하는 광류 추적 장치로서,
    상기 프로세서는,
    이미지 내의 추적할 물체에 따라 랜덤 구조를 생성하는 단계 - 상기 랜덤 구조는 고정된 상대 위치를 갖는 둘 이상의 구조 블록을 포함하고, 각각의 구조 블록은 상기 추적할 물체의 하나 이상의 특징점을 포함함 -;
    광류 추적 알고리즘을 사용하여 상기 랜덤 구조 내의 모든 구조 블록을 추적하여, 상기 랜덤 구조의 위치 오프셋을 취득하는 단계; 및
    상기 랜덤 구조의 위치 오프셋에 따라 상기 추적할 물체의 타겟 위치를 추정하는 단계
    를 실행하기 위해, 상기 메모리에 저장된 상기 프로그램 코드의 세트를 호출하도록 구성되어 있고,
    상기 프로세서는,
    상기 이미지 내의 추적할 물체의 초기 위치 및 크기에 따라, 상기 이미지의 기울기 이미지를 생성하는 단계;
    상기 기울기 이미지를 스캔하여 상기 기울기 이미지의 기울기 히스토그램을 취득하고, 상기 기울기 히스토그램에 따라, 제1 설정값보다 큰 평균 기울기를 갖는 특징점을 결정하는 단계;
    상기 랜덤 구조에 포함된 구조 블록의 수를 결정하고, 상기 제1 설정값보다 큰 평균 기울기를 갖는 특징점 중에서 하나 이상의 특징점을 선택하는 단계;
    구조 블록 간의 거리의 범위를 설정하고 상기 선택된 특징점의 상기 이미지에서의 위치 및 상기 구조 블록의 수에 따라, 상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점을 결정하는 단계; 및
    상기 랜덤 구조 내의 모든 구조 블록에 대응하는 특징점에 따라 상기 랜덤 구조를 생성하는 단계
    를 실행하도록 더 구성되어 있는, 광류 추적 장치.
  7. 제6항에 있어서,
    상기 프로세서는, 광류 추적 알고리즘
    Figure 112016019725353-pct00154
    을 사용하여, 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합을 상기 랜덤 구조의 위치 오프셋으로 결정하는 단계를 실행하도록 더 구성되어 있고;
    Figure 112016019725353-pct00155
    는 상기 랜덤 구조 내의 모든 구조 블록의 변위 잔차의 합이고,
    Figure 112016019725353-pct00156
    는 구조 블록의 변위이고,
    Figure 112016019725353-pct00157
    는 상기 구조 블록의 x 방향에서의 변위이고,
    Figure 112016019725353-pct00158
    는 상기 구조 블록의 y방향에서의 변위이고,
    Figure 112016019725353-pct00159
    는 상기 랜덤 구조에 포함된 특징점의 x 방향에서의 변위이고,
    Figure 112016019725353-pct00160
    는 상기 랜덤 구조에 포함된 특징점의 y 방향에서의 변위이고,
    Figure 112016019725353-pct00161
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수평 좌표이고,
    Figure 112016019725353-pct00162
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치의 수직 좌표이고,
    Figure 112016019725353-pct00163
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 초기 위치이고,
    Figure 112016019725353-pct00164
    는 상기 랜덤 구조에 포함된 특징점의 상기 이미지에서의 타겟 위치이고,
    Figure 112016019725353-pct00165
    는 상기 랜덤 구조 내의 구조 블록의 중간점의 수평 좌표이고,
    Figure 112016019725353-pct00166
    는 상기 랜덤 구조 내의 구조 블록의 중간점의 수직 좌표이고,
    Figure 112016019725353-pct00167
    는 상기 구조 블록의 수평 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
    Figure 112016019725353-pct00168
    는 상기 구조 블록의 수직 좌표의 중간점에서 상기 구조 블록의 에지까지의 거리 내의 화소 수이고,
    Figure 112016019725353-pct00169
    은 상기 랜덤 구조 내의 구조 블록의 수인, 광류 추적 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 랜덤 구조 내의 모든 구조 블록에 포함되어 있고 제3 설정값을 초과하는 에러를 가지는 특징점을 필터링하여, 제1 에러 필터레이션을 거친 랜덤 구조를 취득하는 단계; 및
    상기 광류 추적 알고리즘을 사용하여, 상기 제1 에러 필터레이션을 거친 랜덤 구조 내의 모든 구조 블록을 추적하는 단계를 실행하도록 더 구성되어 있는, 광류 추적 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 에러 필터레이션을 거친 랜덤 구조 내의 모든 구조 블록에 포함된 특징점의 색상 또는 밝기에 따라, 에러 추적점을 필터링하여, 제2 에러 필터레이션을 거친 랜덤 구조를 취득하는 단계; 및
    상기 광류 추적 알고리즘을 사용하여, 상기 제1 에러 필터레이션 및 상기 제2 에러 필터레이션을 거친 랜덤 구조 내의 모든 구조 블록을 추적하는 단계를 실행하도록 더 구성되어 있는, 광류 추적 장치.
  10. 제6항에 있어서,
    상기 프로세서는,
    상기 랜덤 구조의 위치 오프셋의 평균값 또는 중앙값을 상기 추적할 물체의 위치 오프셋으로 결정하는 단계; 및
    상기 추적할 물체의 위치 오프셋과 상기 추적할 물체의 초기 위치를 가산하여, 상기 추적할 물체의 타겟 위치를 취득하는 단계를 실행하도록 더 구성되어 있는, 광류 추적 장치.
  11. 삭제
  12. 삭제
KR1020157002681A 2013-08-01 2014-01-21 광류 추적 방법 및 장치 KR101643672B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310331742.8 2013-08-01
CN201310331742.8A CN103426184B (zh) 2013-08-01 2013-08-01 一种光流跟踪方法和装置
PCT/CN2014/071016 WO2015014111A1 (zh) 2013-08-01 2014-01-21 一种光流跟踪方法和装置

Publications (2)

Publication Number Publication Date
KR20150027291A KR20150027291A (ko) 2015-03-11
KR101643672B1 true KR101643672B1 (ko) 2016-07-28

Family

ID=49650874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002681A KR101643672B1 (ko) 2013-08-01 2014-01-21 광류 추적 방법 및 장치

Country Status (6)

Country Link
US (1) US9536147B2 (ko)
EP (1) EP2860696A4 (ko)
KR (1) KR101643672B1 (ko)
CN (1) CN103426184B (ko)
TW (1) TWI520078B (ko)
WO (1) WO2015014111A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186983B1 (ko) * 2019-09-17 2020-12-04 한성대학교 산학협력단 사용자 영상 단말의 이동거리 측정 방법 및 장치
KR20210002578A (ko) * 2018-04-24 2021-01-08 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426184B (zh) 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及***
US10586102B2 (en) 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
CN105261042A (zh) * 2015-10-19 2016-01-20 华为技术有限公司 光流估计的方法及装置
CN106204484B (zh) * 2016-07-11 2020-07-24 徐州工程学院 一种基于光流和局部不变特征的交通目标跟踪方法
CN106251317B (zh) * 2016-09-13 2018-12-18 野拾（北京）电子商务有限公司 空间摄影防抖处理方法及装置
CN106875419B (zh) * 2016-12-29 2020-03-17 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
US10482609B2 (en) 2017-04-04 2019-11-19 General Electric Company Optical flow determination system
CN108476321A (zh) * 2017-04-26 2018-08-31 深圳市大疆创新科技有限公司 图像处理方法和设备
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
WO2019000396A1 (zh) * 2017-06-30 2019-01-03 深圳市大疆创新科技有限公司 光流跟踪装置和方法
CN109214245B (zh) * 2017-07-03 2022-02-18 株式会社理光 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN109063545B (zh) * 2018-06-13 2021-11-12 五邑大学 一种疲劳驾驶检测方法及装置
CN112784652A (zh) * 2019-11-11 2021-05-11 中强光电股份有限公司 图像识别方法及装置
CN111402292B (zh) * 2020-03-10 2023-04-07 南昌航空大学 基于特征变形误差遮挡检测的图像序列光流计算方法
CN112991386A (zh) * 2021-02-20 2021-06-18 浙江欣奕华智能科技有限公司 光流跟踪装置
CN113033552B (zh) * 2021-03-19 2024-02-02 北京字跳网络技术有限公司 文本识别方法、装置和电子设备
US11640668B2 (en) * 2021-06-10 2023-05-02 Qualcomm Incorporated Volumetric sampling with correlative characterization for dense estimation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040064036A1 (en) * 2002-09-26 2004-04-01 Zuhua Mao Methods and systems for motion tracking

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081820B2 (en) * 2003-07-22 2011-12-20 Cognex Technology And Investment Corporation Method for partitioning a pattern into optimized sub-patterns
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
US8229164B2 (en) * 2006-07-10 2012-07-24 Synthesis Corporation Pedestrian tracking method and pedestrian tracking device
WO2008099399A2 (en) * 2007-02-14 2008-08-21 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
JP4955616B2 (ja) * 2008-06-27 2012-06-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
CN101923717B (zh) 2009-06-10 2012-09-05 新奥特（北京）视频技术有限公司 一种对快速运动目标的特征点准确跟踪的方法
CN101923719B (zh) * 2009-06-12 2013-03-06 新奥特（北京）视频技术有限公司 一种基于粒子滤波和光流矢量的视频目标跟踪方法
CN101714256B (zh) * 2009-11-13 2011-12-14 河北工业大学 基于全方位视觉的动态目标识别和定位方法
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
CN101789125B (zh) * 2010-01-26 2013-10-30 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN102609708B (zh) * 2012-01-15 2014-04-09 北京工业大学 一种计算杠铃中心点平移矢量和旋转参数的方法
CN102800106A (zh) * 2012-06-29 2012-11-28 刘怡光 基于光流场估计的自适应均值漂移目标跟踪方法
CN103426184B (zh) * 2013-08-01 2016-08-10 华为技术有限公司 一种光流跟踪方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040064036A1 (en) * 2002-09-26 2004-04-01 Zuhua Mao Methods and systems for motion tracking

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210002578A (ko) * 2018-04-24 2021-01-08 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현
KR102545642B1 (ko) 2018-04-24 2023-06-21 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현
KR20230093076A (ko) * 2018-04-24 2023-06-26 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현
US11783448B2 (en) 2018-04-24 2023-10-10 Snap Inc. Efficient parallel optical flow algorithm and GPU implementation
KR102655540B1 (ko) 2018-04-24 2024-04-09 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현
KR102186983B1 (ko) * 2019-09-17 2020-12-04 한성대학교 산학협력단 사용자 영상 단말의 이동거리 측정 방법 및 장치

Also Published As

Publication number Publication date
EP2860696A1 (en) 2015-04-15
EP2860696A4 (en) 2015-08-05
TWI520078B (zh) 2016-02-01
US9536147B2 (en) 2017-01-03
CN103426184A (zh) 2013-12-04
AU2014285593A8 (en) 2016-09-29
TW201514867A (zh) 2015-04-16
CN103426184B (zh) 2016-08-10
AU2014285593A1 (en) 2015-02-19
WO2015014111A1 (zh) 2015-02-05
AU2014285593B2 (en) 2016-05-19
US20150154450A1 (en) 2015-06-04
KR20150027291A (ko) 2015-03-11

Similar Documents

Publication Publication Date Title
KR101643672B1 (ko) 광류 추적 방법 및 장치
Yang et al. Color-guided depth recovery from RGB-D data using an adaptive autoregressive model
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
US8396285B2 (en) Estimating vanishing points in images
KR20140027468A (ko) 깊이 측정치 품질 향상
JP2016508652A (ja) 画像シーケンスにおける物体のオクルージョンの決定
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
KR101051389B1 (ko) 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
US9183634B2 (en) Image processing apparatus and image processing method
JP2002024807A (ja) 物体運動追跡手法及び記録媒体
JP2015524946A (ja) 画像解像度が改善された超解像画像を形成するための方法及び測定装置
JP2006323437A (ja) 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置
CN103077536B (zh) 时空变尺度运动目标检测方法
KR101799143B1 (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
AU2014285593B8 (en) Optical flow tracking method and apparatus
CN112784828A (zh) 基于方向梯度直方图的图像检测方法、装置、计算机设备
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
CN111684489A (zh) 一种图像处理方法和装置
CN112053295B (zh) 图像降噪方法、装置、计算机设备和存储介质
JP7086761B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN111476821B (zh) 基于在线学习的目标跟踪方法
KR100730571B1 (ko) 색상 유사도 영상을 이용한 물체 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 4