KR102410268B1 - 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치 - Google Patents

객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치 Download PDF

Info

Publication number
KR102410268B1
KR102410268B1 KR1020150163420A KR20150163420A KR102410268B1 KR 102410268 B1 KR102410268 B1 KR 102410268B1 KR 1020150163420 A KR1020150163420 A KR 1020150163420A KR 20150163420 A KR20150163420 A KR 20150163420A KR 102410268 B1 KR102410268 B1 KR 102410268B1
Authority
KR
South Korea
Prior art keywords
interest
tracking
search area
tracking error
determining
Prior art date
Application number
KR1020150163420A
Other languages
English (en)
Other versions
KR20170059266A (ko
Inventor
김광용
김유경
엄기문
이호재
조기성
함경준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150163420A priority Critical patent/KR102410268B1/ko
Priority to US15/186,634 priority patent/US20170148174A1/en
Publication of KR20170059266A publication Critical patent/KR20170059266A/ko
Application granted granted Critical
Publication of KR102410268B1 publication Critical patent/KR102410268B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치에 관한 것으로, 객체 추적 방법은 전역 카메라를 이용하여 객체 탐색 영역 내에 다수의 관심 객체의 위치를 추출하고, 추출된 관심 객체 중 사용자에 의해 선택된 관심 객체를 식별하며, 식별된 관심 객체에 대한 추적 오류를 판단 및 보정하는 방법에 관한 것이다.

Description

객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치{OBJECT TRACKING METHOD AND OBJECT TRACKING APPARATUS FOR PERFORMING THE METHOD}
아래의 설명은 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치에 관한 것으로 구체적으로는, 영상 장치를 이용해 일정 공간 내에 이동하는 관심 객체의 위치를 추적하고, 추적한 이동 객체의 위치에 대한 오류 검출 및 보정을 수행하는 방법 및 장치에 관한 것입니다.
객체 추적 방법은 카메라를 이용하여 특정 객체를 추적하는 방법으로, 최근에는 특정 공간을 이동하는 관심 객체를 추적하는 기능뿐만 아니라, 추적한 객체에 대한 영상 정보를 가공하는 등의 기능을 추가로 수행함에 따라 스포츠 분야 및 보안 서비스 분야 등 다양한 분야에서 사용되고 있다.
여기서, 객체 추적 방법은 사용자에 의해 선택된 객체를 추적하거나 또는 객체의 움직임에 따라 카메라의 위치가 제어되는 복수의 카메라를 이용하여 객체를 추적한다. 이 때, 객체 추적 방법은 복수의 카메라를 통해 획득한 객체에 대한 영상 정보를 이용하여 색상 분포, edge 성분 등을 이용한 특징점 기반의 추적 방법 또는 움직임 흐름과 방향 성분을 이용한 광류 기반의 추적 방법 등을 통해 객체를 식별한다.
그러나, 이러한 객체 추적 방법은 영상 정보 내에 장애물에 의해 객체가 겹쳐지거나 또는 특정 공간에서 사라졌다가 재등장하는 경우, 해당 객체에 대한 식별이 정확하기 않다. 다시 말해, 객체 추적 방법은 장애물에 의해 객체가 겹쳐지면서 특징점 기반의 추적 방법 또는 광류 기반의 추적 방법 등을 통해 추출된 객체의 정보가 변경됨에 따라, 이로 인해 기존에 추적하던 객체가 아닌 다른 객체를 추적허간 또는 해당 객체를 추적하지 못하는 경우가 발생한다.
즉, 객체 추적 방법은 객체들 간의 가리워짐(Occlusion)이나 카메라 시야에서 사라졌다 다시 등장하는 등의 예외상황으로 인하여 관심 객체에 대해 추적에 오류가 생겨 다른 객체를 추적하거나 카메라가 추적하지 못하는 드리프트(drift) 상태가 발생하게 된다.
따라서, 객체를 추적하는 과정에서 발생하는 예외상황을 고려하여 객체를 추적함에 있어, 추적 오류가 최소화하는 방법이 필요하다.
본 발명은 객체 탐색 영역 내에 설치된 전역 카메라를 이용하여 다수의 관심 객체에 대한 위치를 추적하고, 추적한 위치에 해당하는 관심 객체를 식별할 수 있는 객체 추적 방법 및 객체 추적 장치를 제공할 수 있다.
본 발명은 식별된 관심 객체의 식별 정보를 이용하여 관심 객체에 대한 추적 오류를 판단하여 이에 따른 관심 객체를 보정할 수 있는 객체 추적 방법 및 객체 추적 장치를 제공할 수 있다.
일실시예에 따른 객체 추적 방법은 객체 탐색 영역을 촬영하는 전역 카메라를 이용하여 상기 객체 탐색 영역에 존재하는 관심 객체의 제1 위치를 추출하는 단계; 상기 관심 객체의 제1 위치에 인접한 지역 카메라를 이용하여 상기 객체 탐색 영역 내에 제2 위치를 갖는 관심 객체를 식별하는 단계; 및 상기 관심 객체의 제1 위치 및 관심 객체의 제2 위치를 비교하여 상기 관심 객체에 대한 추적 오류를 판단하는 단계를 포함할 수 있다.
일실시예에 따른 관심 객체의 제1 위치를 추출하는 단계는 상기 객체 탐색 영역에 대한 너비 및 객체 탐색 영역의 지면으로부터 전역 카메라가 설치된 높이에 기초하여 관심 객체의 제1 위치를 추출할 수 있다.
일실시예에 따른 제2 위치를 갖는 관심 객체를 식별하는 단계는 상기 관심 객체의 제1 위치에 따라 객체 탐색 영역의 촬영 위치가 제어된 복수의 지역 카메라를 이용할 수 있다.
일실시예에 따른 제2 위치를 갖는 관심 객체를 식별하는 단계는 상기 복수의 지역 카메라로부터 제어된 촬영 위치에 따라 다각도로 촬영된 영상 정보를 분석하여 제2 위치를 갖는 관심 객체를 식별할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역에 존재하는 고정 객체와 인접하여 관심 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 관심 객체의 위치가 객체 탐색 영역 내에 고정 객체의 일정 영역 내에 포함되는지 여부를 분석할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역 내에 관심 객체와 인접하여 이동 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역 내 객체 간의 중첩 영역을 기준으로 상기 관심 객체와 이동 객체 간의 거리를 분석할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 관심 객체에 의해 가려진 이동 객체의 커버 영역 및 이동 객체의 일정 영역을 분석할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역 내에 진입하는 신규 객체를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 일정 시간 동안 상기 객체 탐색 영역 내에 진입한 신규 객체에 대한 추적 가능 여부를 분석할 수 있다.
일실시예에 따른 객체 추적 장치는 객체 탐색 영역을 촬영하는 전역 카메라를 이용하여 상기 객체 탐색 영역에 존재하는 관심 객체의 제1 위치를 추출하는 위치 추출부; 상기 관심 객체의 제1 위치에 인접한 지역 카메라를 이용하여 상기 객체 탐색 영역 내에 제2 위치를 갖는 관심 객체를 식별하는 관심 객체 식별부; 상기 관심 객체의 제1 위치 및 관심 객체의 제2 위치를 비교하여 상기 관심 객체에 대한 추적 오류를 판단하는 추적 오류 판단부; 및 상기 관심 객체에 대한 판단 결과에 따라 관심 객체에 대한 추적 위치를 보정하는 추적 위치 보정부를 포함할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역에 존재하는 고정 객체와 인접하여 관심 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 관심 객체의 위치가 객체 탐색 영역 내에 고정 객체의 일정 영역 내에 포함되는지 여부를 분석할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역 내에 관심 객체와 인접하여 이동 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역 내 객체 간의 중첩 영역을 기준으로 상기 관심 객체와 이동 객체 간의 거리를 분석할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 관심 객체에 의해 가려진 이동 객체의 커버 영역 및 이동 객체의 일정 영역을 분석할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 상기 객체 탐색 영역 내에 진입하는 신규 객체를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
일실시예에 따른 관심 객체에 대한 추적 오류를 판단하는 단계는 일정 시간 동안 상기 객체 탐색 영역 내에 진입한 신규 객체에 대한 추적 가능 여부를 분석할 수 있다.
본 발명의 일실시예에 따른 객체 추적 방법 및 객체 추적 장치는 관심 객체에 대한 위치 추적 동작 및 관심 객체에 대한 식별 동작을 병행함으로써, 다수 객체들이 겹치거나 사라진 객체가 재 등장하는 경우에 추적 오류 발생을 사전 예측할 수 있다.
본 발명의 일실시예에 따른 객체 추적 방법 및 객체 추적 장치는 관심 객체에 대한 위치 추적 동작 및 관심 객체에 대한 식별 동작을 병행함으로써, 추적 오류 발생을 사전에 예측하고 이에 따라 관심 객체에 대한 보정을 수행할 수 있다.
도 1은 일실시예에 따른 관심 객체를 추적하는 전체 구성도이다.
도 2는 일실시예에 따른 객체 추적 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 관심 객체의 추적 오류를 판단하는 동작을 설명하기 위한 도면이다.
도 4는 다른 실시예에 따른 관심 객체의 추적 오류를 판단하는 동작을 설명하기 위한 도면이다.
도 5는 또 다른 실시예에 따른 관심 객체의 추적 오류를 판단하는 동작을 설명하기 위한 도면이다.
도 6a 내지 6c는 일실시예에 따른 객체 추적 방법에 관한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 관심 객체를 추적하는 전체 구성도이다.
도 1을 참고하면, 객체 추적 장치(101)는 전역 카메라(102)를 이용하여 객체 탐색 영역(105) 내에 관심 객체(103)의 제1 위치를 추출할 수 있다. 여기서, 전역 카메라(102)를 통해 추적되는 관심 객체의 위치는 객체 탐색 영역(105)에 포함된 모든 관심 객체의 중심 위치(x,y)를 포함할 수 있다.
전역 카메라(102)는 객체 탐색 영역(105) 내에 설치되어, 객체 탐색 영역(105)을 전반에 걸쳐 촬영할 수 있다. 그리고, 전역 카메라(102)를 통해 촬영된 영상 정보는 객체 탐색 영역(105)에 존재하는 다수의 객체가 포함할 수 있다. 일례로, 전역 카메라(102)는 도1의 (a)에 도시된 바와 같이, 객체 탐색 영역(105)이 존재하는 건물 내 천장 또는 벽면에 고정되어 객체 탐색 영역(105)을 전체적으로 촬영할 수 있다. 이때, 객체 탐색 영역(105)은 전역 카메라(102)와 지면과의 높이, 객체 탐색 영역(105)의 너비를 포함할 수 있다.
객체 탐색 영역(105)은 전역 카메라(102) 및 지역 카메라(104)를 통해 모니터링되는 공간이며, 다수의 객체들이 이동하는 공간을 의미할 수 있다. 일례로, 객체 탐색 영역(105)은 스포츠가 진행되는 경기장 또는 보안 감시 구역 등을 포함할 수 있다.
객체 추적 장치(101)는 전역 카메라(102)를 통해 추출된 관심 객체(103)의 제1 위치를 기반으로 지역 카메라(104)를 통해 제2 위치를 갖는 관심 객체(103)를 추적할 수 있다. 여기서, 지역 카메라(104)는 전역 카메라(102)를 통해 수집된 영상 정보에 기초하여 사용자에 의해 선택된 관심 객체(103)를 보다 집중적으로 추적하는 카메라를 의미할 수 있다. 다시 말해, 지역 카메라(104)는 전역 카메라(102)를 통해 추출된 관심 객체의 제1 위치에 기반으로 해당 제1 위치에 존재하는 제2 위치를 갖는 관심 객체(103)를 추적할 수 있다. 일례로, 지역 카메라(104)는 도1의 (b)에 도시된 바와 같이, 객체 탐색 영역(105)과 인접하여 설치되며, 설치된 촬영 위치에 따라 관심 객체가 위치한 객체 탐색 영역(105)의 일부를 촬영할 수 있다.
그리고, 객체 추적 장치(101)는 추적된 관심 객체(103)의 위치를 기반으로 해당 위치에 존재하는 관심 객체를 식별할 수 있다. 또한, 객체 추적 장치(101)는 식별된 관심 객체(103)를 구분하기 위한 식별 ID를 생성할 수 있다. 여기서, 식별 ID는 객체 탐색 영역에 존재하는 다수의 객체들에 대하여 각각을 구별할 수 있는 고유 정보를 의미할 수 있다. 즉, 식별 ID는 객체 추적 장치(101)가 사전에 학습한 객체(관심 객체) 영상 및 영상 정보를 이용하여 최종 식별한 객체에 대한 (식별 정보)를 의미할 수 있다.
이후, 객체 추적 장치(101)는 식별된 관심 객체에 대한 추적 오류를 판단하고, 판단 결과에 따라 관심 객체(103)를 보정할 수 있다. 다시 말해, 객체 추적 장치(101)는 전역 카메라(102)를 통해 추출한 관심 객체(103)의 제1 위치 및 관심 객체(103)의 제2 위치를 비교하여 상기 관심 객체에 대한 추적 오류를 판단할 수 있다. 즉, 객체 추적 장치(101)는 관심 객체의 제1 위치 및 관심 객체의 제2 위치를 통해 관심 객체들 간의 가리워짐(Occlusion) 또는 카메라 시야에서 사라졌다 다시 등장하는 등의 예외상황을 판단함으로써, 관심 객체(103)에 대한 추적 오류를 판단할 수 있다.
여기서, 객체 추적 장치(101)는 관심 객체에 대한 추적 오류가 발생한 경우, 추적 오류에 대한 알림 신호를 발생시킬 수 있다. 그리고, 객체 추적 장치(101)는 추적 오류가 발생한 관심 객체(103)에 대한 보정을 수행할 수 있다.
결국, 객체 추적 장치(101)는 객체 탐색 영역(105) 내에 관심 객체(103)의 위치를 추적하고, 추적한 위치에 존재하는 관심 객체(103)를 식별함으로써, 관심 객체(103)에 대한 추적 오류 판단 및 추적 오류 판단 결과에 따른 보정을 수행할 수 있다.
도 2는 일실시예에 따른 객체 추적 장치의 세부 구성을 도시한 도면이다.
도 2를 참고하면, 객체 추적 장치(201)는 객체 탐색 영역 내에 관심 객체의 위치 및 관심 객체를 식별하고, 식별된 관심 객체에 대한 추적 오류 및 보정을 수행할 수 있다. 이를 위해, 객체 추적 장치(201)는 위치 정보 추출부(203), 관심 객체 식별부(203), 추적 오류 판단부(204) 및 추적 위치 보정부(205)를 포함할 수 있다.
위치 정보 추출부(203)는 객체 탐색 영역을 촬영하는 전역 카메라(206)를 이용하여 객체 탐색 영역에 존재하는 관심 객체의 제1 위치를 추출할 수 있다. 구체적으로, 위치 정보 추출부(203)는 전역 카메라(206)를 통해 촬영된 영상 정보로부터 객체 탐색 영역 내에 존재하는 다수의 관심 객체를 추출할 수 있다. 그리고, 위치 정보 추출부(203)는 추출된 다수의 관심 객체에 대응하는 제1 위치를 추출할 수 있다.
여기서, 전역 카메라(206)는 객체 탐색 영역을 포함하는 특정 공간의 천정 또는 벽에 설치되어, 객체 탐색 영역에 대한 전반적으로 촬영할 수 있는 카메라 일 수 있다. 이때, 전역 카메라(206)의 촬영 범위가 객체 탐색 영역을 포괄하지 못하는 경우, 위치 정보 추출부(203)는 두 대 이상의 고정형 전역 카메라를 조합하여 객체 탐색 영역을 모두 촬영할 수 있다.
여기서, 두 대 이상의 고정형 전역 카메라(206)를 이용해 객체 탐색 영역을 획득하는 경우, 위치 정보 추출부(203)는 동일 관측 구역 내 평면 상에 평행하지 않은 3점의 위치값을 두 대 이상의 고정형 전역 카메라(206)가 서로 공유함으로써, 객체 탐색 영역에 대한 전반적인 영상 정보를 생성할 수 있다. 즉, 위치 정보 추출부는, 두 대 이상의 고정형 전역 카메라(206)에 대한 4X4 행렬로 구성된 위치값에 대해 호모그래피 대응 기법을 이용하여 하나의 객체 탐색 영역의 전 범위를 포함할 수 있는 영상 정보를 생성할 수 있다.
그리고, 위치 정보 추출부(203)는 관심 객체의 추적 오류를 판단하기 위하여 추적된 다수의 관심 객체의 제1 위치를 추적 오류 판단부(204)로 전달할 수 있다. 또한, 위치 정보 추출부(203)는 전역 카메라(206)를 통해 촬영된 영상 정보로부터 추적된 다수의 관심 객체의 제1 위치를 관심 객체 식별부(203)로 전달할 수 있다.
관심 객체 식별부(203)는 위치 정보 추출부(203)로부터 수신한 다수의 관심 객체의 제1 위치를 기반으로 사용자에 의해 선택된 하나의 관심 객체에 대한 위치를 추적할 수 있다. 그리고, 관심 객체 식별부(203)는 사용자에 의해 선택된 하나의 관심 객체를 추적하기 위해 객체 탐색 영역의 일부 영역을 촬영하는 지역 카메라(207)의 위치를 제어할 수 있다.
이 때, 관심 객체 식별부(203)는 사용자에 의해 선택된 관심 객체의 제1 위치를 토대로 제1 위치에 인접하여 설치된 지역 카메라(207)를 확인할 수 있다. 그리고, 관심 객체 식별부(203)는 확인된 지역 카메라(207)가 제1 위치를 향하도록 위치를 제어할 수 있다. 일례로, 관심 객체 식별부(203)는 사용자에 의해 선택된 관심 객체에 대응하는 제1 위치에 대한 좌표값을 이용하여 지역 카메라(207)의 위치를 제어할 수 있다.
여기서, 본 발명에서는 도시되어 있지 않지만, 객체 추적 장치(201)는 지역 카메라(207)를 제어하기 위한 별도의 제어부를 통해 사용자에 의해 선택된 관심 객체의 제1 위치에 따른 지역 카메라(207)의 위치를 제어할 수 있다.
그리고, 지역 카메라(207)는 관심 객체의 제1 위치에 대한 좌표값에 따라 제어된 위치에서 객체 탐색 영역의 일부 영역에 대한 영상 정보를 획득할 수 있다. 여기서, 관심 객체 식별부(203)는 지역 카메라(207)를 통해 다각도로 촬영된 영상 정보를 수신할 수 있다. 다시 말해, 지역 카메라(207)는 객체 탐색 영역의 주변에 위치한 서로 다른 지역 카메라들과 협력하여 관심 객체를 다각도로 촬영할 수 있고, 이렇게 다각도로 촬영된 영상 정보를 관심 객체 식별부(203)로 전달할 수 있다.
관심 객체 식별부(203)는 객체 탐색 영역의 주변에 위치한 복수의 지역 카메라(207)로부터 다각도로 촬영된 영상 정보를 분석하여 관심 객체를 식별할 수 있다. 그리고, 관심 객체 식별부(203)는 식별된 관심 객체를 구분하기 위한 식별 ID를 생성할 수 있다.
추적 오류 판단부(204)는 위치 정보 추출부(202)로부터 수신한 관심 객체의 제1 위치 및 관심 객체 식별부(203)에서 식별된 관심 객체의 제2 위치를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다. 다시 말해, 추적 오류 판단부(204)는 다음과 같은 추적 오류에 대한 가능성을 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다.
가) 객체간 가려짐에 의한 추적 오류 가능성
ⓐ 객체 탐색 영역에 존재하는 고정 객체에 의해 관심 객체가 가려짐에 의한 추적 오류 가능성(Occlusion(A) = True)
ⓑ 객체 탐색 영역에 존재하는 이동 객체와 관심 객체 간에 겹쳐지거나 가려짐에 의한 추적 오류 가능성(Occlusion (B) == True), (Occlusion (C) == True)
나) 신규 객체 등장 또는 관심 객체의 화면 이동에 의한 추적 오류 가능성
ⓐ 객체 탐색 영역 내 신규 객체의 등장에 의한 추적 오류 가능성 (Recurrent(D) = True)
ⓑ 객체 탐색 영역 내 관심 객체가 사라졌다가 재 등장에 의한 추적 오류 가능성(Recurrent(D) = True)
결국, 추적 오류 판단부(204)는 위에서 설명한 1, 2에 해당하는 각 상황을 종합한 다음의 최종 기준을 통해 관심 객체의 추적 오류에 대한 가능성을 판단할 수 있다. 추적 오류 판단부(204)는 객체간 가려짐에 의한 추적 오류의 가능성을 판단하기 위하여 조건을 수학식 1과 같이 표현할 수 있다.
Figure 112015113552489-pat00001
추적 오류 판단부(204)는 관심 객체에 대한 제1 위치 및 제2 위치를 다음과 같은 수학식 1에 대입하여 해당 조건을 만족하는 경우, 관심 객체가 고정 객체 및 이동 객체의 가려짐으로 인한 추적 오류 가능성이 높다고 판단할 수 있다.
그리고, 추적 오류 판단부(204)는 신규 객체가 등장 또는 관심 객체의 재등장으로 인한 추적 오류의 가능성을 판단하기 위하여 조건을 수학식 2와 같이 표현할 수 있다.
Figure 112015113552489-pat00002
추적 오류 판단부(204)는 관심 객체에 대한 제1 위치 및 제2 위치를 다음과 같은 수학식 2에 대입하여 해당 조건을 만족하는 경우, 관심 객체가 신규 객체 및 재등장으로 인한 추적 오류 가능성이 높다고 판단할 수 있다. 이하에서는, 도 3 내지 도 5를 통해 관심 객체에 대한 추적 오류를 판단하는 구성을 보다 자세하게 설명하도록 한다.
추적 오류 판단부(204)는 추적 오류를 판단하여 추적 오류 가능성이 높다고 판단된 경우, 추적 오류에 대한 알림 신호를 발생시킬 수 있다. 그리고, 추적 위치 보정부(205)는 관심 객체에 대한 판단 결과에 따라 관심 객체에 대한 추적 위치를 보정할 수 있다.
도 3은 일실시예에 따른 관심 객체의 추적 오류를 판단하는 동작을 설명하기 위한 도면이다.
도 3을 참고하면, 객체 추적 장치는 관심 객체에 대한 제1 위치 및 제2 위치를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다. 다시 말해, 객체 추적 장치는 객체 탐색 영역(301) 내에 존재하는 객체에 의해 관심 객체(301)가 가려짐으로써, 이로 인한 관심 객체(301)에 대한 추적 오류의 가능성을 판단할 수 있다.
구체적으로, 객체 탐색 영역(301)은 다수의 객체들이 존재하는 공간으로써, 객체의 성향에 따라 이동이 가능한 이동 객체, 객체 탐색 영역(303)에 고정된 고정 객체(302) 등을 포함할 수 있다. 일례로, 객체 탐색 영역(303)이 농구 경기장인 경우, 이동 객체 또는 관심 객체(301)는 농구 경기장에서 농구 경기를 수행하는 농구 선수, 심판 등을 의미할 수 있으며, 고정 객체(302)는 농구 경기장에 고정된 의자, 농구 골대 등을 의미할 수 있다.
이에 따라, 객체 추적 장치는 객체 탐색 영역(303)에 존재하는 고정 객체(302)에 의해 관심 객체(302)가 가려지는 상황을 예측하고, 이러한 예측 상황에 따른 추적 오류를 판단할 수 있다. 즉, 관심 객체(301)가 객체 탐색 영역(303) 내에 고정 객체(302)의 주변을 한동안 머물러 있음으로써, 객체 추적 장치는 관심 객체(301)가 고정 객체(302)에 의해 가려지는 상황이라고 예측할 수 있으며, 이는 다음과 같이 표현될 수 있다.
If (객체 탐색 영역(303) 관심 객체(301)의 중심 위치가 객체 탐색 영역(303) 고정 객체의 일정 영역에 존재 하면) Occlusion(A) = True, else Occlusion(A) = False
여기서, 상기 A는 IF 이후에 기재된 판단 조건을 의미할 수 있다.
도 4는 다른 실시예에 따른 관심 객체의 추적 오류를 판단하는 동작을 설명하기 위한 도면이다.
도 4를 참고하면, 객체 추적 장치는 관심 객체에 대한 제1 위치 및 제2 위치를 분석하여 관심 객체에 대한 추적 오류를 판단할 수 있다. 다시 말해, 객체 추적 장치는 객체 탐색 영역(402) 내에 존재하는 객체에 의해 관심 객체(401)가 가려짐으로써, 이로 인한 관심 객체(401)에 대한 추적 오류의 가능성을 판단할 수 있다.
구체적으로, 객체 탐색 영역(402)은 다수의 객체들이 존재하는 공간으로써, 객체의 성향에 따라 이동이 가능한 이동 객체(404), 객체 탐색 영역(402)에 고정된 고정 객체 등을 포함할 수 있다. 이에 따라, 객체 추적 장치는 관심 객체(401)가 하나 이상의 이동 객체(404)에 의해 가려지는 상황을 예측하고, 이러한 예측 상황에 따른 추적 오류를 판단할 수 있다.
즉, 관심 객체(401)가 하나 이상의 이동 객체(404)들과 겹치거나 가려짐으로써, 객체 추적 장치는 관심 객체(401)가 이동 객체(404)에 의해 가려지는 상황이라고 예측할 수 있으며, 이는 다음과 같이 표현될 수 있다.
If (객체 탐색 영역(402) 내 관심 객체(401)의 중심 위치(406)와 객체 탐색 영역(402) 내 최대 중첩 영역(403)을 가지는 이동 객체(404)의 중심 위치(405)간의 거리(407) < 임계치) Occlusion(B) = True, else Occlusion(B) = False
또는,
If {(객체 탐색 영역(402) 내 관심 객체(401)와 가려진 이동 객체(404)들 중 최대 가려진 영역 크기 / 객체 탐색 영역(402) 내 관심 객체(401)의 영역 크기) > 임계치} Occlusion(C) = True, else Occlusion(C) = False
여기서, 상기 B, C는 각각의 IF 이후에 기재된 판단 조건을 의미할 수 있다.
도 5는 또 다른 실시예에 따른 관심 객체의 추적 오류를 판단하는 동작을 설명하기 위한 도면이다.
도 5를 참고하면, 객체 추적 장치는 관심 객체(501)에 대한 제1 위치 및 제2 위치를 분석하여 관심 객체(501)에 대한 추적 오류를 판단할 수 있다. 다시 말해, 객체 추적 장치는 객체 탐색 영역(503) 내에 신규 객체(502)가 등장하거나 또는 관심 객체(501)가 재 등장함으로써, 이로 인한 관심 객체(501)에 대한 추적 오류의 가능성을 판단할 수 있다.
객체 탐색 영역(503)은 다수의 객체들이 존재하는 공간으로써, 공간에 존재하는 객체들은 고정된 것이 아니라, 상황에 따라 유동이 가능할 수 있다. 다시 말해, 객체 탐색 영역(503)은 스포츠 공간 또는 보안 감시 영역 등으로 다양한 객체들이 해당 공간으로 이동하거나 또는 사라질 수 있다. 따라서, 객체 추적 장치는 객체 탐색 영역(503) 내에 존재하는 객체들의 위치 및 객체를 식별하기 위해서는 이러한 상황 변화에 따른 대처가 필요하다.
이에 따라, 객체 추적 장치는 객체 탐색 영역(503) 내에 신규 객체(502)가 등장하거나 객체 탐색 영역(503) 내에 잠시 사라졌다가 재 등장하는 상황을 예측하고, 이러한 예측 상황에 따른 추적 오류를 판단할 수 있으며, 이는 다음과 같이 표현될 수 있다.
If(객체 탐색 영역(503) 내 관심 객체(501)의 중심 위치가 객체 탐색 영역(503) 내 위치에 존재하지 않는 시간 > 연속된 프레임 임계치 시간) and (객체 탐색 영역(503) 내 이전 비디오 프레임과 비교하여 추적되지 않은 객체 검출 발생) Recurrent(D) = True, else Value(D) = False
여기서, 상기 D는 IF 이후에 기재된 판단 조건을 의미할 수 있다.
도 6a 내지 6c는 일실시예에 따른 객체 추적 방법에 관한 흐름도이다.
도 6을 참고하면, 관심 객체 방법은 위의 도 1 내지 도5를 통해 기술한 내용을 토대로 객체 탐색 영역 내에 관심 객체를 추적하고 추적한 관심 객체에 대한 추적 오류에 대한 상황을 예측하고, 이에 대한 관심 객체의 추적을 보정하는 전체적인 단계의 처리 알고리즘을 포함할 수 있다.
단계(601)에서 객체 추적 장치는 전역 카메라로부터 객체 탐색 영역을 촬영한 영상 정보를 획득할 수 있다.
단계(602)에서 객체 추적 장치는 전역 카메라로부터 획득한 영상 정보를 이용하여 영상 정보에 포함된 배경 이미지를 획득할 수 있다. 이는 영상 정보에 포함된 객체 탐색 영역을 분류하기 위한 동작일 수 있다.
단계(603)에서 객체 추적 장치는 객체 탐색 영역에 포함된 다수의 관심 객체를 검출할 수 있다.
단계(604)에서 객체 추적 장치는 객체 탐색 영역에서 검출된 다수의 관심 객체에 대한 위치 정보를 추출할 수 있다. 다시 말해, 객체 추적 장치는 다수의 관심 객체에 대한 각각의 제1 위치를 추출할 수 있다.
단계(605)에서 객체 추적 장치는 객체 추적 장치는 보다 세부적으로 관심 객체의 위치를 파악하기 위하여 객체의 위치를 추적할 수 있다.
단계(605)에서 객체 추적 장치는 객체를 추적하기 위하여 객체 탐색 영역 내에 관심 객체가 존재하는지 여부를 파악할 수 있다.
관심 객체가 존재하는 경우(단계 605: Yes), 단계(607)에서 객체 추적 장치는 전역 카메라를 통해 획득한 영상 정보에 포함된 다수의 관심 객체 중에 위치를 추적하기 위한 하나의 관심 객체를 지정할 수 있다. 다시 말해, 객체 추적 장치는 사용자에 의해 하나의 관심 객체가 선택될 수 있다.
단계(608)에서 객체 추적 장치는 지역 카메라를 이용하여 관심 객체를 식별할 수 있다. 다시 말해, 객체 추적 장치는 사용자에 의해 선택된 관심 객체의 제1 위치에 기초하여 객체 탐색 영역 내에 제2 위치를 갖는 관심 객체를 추적할 수 있다. 그리고, 객체 추적 장치는 추적된 관심 객체를 식별하고, 식별된 관심 객체에 대한 식별 ID를 생성할 수 있다.
단계(609)에서 객체 추적 장치는 식별된 관심 객체에 대한 식별 ID를 저장할 수 있다.
관심 객체가 존재하지 않는 경우(단계 605: No), 단계(610)에서 객체 추적 장치는 객체 탐색 영역 내에 존재하는 객체 간에 가려짐으로 인한 관심 객체에 대한 추적 오류의 가능성을 판단할 수 있다.
객체 간에 가려짐이 발생하지 않은 경우(단계 610: No), 단계(611)에서 객체 추적 장치는 신규 객체가 등장하거나 또는 관심 객체의 재 등장으로 인한 관심 객체에 대한 추적 오류의 가능성을 판단할 수 있다.
신규 객체가 등장하거나 관심 객체가 재등장한 경우(단계 611: Yes), 단계(612)에서 객체 추적 장치는 관심 객체에 대한 추적 오류가 발생하였음에 대한 알림 신호를 발생시킬 수 있다.
단계(613)에서 객체 추적 장치는 지역 카메라를 통해 촬영된 영상 정보에 포함된 비디오 프레임을 분석하여 신규 객체의 등장 또는 관심 객체의 재등장 여부를 판단할 수 있다. 다시 말해, 객체 추적 장치는 영상 정보의 현재 비디오 프레임과 이전 비디오 프레임을 비교하여 추적되지 않는 관심 객체를 검출함으로써, 신규 객체의 등장 또는 관심 객체의 재등장 여부를 판단할 수 있다. 이후, 객체 추적 장치는 단계(608)을 통해 신규 객체 또는 재등장한 관심 객체를 식별할 수 있다.
객체 간에 가려짐이 발생한 경우(단계 610: Yes), 단계(615)에서 객체 추적 장치는 지역 카메라를 이용하여 관심 객체를 식별할 수 있다.
단계(616)에서 객체 추적 장치는 관심 객체의 식별 ID와 관심 객체 ID가 동일한지 여부를 판단하여 관심 객체를 식별할 수 있다. 다시 말해, 지역 카메라를 통해 획득한 영상 정보에 의해 추적된 관심 객체의 식별 ID와 전역 카메라를 통해 획득한 영상 정보 내에 사전 학습된 관심 객체 ID를 비교할 수 있다.
관심 객체의 식별 ID와 관심 객체 ID가 동일한 경우(단계 616: Yes), 단계(617)에서 객체 추적 장치는 관심 객체 ID를 관심 객체의 식별 ID로 대체할 수 있다.
관심 객체의 식별 ID와 관심 객체 ID가 동일하지 않은 경우(단계 616: No), 단계(618)에서 객체 추적 장치는 관심 객체에 대한 추적 오류가 발생하였음에 대한 알림 신호를 발생시킬 수 있다.
단계(619)에서 객체 추적 장치는 관심 객체의 제2 위치에 따른 중심 위치 값에 기초하여 주변 영역으로부터 인접한 객체의 중심 위치를 통해 관심 객체를 탐색할 수 있다.
단계(620)에서 객체 추적 장치는 주변 영역으로부터 탐색된 관심 객체와 지역 카메라를 통해 식별된 관심 객체가 동일한지 여부를 판단할 수 있다.
탐색된 관심 객체와 식별된 관심 객체가 동일한 경우(단계 621: Yes), 객체 추적 장치는 단계(620)에서 비교된 주변 영역으로부터의 관심 객체를 추적 대상에서 제외시킬 수 있다. 그리고, 객체 추적 장치는 단계(619)를 통해 주변 영역으로부터 인접한 객체의 중심 위치를 통해 관심 객체를 재탐색할 수 있다.
탐색된 관심 객체와 식별된 관심 객체가 동일하지 않은 경우(단계 621: No), 객체 추적 장치는 단계(615)를 통해 관심 객체를 재 식별할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 객체 추적 장치
102: 전역 카메라
103: 관심 객체
104: 지역 카메라
105: 객체 탐색 영역

Claims (19)

  1. 객체 탐색 영역을 촬영하는 전역 카메라를 이용하여 상기 객체 탐색 영역에 존재하는 관심 객체의 제1 위치를 추출하는 단계;
    상기 관심 객체의 제1 위치에 인접한 지역 카메라를 이용하여 상기 객체 탐색 영역 내에 제2 위치를 갖는 관심 객체를 식별하는 단계;
    상기 관심 객체의 제1 위치 및 관심 객체의 제2 위치에 기초하여 객체 탐색 영역을 포함하는 연속된 프레임 내 관심 객체가 사라지거나 또는, 재등장하는지 여부를 분석하는 단계;
    객체의 성향에 따라 관심 객체가 존재하는 객체 탐색 영역 내 진입하는 신규 객체가 존재하는지 여부를 분석하는 단계; 및
    상기 관심 객체에 대한 분석 결과 및 상기 신규 객체에 대한 분석 결과를 고려하여 상기 관심 객체에 대한 추적 오류를 판단하는 단계
    를 포함하고,
    상기 추적 오류를 판단하는 단계는,
    상기 관심 객체에 대한 분석 결과에 따라 i) 객체 탐색 영역에 존재하는 고정 객체 및 이동 객체 중 적어도 하나의 객체에 의해 관심 객체가 가려지는 추적 오류 가능성 또는, ii) 객체 탐색 영역 내 관심 객체가 사라졌다가 재등장하는 과정에서의 추적 오류 가능성을 결정하는 단계;
    상기 신규 객체에 대한 분석 결과에 따라 객체 탐색 영역 내 신규 객체가 등장하는 과정에서의 추적 오류 가능성을 결정하는 단계; 및
    상기 추적 오류 가능성에 따라 예측 가능한 각 상황을 고려하여 관심 객체에 대한 추적 오류를 판단하는 단계;
    를 포함하는 객체 추적 방법.
  2. 제1항에 있어서,
    상기 관심 객체의 제1 위치를 추출하는 단계는,
    상기 객체 탐색 영역에 대한 너비 및 객체 탐색 영역의 지면으로부터 전역 카메라가 설치된 높이에 기초하여 관심 객체의 제1 위치를 추출하는 객체 추적 방법.
  3. 제1항에 있어서,
    상기 제2 위치를 갖는 관심 객체를 식별하는 단계는,
    상기 관심 객체의 제1 위치에 따라 객체 탐색 영역의 촬영 위치가 제어된 복수의 지역 카메라를 이용하는 객체 추적 방법.
  4. 제3항에 있어서,
    상기 제2 위치를 갖는 관심 객체를 식별하는 단계는,
    상기 복수의 지역 카메라로부터 제어된 촬영 위치에 따라 다각도로 촬영된 영상 정보를 분석하여 제2 위치를 갖는 관심 객체를 식별하는 객체 추적 방법.
  5. 제1항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 객체 탐색 영역에 존재하는 고정 객체와 인접하여 관심 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단하는 객체 추적 방법.
  6. 제1항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 관심 객체의 위치가 객체 탐색 영역 내에 고정 객체의 일정 영역 내에 포함되는지 여부를 분석하는 객체 추적 방법.
  7. 제1항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 객체 탐색 영역 내에 관심 객체와 인접하여 이동 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단하는 객체 추적 방법.
  8. 제7항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 객체 탐색 영역 내 객체 간의 중첩 영역을 기준으로 상기 관심 객체와 이동 객체 간의 거리를 분석하는 객체 추적 방법.
  9. 제7항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 관심 객체에 의해 가려진 이동 객체의 커버 영역 및 이동 객체의 일정 영역을 분석하는 객체 추적 방법.
  10. 삭제
  11. 삭제
  12. 객체 탐색 영역을 촬영하는 전역 카메라를 이용하여 상기 객체 탐색 영역에 존재하는 관심 객체의 제1 위치를 추출하는 위치 추출부;
    상기 관심 객체의 제1 위치에 인접한 지역 카메라를 이용하여 상기 객체 탐색 영역 내에 제2 위치를 갖는 관심 객체를 식별하는 관심 객체 식별부;
    상기 관심 객체의 제1 위치 및 관심 객체의 제2 위치를 비교하여 상기 관심 객체에 대한 추적 오류를 판단하는 추적 오류 판단부; 및
    상기 관심 객체에 대한 판단 결과에 따라 관심 객체에 대한 추적 위치를 보정하는 추적 위치 보정부
    를 포함하고,
    상기 추적 오류 판단부는,
    상기 관심 객체의 제1 위치 및 관심 객체의 제2 위치에 기초하여 객체 탐색 영역을 포함하는 연속된 프레임 내 관심 객체가 사라지거나 또는, 재등장하는지 여부를 분석하고, 객체의 성향에 따라 관심 객체가 존재하는 객체 탐색 영역 내 진입하는 신규 객체가 존재하는지 여부를 분석하고, 상기 관심 객체에 대한 분석 결과 및 상기 신규 객체에 대한 분석 결과를 고려하여 상기 관심 객체에 대한 추적 오류를 판단하고,
    상기 추적 오류 판단부는
    상기 관심 객체에 대한 분석 결과에 따라 i) 객체 탐색 영역에 존재하는 고정 객체 및 이동 객체 중 적어도 하나의 객체에 의해 관심 객체가 가려지는 추적 오류 가능성 또는, ii) 객체 탐색 영역 내 관심 객체가 사라졌다가 재등장하는 과정에서의 추적 오류 가능성을 결정하고,
    상기 신규 객체에 대한 분석 결과에 따라 객체 탐색 영역 내 신규 객체가 등장하는 과정에서의 추적 오류 가능성을 결정하고,
    상기 추적 오류 가능성에 따라 예측 가능한 각 상황을 고려하여 관심 객체에 대한 추적 오류를 판단하는 객체 추적 장치.
  13. 제12항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 객체 탐색 영역에 존재하는 고정 객체와 인접하여 관심 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단하는 객체 추적 장치.
  14. 제13항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 관심 객체의 위치가 객체 탐색 영역 내에 고정 객체의 일정 영역 내에 포함되는지 여부를 분석하는 객체 추적 장치.
  15. 제12항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 객체 탐색 영역 내에 관심 객체와 인접하여 이동 객체가 위치한 경우를 분석하여 관심 객체에 대한 추적 오류를 판단하는 객체 추적 장치.
  16. 제15항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 객체 탐색 영역 내 객체 간의 중첩 영역을 기준으로 상기 관심 객체와 이동 객체 간의 거리를 분석하는 객체 추적 장치.
  17. 제15항에 있어서,
    상기 관심 객체에 대한 추적 오류를 판단하는 단계는,
    상기 관심 객체에 의해 가려진 이동 객체의 커버 영역 및 이동 객체의 일정 영역을 분석하는 객체 추적 장치.
  18. 삭제
  19. 삭제
KR1020150163420A 2015-11-20 2015-11-20 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치 KR102410268B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150163420A KR102410268B1 (ko) 2015-11-20 2015-11-20 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
US15/186,634 US20170148174A1 (en) 2015-11-20 2016-06-20 Object tracking method and object tracking apparatus for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163420A KR102410268B1 (ko) 2015-11-20 2015-11-20 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치

Publications (2)

Publication Number Publication Date
KR20170059266A KR20170059266A (ko) 2017-05-30
KR102410268B1 true KR102410268B1 (ko) 2022-06-20

Family

ID=58720919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163420A KR102410268B1 (ko) 2015-11-20 2015-11-20 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치

Country Status (2)

Country Link
US (1) US20170148174A1 (ko)
KR (1) KR102410268B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102366779B1 (ko) * 2017-02-13 2022-02-24 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
KR102486986B1 (ko) * 2017-05-04 2023-01-10 한화테크윈 주식회사 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
GB2589917A (en) * 2019-12-13 2021-06-16 Sony Corp Data processing method and apparatus
CN111340848A (zh) * 2020-02-26 2020-06-26 重庆中科云从科技有限公司 对目标区域的对象跟踪方法、***、设备及介质
KR102544972B1 (ko) * 2020-11-16 2023-06-20 주식회사 핏투게더 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
US12033390B2 (en) * 2021-10-26 2024-07-09 Hitachi, Ltd. Method and apparatus for people flow analysis with inflow estimation
TW202341006A (zh) 2022-04-13 2023-10-16 緯創資通股份有限公司 物件追蹤整合方法及整合裝置
WO2024071516A1 (ko) * 2022-09-30 2024-04-04 주식회사 쓰리아이 객체 고정이 가능한 객체 트래킹 제공 방법 및 그를 위한 휴대 단말

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US6734911B1 (en) * 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
NZ539632A (en) * 2002-10-22 2008-01-31 Artoolworks Tracking a surface in a 3-dimensional scene using natural visual features of the surface
DE60330898D1 (de) * 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US7242423B2 (en) * 2003-06-16 2007-07-10 Active Eye, Inc. Linking zones for object tracking and camera handoff
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
EP1710751A1 (en) * 2004-01-06 2006-10-11 Sony Corporation Image processing device and method, recording medium, and program
US7787013B2 (en) * 2004-02-03 2010-08-31 Panasonic Corporation Monitor system and camera
CA2520923A1 (en) * 2004-09-23 2006-03-23 Michael Greenspan Method and apparatus for positional error correction in a robotic pool system using a cue-aligned local camera
US20070098303A1 (en) * 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
US20080123900A1 (en) * 2006-06-14 2008-05-29 Honeywell International Inc. Seamless tracking framework using hierarchical tracklet association
US8115812B2 (en) * 2006-09-20 2012-02-14 Panasonic Corporation Monitoring system, camera, and video encoding method
EP2095640A4 (en) * 2006-11-20 2017-05-10 Snap Network Surveillance Pty Limited Network surveillance system
NZ598897A (en) * 2006-12-04 2013-09-27 Lynx System Developers Inc Autonomous systems and methods for still and moving picture production
US8086036B2 (en) * 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
KR101607224B1 (ko) * 2008-03-03 2016-03-29 아비길론 페이턴트 홀딩 2 코포레이션 동적 물체 분류 방법 및 장치
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
AT506928B1 (de) * 2008-05-28 2012-07-15 Kiwisecurity Software Gmbh Verfahren zur videoanalyse
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
KR101199492B1 (ko) * 2008-12-22 2012-11-09 한국전자통신연구원 광역 이동을 고려한 실시간 카메라 트래킹 장치 및 방법
US8254633B1 (en) * 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
ES2714362T3 (es) * 2010-01-05 2019-05-28 Isolynx Llc Sistema para mostrar información de eventos atléticos en un marcador
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
US8615105B1 (en) * 2010-08-31 2013-12-24 The Boeing Company Object tracking system
US9064172B2 (en) * 2010-10-05 2015-06-23 Utc Fire & Security Corporation System and method for object detection
NZ704221A (en) * 2010-11-19 2016-08-26 Isolynx Llc Associative object tracking systems and methods
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP5459678B2 (ja) * 2011-02-17 2014-04-02 株式会社東芝 移動体画像追尾装置
GB2489675A (en) * 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
US9298986B2 (en) * 2011-12-09 2016-03-29 Gameonstream Inc. Systems and methods for video processing
KR20130097868A (ko) * 2012-02-27 2013-09-04 주식회사 레이스전자 카메라 기반 지능형 주차관제 방법 및 시스템
US9239965B2 (en) * 2012-06-12 2016-01-19 Electronics And Telecommunications Research Institute Method and system of tracking object
US8867786B2 (en) * 2012-10-31 2014-10-21 Microsoft Corporation Scenario-specific body-part tracking
FR3003065B1 (fr) * 2013-03-05 2015-02-27 Commissariat Energie Atomique Procede de suivi d'une cible dans une sequence d'images avec prise en compte de la dynamique de la cible
US8913791B2 (en) * 2013-03-28 2014-12-16 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
US9565400B1 (en) * 2013-12-20 2017-02-07 Amazon Technologies, Inc. Automatic imaging device selection for video analytics
KR20150081797A (ko) * 2014-01-07 2015-07-15 한국전자통신연구원 객체 추적 장치 및 방법
US9538096B2 (en) * 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
US9361520B2 (en) * 2014-04-10 2016-06-07 Disney Enterprises, Inc. Method and system for tracking objects
US9727786B2 (en) * 2014-11-14 2017-08-08 Intel Corporation Visual object tracking system with model validation and management
PL411602A1 (pl) * 2015-03-17 2016-09-26 Politechnika Poznańska System do estymacji ruchu na obrazie wideo i sposób estymacji ruchu na obrazie wideo
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling

Also Published As

Publication number Publication date
KR20170059266A (ko) 2017-05-30
US20170148174A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
KR102410268B1 (ko) 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
KR20180032400A (ko) 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법
JP6273685B2 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP6561830B2 (ja) 情報処理システム、情報処理方法及びプログラム
US9547795B2 (en) Image processing method for detecting objects using relative motion
US7778445B2 (en) Method and system for the detection of removed objects in video images
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
KR101087592B1 (ko) Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
JP5180733B2 (ja) 移動物体追跡装置
CN105144705B (zh) 对象监视***、对象监视方法和用于提取待监视对象的程序
JP5722381B2 (ja) ビデオ解析
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
US10762372B2 (en) Image processing apparatus and control method therefor
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
US10200607B2 (en) Image capturing apparatus, method of controlling the same, monitoring camera system, and storage medium
KR20150051630A (ko) 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
Snidaro et al. Quality-based fusion of multiple video sensors for video surveillance
KR20160048428A (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant