KR20140090795A - 다중 카메라 환경에서 객체 추적 방법 및 장치 - Google Patents

다중 카메라 환경에서 객체 추적 방법 및 장치 Download PDF

Info

Publication number
KR20140090795A
KR20140090795A KR1020130002836A KR20130002836A KR20140090795A KR 20140090795 A KR20140090795 A KR 20140090795A KR 1020130002836 A KR1020130002836 A KR 1020130002836A KR 20130002836 A KR20130002836 A KR 20130002836A KR 20140090795 A KR20140090795 A KR 20140090795A
Authority
KR
South Korea
Prior art keywords
camera
image
feature information
identification information
tracking
Prior art date
Application number
KR1020130002836A
Other languages
English (en)
Inventor
박소희
고종국
문기영
유장희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130002836A priority Critical patent/KR20140090795A/ko
Priority to US14/140,866 priority patent/US20150332476A1/en
Publication of KR20140090795A publication Critical patent/KR20140090795A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 다중 카메라 환경에서의 객체를 추적하는 방법에 관한 것으로, 본 발명에 따른 다중 카메라 환경에서 객체 추적 방법은 제1 카메라로부터 입력된 영상에서 객체의 제1 특징 정보를 생성하는 단계; 상기 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하는 단계; 및 상기 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 특징 정보와 상기 제1 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적하는 단계를 포함한다. 본 발명에서는 하나의 카메라 영상 내에서는 영상 기반 객체 추적을 수행하고, 카메라를 벗어나 객체가 이동하는 경우는 객체가 소유한 단말의 식별정보를 인식하여 카메라를 핸드오버하여 동일한 객체를 계속 추적할 수 있도록 한다. 단말의 식별정보를 인식하여 카메라를 핸드오버하면 빠르고 정확하게 핸드오버가 가능하며, 이는 객체의 추적 성능을 높이는 데 기여할 수 있다.

Description

다중 카메라 환경에서 객체 추적 방법 및 장치{Method and apparatus for tracking an object in multiple camera environment}
본 발명은 다중 카메라 환경에서의 객체를 추적하는 방법에 관한 것으로, 보다 상세하게는 하나의 카메라에서 추적하던 객체가 다른 카메라로 이동하는 경우 정확하게 해당 객체 추적을 계속할 수 있도록 하는 기술에 관한 것이다. 즉, 카메라 핸드오버를 정확하게 하여 객체 추적의 성능을 높이는 것이다.
기존의 다중 카메라 환경에서의 객체를 추적하는 방법은 영상 정보의 특징에 기반하여 즉, 컬러정보, 형태 정보, 텍스처 정보 등을 이용하여 객체를 인식하고 추적하는 것이다. 영상 정보는 카메라의 설치 위치, 영상 특성 등에 따라 변화가 많아 카메라를 이동하여 객체를 추적하는 경우 해당 객체를 동일하게 인식하고 추적을 계속하는 데 오류율이 높아 영상인식 기반 객체 추적 방법에는 많은 한계점이 존재한다.
본 발명은 상기 종래 기술의 문제를 해결하기 위하여 안출된 것으로서, 본 발명은 다중 카메라 환경에서의 객체를 추적하는데 있어, 카메라를 벗어나 객체가 이동하는 경우 객체가 소유하고 있는 단말의 ID 정보를 인식하여 카메라를 핸드오버하고, 정확한 핸드오버를 통하여 객체 추적의 성능을 높이는 방법 및 장치를 제공하는데 그 목적이 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 다중 카메라 환경에서 객체 추적 방법은 제1 카메라로부터 입력된 영상에서 객체의 제1 특징 정보를 생성하는 단계; 상기 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하는 단계; 및 상기 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 특징 정보와 상기 제1 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적하는 단계를 포함한다.
상기 추적하는 단계는 상기 제1 특징 정보와 상기 제2 특징 정보의 유사도가 미리 결정된 기준값 이상인 경우 상기 객체를 추적하는 것이 바람직하다.
상기 식별 정보를 인식하는 것은 상기 객체에 구비되는 단말로부터 단말의 단말 식별 정보를 입력 받는 것이 바람직하다.
상기 다중 카메라 환경에서 객체 추적 방법은, 상기 특징 정보를 생성하는 단계에 앞서, 상기 입력된 영상에서 객체를 추출하는 단계를 더 포함하고, 상기 특징 정보를 생성하는 단계는 상기 추출된 객체의 단말로부터 입력 받은 상기 단말 식별 정보 및 상기 객체의 영상 특징 정보를 포함하는 상기 특징 정보를 생성하는 것이 바람직하다.
상기 제2 카메라를 탐지하는 단계는, 상기 제1 카메라 외의 다른 카메라의 촬영 영역에 존재하는 객체의 식별 정보를 입력 받는 단계; 및 상기 영역을 벗어난 객체에 대한 식별 정보와 상기 입력 받은 객체의 식별 정보를 비교하여 상기 다른 카메라 중 제2 카메라를 탐지하는 단계를 포함하는 것이 바람직하다.
상기 제2 카메라를 탐지하는 단계는, 상기 제1 카메라로부터 상기 제1 카메라로 상기 객체의 추적을 핸드 오버하는 것이 바람직하다.
상기 다중 카메라 환경에서 객체 추적 방법은, 상기 유사도가 상기 기준값에 미달하는 경우 상기 제2 카메라를 탐지하는 단계를 재 수행하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 다중 카메라 환경에서 객체 추적 장치는 제1 카메라로부터 입력된 영상에서 객체의 제1 특징 정보를 생성하는 특징 정보 생성부; 상기 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하는 카메라 탐지부; 및 상기 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 특징 정보와 상기 제1 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적하는 객체 추적부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 다중 카메라 환경에서 객체 추적 시스템은 추적하고자 하는 객체에 대한 식별 정보를 포함하는 단말; 상기 객체를 포함하는 영상을 촬영하는 복수의 카메라; 상기 카메라로부터 촬영된 영상으로부터 객체를 추적하여 상기 객체의 특징 정보를 생성하고, 상기 객체가 일 카메라의 촬영 영역을 벗어나는 경우 상기 객체의 상기 식별 정보가 인식되는 다른 카메라를 탐지하여 카메라를 핸드 오버하는 카메라 제어 장치를 포함한다.
본 발명에서는 하나의 카메라 영상 내에서는 영상 기반 객체 추적을 수행하고, 카메라를 벗어나 객체가 이동하는 경우는 객체가 소유한 단말의 식별정보를 인식하여 카메라를 핸드오버하여 동일한 객체를 계속 추적할 수 있도록 한다. 단말의 식별정보를 인식하여 카메라를 핸드오버하면 빠르고 정확하게 핸드오버가 가능하며, 이는 객체의 추적 성능을 높이는 데 기여할 수 있다.
도 1은 본 발명의 일실시예에 따른 다중 카메라 환경에서 객체 추적 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일실시예에서 따른 다중 카메라 환경에서 객체 추적 방법을 나타내는 세부 흐름도이다.
도 3a, 3b, 3c는 본 발명의 일실시예에 따라 다중 카메라 환경에서의 객체의 이동을 예시하는 도이다.
도 4는 본 발명의 일실시예에 따른 다중 카메라 환경에 객체 추적 장치를 나타내는 블록도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 다중 카메라 환경에서 객체 추적 방법을 나타내는 흐름도이다.
도 1을 참조하면, 본 실시예에 따른 다중 카메라 환경에서 객체 추적 방법은 특징 정보 생성 단계(S100), 카메라 탐지 단계(S200), 객체 추적 단계(S300)를 포함한다.
본 실시예에서 특징 정보 생성 단계(S100)는 영상 특징 정보와 객체 식별 정보를 포함하여 특징 정보를 생성하는 단계이다. 제1 카메라로부터 입력된 영상에서 객체의 제1 영상 특징 정보를 생성한다. 제1 카메라는 다중 카메라 환경에 포함된 복수의 카메라 중 추적하고자 하는 객체를 현재 촬영하고 있는 카메라로서, 영상 특징 정보 생성 단계는 제1 카메라에서 촬영된 객체를 포함하는 영상을 입력 받는다. 객체의 식별 정보와 상기 영상 특징 정보를 포함하여 제1 특징 정보가 생성된다.
도 2를 참조하면, 도 2는 본 발명의 일실시예에 따른 다중 카메라 환경에서 객체 추적 방법을 나타내는 세부흐름도로서, 특징 정보 생성 단계(S100)에 앞서 객체 추출 단계(S50), 단말 식별 정보 입력 단계(S60), 영상 특징 정보 추출 단계(S70)를 더 포함한다.
객체 추출 단계(S50)는 제1 카메라를 통해 입력 된 영상에서 추적하고자 하는 객체를 추출한다.
단말 식별 정보 입력 단계(S60)는 추출된 객체의 단말로부터 단말 식별 정보를 입력 받는다. 즉 본 실시예에서 객체는 RFID기기 또는 스마트폰과 같은 단말을 소지하고 단말 식별 정보 입력 단계는 RFID기기 나 스마트폰을 구분하기 위한 ID와 같은 식별 정보를 입력 받는다. 즉 본 실시예에서 객체 추적 방법은 복수의 카메라에서 촬영되는 객체의 동일성 여부를 검증하기 위하여 간접적으로 객체가 소지하는 단말의 식별 정보를 이용하게 된다.
영상 특징 정보 생성 단계(S70)는 입력된 영상에서 객체의 특징 값, 즉 객체를 추적하기 위한 영상 정보를 생성한다. 영상 정보는 색상 정보, 형태 정보, 텍스처 정보 등을 포함할 수 있다.
따라서 본 실시예에서 특징 정보 생성 단계(S100)는 입력 받은 단말 정보 및 추출된 영상 특징 정보를 포함하는 정보로서 객체의 특징 정보를 생성한다.
나아가 본 실시예에 따른 카메라 탐지 단계(S200)는 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지한다.
즉, 본 실시예에서 객체 추적 방법은 하나의 카메라에서 추적하던 객체가 다른 카메라로 이동하는 경우 정확하게 해당 객체 추적을 계속할 수 있도록 하기 위하여 객체가 카메라의 촬영 영역을 벗어나는지를 탐지하여야 한다.
따라서 도 2를 참조하면, 본 실시예에서 객체 추적 방법은 카메라 탐지 단계에 앞서 객체 추적 단계(S150) 및 객체 존재 확인 단계(S160)를 포함한다.
본 실시예에서 객체 추적 단계(S150)는 제1 카메라 내에서의 영상 특징 정보를 이용하여 추출된 객체의 변화를 추적한다.
객체 존재 확인 단계(S160)는 상술한 객체 추적 단계와 함께 수행되며, 객체의 변화를 추적하는 도중 객체가 제1 카메라가 촬영 가능한 영역을 벗어났는지 여부를 확인한다. 즉 제1 카메라로부터 입력된 영상에서 더 이상 객체의 영상 특징 정보가 검출되지 않거나, 일정 수준 이하의 특징 정보만 검출 되는 경우 객체가 제1 카메라의 촬영 영역을 벗어나 존재하지 않는 것으로 확인한다.
상술한 객체 추적 단계(S150) 및 객체 존재 확인 단계(S160)는 객체가 입력 받은 영상 내에 존재하는 동안 계속하여 재귀적으로 수행된다.
즉 본 실시예에서 카메라 탐지 단계(S200)는 객체의 부존재가 확인 된 경우 수행되게 된다.
카메라 탐지 단계(S200)는 제1 카메라로부터 벗어난 객체가 복수의 카메라 중 어느 카메라의 촬영 영역으로 이동 하였는지를 탐지한다. 도 3을 통해 이에 대해 보다 상세히 설명한다.
도 3은 본 발명의 일실시예에 따라 다중 카메라 환경에서의 객체의 이동을 예시하는 도이다.
도 3a를 참조하면, 추적하고자 하는 객체로서 사람 A(40)와 사람 B(40')는 제1 카메라(20a)의 촬영 영역 안에서 존재한다. 이 때, 상술한 단말 식별 정보 입력 단계(S60)는 제1 ID리더를 통하여 각 사람이 소유하고 있는 단말(30, 30') ID를 읽어 단말 식별 정보로 입력 받는다.
또한 영상 특징 정보 생성 단계(S70)는 사람의 영상 특징 정보를 생성하여 단말 식별 정보와 영상 특징 정보를 포함하는 제1 특징 정보를 생성한다.
제1 카메라(20a)의 영역 안에서 존재하던 사람 A(40)와 사람 B(40')가 제1 카메라(20a)의 영역 안에서 벗어나는 경우, ID리더를 통해 객체가 소유하고 있는 단말(30, 30') ID를 확인하고, 동일 단말(30, 30') ID가 있는 카메라 영역을 확인하여 카메라 제어 기능을 통해 카메라를 핸드 오버하여 사람A는 제2 카메라(20b)를 통해, 사람 B(40')는 제3 카메라(20c)를 통해 계속 추적할 수 있다.
즉 본 실시예에서 핸드 오버는 다중 카메라 환경에서의 객체의 이동에 따라 연속되는 객체의 추적을 위한 카메라 간의 동조를 의미한다. 즉 상술한 도 3에서의 경우 사람 A(40)가 제1 카메라(20a) 영역에서 제2 카메라(20b) 영역으로 이동하더라도 전체 객체 추적 시스템은 사람 A(40)의 이동을 인식하고 제1 카메라(20a)와 제2 카메라(20b)의 동조를 통해 연속된 객체 추적 정보를 생성한다.
다시 도 2를 참조하면, 본 실시예에서 카메라 탐지 단계는 식별 정보 입력 단계(S210), 식별 정보 동일 확인 단계(S220), 카메라 핸드 오버 단계(S230)를 포함한다.
본 실시예에서 식별 정보 입력 단계(S210)는 제1 카메라 외의 다른 카메라의 촬영 영역에 존재하는 객체의 식별 정보를 입력 받는다. 즉 객체가 이동한 영역을 촬영 가능한 카메라를 탐지하기 위하여 본 실시예에 따른 다중 카메라 환경에 포함된 복수의 카메라 각각의 촬영 영역에 존재하는 객체의 식별 정보를 입력 받는다.
다음 식별 정보 동일 확인 단계(S220)는 입력 받은 각각의 식별 정보를 추적하고자 하는 객체의 식별 정보와 비교하여 동일한지 여부를 확인한다.
식별 정보가 동일한 경우 동일한 식별 정보를 입력 받은 카메라의 촬영 영역에 이동한 객체가 존재하는 것이므로, 이때의 카메라로 제1 카메라를 객체 추적을 핸드 오버한다.
즉 본 실시예에서는 영역을 벗어난 객체에 대한 식별 정보와 상기 입력 받은 객체의 식별 정보를 비교하여 다른 카메라 중 객체가 새로이 존재하는 영역을 촬영 가능한 제2 카메라를 탐지한다.
이하 탐지된 제2 카메라를 통한 객체 추적 단계(S300)에 대하여 설명한다.
본 실시예에서 객체 추적 단계(S300)는 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 특징 정보와 상기 제1 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적한다.
본 실시예에서 제2 특징 정보는 상술한 객체 추출 단계(S50), 단말 식별 정보 입력 단계(S60), 영상 특징 정보 추출 단계(S70)를 통해 생성된다. 즉 객체 추적 단계(S300)는 제1 카메라를 통해 입력된 영상에서 추출된 제1 영상 특징 정보와 탐지된 제2 카메라를 통해 입력된 영상에서 추출된 제2 영상 특징 정보를 비교 하는 것을 통해 객체의 추적 여부를 결정한다.
즉, 객체 추적단계(S200)는 제1 영상 특징 정보와 상기 제2 영상 특징 정보의 유사도가 미리 결정된 기준값 이상인 경우 상기 객체를 추적하게 된다. 따라서 도 2를 참조하면, 본 실시예에서 객체 추적 단계(S300)는 영상 특징 정보 비교 단계(S310), 유사도 만족 확인 단계(S320), 객체 추적 단계(S330)를 포함한다.
영상 특징 정보 비교 단계(S310)는 상술한 제1 특징 정보에 포함된 영상 특징 정보와 제2 특징 정보에 포함된 영상 특징 정보를 비교하여 유사도를 산출 한다.
유사도 만족 확인 단계(S320)는 산출된 유사도를 미리 결정된 조건값 과 비교하여, 조건값 이상인 경우 유사도를 만족하는 것으로 확인한다.
유사도가 만족되는 경우 제1 카메라에서의 객체와 제2 카메라에서의 객체가 동일한 객체로 판단하고, 그렇지 않은 경우는 동일한 객체가 아닌 것으로 판단한다. 즉, 본 실시예에 따른 객체 추적 방법은 단말 식별 정보를 통해 1차적으로 이동 전 영상에서의 객체와 이동 후 영상에서의 객체의 동일성을 판단하고, 2차적으로 각각의 영상에서의 객체의 영상 특징 정보를 통해 객체의 동일성을 검증한다.
따라서, 영상 정보는 카메라의 설치 위치, 영상 특성 등에 따라 변화가 많아 카메라를 이동하여 객체를 추적하는 경우 해당 객체를 동일하게 인식하고 추적을 계속하는 데 오류를 더욱 줄일 수 있다.
이후 객체 추적 단계(S330)는 유사도 만족 확인 단계를 통해 동일한 객체로 검증된 경우 제2 카메라를 통해 입력된 영상에서의 객체 추적을 수행하게 된다.
이상, 기존의 다중 카메라 환경에서 객체를 추적하는 방법은 영상 정보만을 이용하거나 스마트 단말을 인식하여 위치를 추정하는 방법 등을 이용했다. 영상 정보만을 이용하는 경우는 카메라마다 설치 위치, 카메라 특성 등에 따라 객체의 특징의 변화도가 많아 동일한 객체로 인식하는데 많은 오류가 존재하며, 스마트 단말을 이용하는 경우는 단말이 여러 개 존재하는 경우 신호의 간섭으로 위해 위치를 추정하는 데 많은 오류가 존재한다. 그러므로, 본 발명에서는 이러한 두 가지 방법의 한계를 극복하기 위하여 하나의 카메라 영상 내에서는 영상 기반 객체 추적을 수행하고, 카메라를 벗어나 객체가 이동하는 경우는 객체가 소유한 단말의 ID를 인식하여 카메라를 핸드오버하여 동일한 객체를 계속 추적할 수 있도록 한다. 단말의 ID를 인식하여 카메라를 핸드오버하면 빠르고 정확하게 핸드오버가 가능하며, 이는 객체의 추적 성능을 높이는 데 기여할 수 있다.
이하 상술한 실시예에 따른 다중 카메라 환경에서 객체 추적 방법을 수행하는 객체 추적 장치에 대하여 도 4를 참조하여 설명한다.
도 4를 참조하면, 본 발명의 일실시예에 따른 다중 카메라 환경에 객체 추적 장치(100)는 객체 추출부(100), 특징 정보 생성부(200), 식별 정보 입력부(310), 제2 카메라 탐지부(320), 객체 추적부(400)를 포함한다.
객체 추출부(100)는 제1 카메라를 통해 입력된 영상에서 객체를 추출한다.
특징 정보 생성부(200)는 추출된 객체의 단말로부터 입력 받은 상기 단말 식별 정보 및 상기 객체의 영상 특징 정보를 포함하는 상기 특징 정보를 생성한다.
나아가 카메라 탐지부(300)는 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하며, 식별 정보 입력부(310), 제2 카메라 탐지부(320)를 포함한다.
구체적으로 식별 정보 입력부(310)는 제1 카메라 외의 다른 카메라의 촬영 영역에 존재하는 객체의 식별 정보를 입력 받는다.
제2 카메라 탐지부(320)는 영역을 벗어난 객체에 대한 식별 정보와 상기 입력 받은 객체의 식별 정보를 비교하여 상기 다른 카메라 중 제2 카메라를 탐지한다.
객체 추적부(400)는 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 영상 특징 정보와 상기 제1 영상 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적한다.
이상의 본 실시예에 따른 다중 카메라 환경에서 객체 추적 장치(100)의 각 구성은 상술한 실시예에 따른 다중 카메라 환경에서 객체 추적 방법에서 대응되는 각 단계를 수행하는 것으로, 이에 대한 상세한 설명은 중복되므로 생략한다.
한편 본 발명의 다중 카메라 환경에서 객체 추적 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 제1 카메라로부터 입력된 영상에서 객체의 제1 특징 정보를 생성하는 단계;
    상기 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하는 단계; 및
    상기 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 영상 특징 정보와 상기 제1 영상 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적하는 단계를 포함하는 다중 카메라 환경에서 객체 추적 방법.
  2. 제 1 항에 있어서,
    상기 추적하는 단계는 상기 제1 영상 특징 정보와 상기 제2 영상 특징 정보의 유사도가 미리 결정된 기준값 이상인 경우 상기 객체를 추적하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 방법.
  3. 제 1 항에 있어서,
    상기 식별 정보를 인식하는 것은 상기 객체에 구비되는 단말로부터 단말의 단말 식별 정보를 입력 받는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 방법.
  4. 제 3 항에 있어서 상기 다중 카메라 환경에서 객체 추적 방법은,
    상기 특징 정보를 생성하는 단계에 앞서,
    상기 입력된 영상에서 객체를 추출하는 단계를 더 포함하고,
    상기 특징 정보를 생성하는 단계는 상기 추출된 객체의 단말로부터 입력 받은 상기 단말 식별 정보 및 상기 객체의 영상 특징 정보를 포함하는 상기 특징 정보를 생성하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 방법.
  5. 제 1 항에 있어서 상기 제2 카메라를 탐지하는 단계는,
    상기 제1 카메라 외의 다른 카메라의 촬영 영역에 존재하는 객체의 식별 정보를 입력 받는 단계; 및
    상기 영역을 벗어난 객체에 대한 식별 정보와 상기 입력 받은 객체의 식별 정보를 비교하여 상기 다른 카메라 중 제2 카메라를 탐지하는 단계를 포함하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 방법.
  6. 제 5 항에 있어서 상기 제2 카메라를 탐지하는 단계는,
    상기 제1 카메라로부터 상기 제1 카메라로 상기 객체의 추적을 핸드 오버하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 방법.
  7. 제 2 항에 있어서 상기 다중 카메라 환경에서 객체 추적 방법은,
    상기 유사도가 상기 기준값에 미달하는 경우 상기 제2 카메라를 탐지하는 단계를 재 수행하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 방법.
  8. 제1 카메라로부터 입력된 영상에서 객체의 제1 영상 특징 정보를 생성하는 특징 정보 생성부;
    상기 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하는 카메라 탐지부; 및
    상기 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 영상 특징 정보와 상기 제1 영상 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적하는 객체 추적부를 포함하는 다중 카메라 환경에서 객체 추적 장치.
  9. 제 8 항에 있어서,
    상기 객체 추적부는 상기 제1 영상 특징 정보와 상기 제2 영상 특징 정보의 유사도가 미리 결정된 기준값 이상인 경우 상기 객체를 추적하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 장치.
  10. 제 8 항에 있어서,
    상기 식별 정보를 인식하는 것은 상기 객체에 구비되는 단말로부터 단말의 단말 식별 정보를 입력 받는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 장치.
  11. 제 10 항에 있어서 상기 다중 카메라 환경에서 객체 추적 장치는,
    상기 입력된 영상에서 객체를 추출하는 객체 추출부를 더 포함하고,
    상기 특징 정보 생성부는 상기 추출된 객체의 단말로부터 입력 받은 상기 단말 식별 정보 및 상기 객체의 영상 특징 정보를 포함하는 상기 특징 정보를 생성하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 장치.
  12. 제 9 항에 있어서 상기 카메라 탐지부는,
    상기 제1 카메라 외의 다른 카메라의 촬영 영역에 존재하는 객체의 식별 정보를 입력 받는 식별 정보 입력부; 및
    상기 영역을 벗어난 객체에 대한 식별 정보와 상기 입력 받은 객체의 식별 정보를 비교하여 상기 다른 카메라 중 제2 카메라를 탐지하는 제2 카메라 탐지부를 포함하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 장치.
  13. 제 12 항에 있어서 상기 제2 카메라 탐지부는,
    상기 제1 카메라로부터 상기 제2 카메라로 상기 객체의 추적을 핸드 오버하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 장치.
  14. 제 9 항에 있어서 상기 다중 카메라 환경에서 객체 추적 장치는,
    상기 유사도가 상기 기준값에 미달하는 경우 상기 카메라 탐지부는 상기 제2 카메라를 재 탐지 하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 장치.
  15. 추적하고자 하는 객체에 대한 식별 정보를 포함하는 단말;
    상기 객체를 포함하는 영상을 촬영하는 복수의 카메라;
    상기 카메라로부터 촬영된 영상으로부터 객체를 추적하여 상기 객체의 특징 정보를 생성하고, 상기 객체가 일 카메라의 촬영 영역을 벗어나는 경우 상기 객체의 상기 식별 정보가 인식되는 다른 카메라를 탐지하여 카메라를 핸드 오버하는 카메라 제어 장치를 포함하는 다중 카메라 환경에서 객체 추적 시스템.
  16. 제 15 항에 있어서,
    상기 카메라 제어 장치는 상기 일 카메라에서 상기 객체의 영상 특징 정보와 상기 다른 카메라에서 객체의 영상 특징 정보의 유사도가 미리 결정된 기준값 이상인 경우 상기 객체를 추적하는 것을 특징으로 하는 다중 카메라 환경에서 객체 추적 시스템.
  17. 제1 카메라로부터 입력된 영상에서 객체의 제1 특징 정보를 생성하는 단계;
    상기 제1 카메라의 촬영 영역을 상기 객체가 벗어나는 경우 상기 객체에 대한 식별 정보가 인식되는 제2 카메라를 탐지하는 단계; 및
    상기 제2 카메라로부터 입력된 영상에서의 생성된 객체의 제2 영상 특징 정보와 상기 제1 영상 특징 정보를 비교하여 상기 제2 카메라로부터 입력된 영상에서 객체를 추적하는 단계를 포함하는 다중 카메라 환경에서 객체 추적 방법을 수행하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체.
KR1020130002836A 2013-01-10 2013-01-10 다중 카메라 환경에서 객체 추적 방법 및 장치 KR20140090795A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130002836A KR20140090795A (ko) 2013-01-10 2013-01-10 다중 카메라 환경에서 객체 추적 방법 및 장치
US14/140,866 US20150332476A1 (en) 2013-01-10 2013-12-26 Method and apparatus for tracking object in multiple cameras environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130002836A KR20140090795A (ko) 2013-01-10 2013-01-10 다중 카메라 환경에서 객체 추적 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140090795A true KR20140090795A (ko) 2014-07-18

Family

ID=51738240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130002836A KR20140090795A (ko) 2013-01-10 2013-01-10 다중 카메라 환경에서 객체 추적 방법 및 장치

Country Status (2)

Country Link
US (1) US20150332476A1 (ko)
KR (1) KR20140090795A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135922A1 (ko) * 2017-01-23 2018-07-26 광주과학기술원 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
KR20190047748A (ko) * 2017-10-18 2019-05-09 한국전자통신연구원 영상의 객체 처리 방법 및 장치
KR20200015610A (ko) * 2018-02-12 2020-02-12 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 보행자 재식별 방법, 장치, 전자 기기 및 저장 매체
KR102270858B1 (ko) * 2021-04-08 2021-06-29 주식회사 코앨 객체 추적을 위한 cctv 카메라 시스템
KR20220076089A (ko) * 2020-11-30 2022-06-08 라이트비전 주식회사 이동체 추적이 가능한 핸드오버 시스템 및 이를 동작시키는 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257557B2 (en) * 2015-06-25 2019-04-09 At&T Intellectual Property I, L.P. Customized media streams
CN105741325B (zh) * 2016-03-15 2019-09-03 上海电气集团股份有限公司 一种跟踪移动目标的方法及移动目标跟踪设备
US11243305B2 (en) 2019-12-20 2022-02-08 Motorola Solutions, Inc. Method, system and computer program product for intelligent tracking and data transformation between interconnected sensor devices of mixed type
KR20210112800A (ko) * 2020-03-06 2021-09-15 한국전자통신연구원 객체 추적 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135922A1 (ko) * 2017-01-23 2018-07-26 광주과학기술원 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
KR20180086803A (ko) * 2017-01-23 2018-08-01 광주과학기술원 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
KR20190047748A (ko) * 2017-10-18 2019-05-09 한국전자통신연구원 영상의 객체 처리 방법 및 장치
US10659680B2 (en) 2017-10-18 2020-05-19 Electronics And Telecommunications Research Institute Method of processing object in image and apparatus for same
KR20200015610A (ko) * 2018-02-12 2020-02-12 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 보행자 재식별 방법, 장치, 전자 기기 및 저장 매체
US11301687B2 (en) 2018-02-12 2022-04-12 Beijing Sensetime Technology Development Co., Ltd. Pedestrian re-identification methods and apparatuses, electronic devices, and storage media
KR20220076089A (ko) * 2020-11-30 2022-06-08 라이트비전 주식회사 이동체 추적이 가능한 핸드오버 시스템 및 이를 동작시키는 방법
KR102270858B1 (ko) * 2021-04-08 2021-06-29 주식회사 코앨 객체 추적을 위한 cctv 카메라 시스템

Also Published As

Publication number Publication date
US20150332476A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
KR20140090795A (ko) 다중 카메라 환경에서 객체 추적 방법 및 장치
US20230077355A1 (en) Tracker assisted image capture
CN109446942B (zh) 目标跟踪方法、装置和***
US9852511B2 (en) Systems and methods for tracking and detecting a target object
KR101557376B1 (ko) 사람 계수 방법 및 그를 위한 장치
Yu et al. Trajectory-based ball detection and tracking in broadcast soccer video
CN110268440B (zh) 图像解析装置、图像解析方法、以及存储介质
KR102349059B1 (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3531340B1 (en) Human body tracing method, apparatus and device, and storage medium
US20160350615A1 (en) Image processing apparatus, image processing method, and storage medium storing program for executing image processing method
KR20150031985A (ko) 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법
KR102022971B1 (ko) 영상의 객체 처리 방법 및 장치
KR100970119B1 (ko) 적응적으로 객체를 추적하는 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
CN107480580B (zh) 图像识别方法和图像识别装置
CN113837006B (zh) 一种人脸识别方法、装置、存储介质及电子设备
US11244154B2 (en) Target hand tracking method and apparatus, electronic device, and storage medium
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
KR102496462B1 (ko) 비디오에서 키프레임 추출을 위한 알고리즘
JP2012221002A (ja) ユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラム
KR20170039113A (ko) 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치
KR100840022B1 (ko) 프리뷰 히스토리를 참조로 디지털 데이터에 포함된 인물을인식하는 방법 및 시스템
KR20150103444A (ko) 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid