KR20210114309A - 다중 cctv 환경에서의 보행자 추적 장치 및 방법 - Google Patents

다중 cctv 환경에서의 보행자 추적 장치 및 방법 Download PDF

Info

Publication number
KR20210114309A
KR20210114309A KR1020200041019A KR20200041019A KR20210114309A KR 20210114309 A KR20210114309 A KR 20210114309A KR 1020200041019 A KR1020200041019 A KR 1020200041019A KR 20200041019 A KR20200041019 A KR 20200041019A KR 20210114309 A KR20210114309 A KR 20210114309A
Authority
KR
South Korea
Prior art keywords
pedestrian
patch
feature map
identification
tracking
Prior art date
Application number
KR1020200041019A
Other languages
English (en)
Other versions
KR102355006B1 (ko
Inventor
이상윤
정태영
조명아
이현성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of KR20210114309A publication Critical patent/KR20210114309A/ko
Application granted granted Critical
Publication of KR102355006B1 publication Critical patent/KR102355006B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 미리 학습된 패턴 추정 방식에 따라 획득된 영상의 특징을 추출하여 로우 레벨 특징맵을 획득하는 로우 레벨 특징 추출부, 미리 학습된 패턴 추정 방식에 따라 상기 로우 레벨 특징맵에서 보행자가 포함된 영역을 추출하여 패치를 획득하는 보행자 검출부, 상기 패치를 인가받고 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 패치 특징맵을 획득하는 특징 추출부, 보행자를 재식별하기 위한 재식별용 패치 특징맵이 획득되면, 상기 재식별용 패치 특징맵과 상기 패치 특징맵을 비교하여 동일 보행자에 대한 패치 특징맵을 탐색하여 보행자를 재식별하는 재식별부 및 다수 프레임의 영상 중 서로 다른 프레임 영상에서 획득된 패치 특징맵을 서로 비교하여 대응하는 패치 특징맵을 탐색하여, 보행자를 추적하는 추적부를 포함하여, 구성을 일부 공유하고, 재식별 또는 추적을 위해 획득된 특징을 보행자 추적 및 재식별을 위한 특징으로 재사용하여 연산량을 저감하여 효율성을 극대화할 수 있으며, 폐색과 같은 급격한 변화에도 강인하게 보행자를 추적하는 보행자 추적 장치 및 방법을 제공할 수 있다.

Description

다중 CCTV 환경에서의 보행자 추적 장치 및 방법{APPARATUS AND METHOD FOR TRACKING PEDESTRIANS IN MULTIPLE CCTV ENVIRONMENT}
본 발명은 보행자 추적 장치 및 방법에 관한 것으로, 다중 CCTV 환경에서의 보행자 추적 장치 및 방법에 관한 것이다.
CCTV에 촬영된 영상을 통해 보행자를 판별하여 추적하는 기술에는 크게 촬영된 영상에서 보행자를 검출(detection)하는 기술과 하나의 카메라에서 촬영된 보행자들을 서로 혼동하지 않고 특정 보행자를 추적(Tracking)하는 기술 및 각기 다른CCTV에서 촬영된 영상들에서 각 대상이 서로 동일인물임을 밝혀내는 재식별(Re-identification) 기술로 구분될 수 있다.
그리고 보행자를 검출하는 기술과 하나의 CCTV에서 촬영된 영상에서 특정 보행자를 추적하는 기술 및 서로 다른 CCTV에서 촬영된 영상들에서 대상이 동일인물임을 밝혀내는 재식별 기술 모두 이미 많은 연구가 진행되었다. 다만 다수의 CCTV를 활용할 수 있는 다중 CCTV 환경에서 특정 보행자를 지속적으로 추적하고 이동경로를 파악하고자 하는 경우, 추적 기술이나 재식별 기술 중 하나만으로는 불가능하므로, 추적과 재식별 기술을 유기적으로 연계해야 한다.
그러나 기존의 추적 기술과 재식별 기술은 대부분 개별적으로 연구가 진행되어 왔으며, 이로 인해 추적 기술과 재식별 기술의 유기적 연계가 용이하지 않다. 특히 최근에는 보행자 추적 기술에 인공 신경망이 주로 적용되고 있으며, 보행자 추적을 위한 신경망과 재식별을 위한 신경망이 별도로 구성됨에 따라 구성이 매우 복잡하여 고비용 고성능의 장비를 요구할 뿐만 아니라, 인공 신경망을 학습시키기 위한 학습 시간이 매우 오래 소요되어 효율성이 낮다는 한계가 있다.
한국 공개 특허 제10-2019-0078270호 (2019.07.04 공개)
본 발명의 목적은 보행자를 검출, 추적 및 재식별하는 구성을 공유하여 다중 CCTV 환경에서 효율적으로 보행자를 재식별하여 추적할 수 있는 보행자 추적 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 보행자 재식별 또는 추적을 위해 획득된 특징을 추적 또는 재사용을 위한 특징으로 재사용함으로써, 연산량을 줄일 수 있는 보행자 추적 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 특징 재사용으로 인한 성능 저하를 억제할 수 있으며, 폐색과 같은 급격한 변화에 강인한 보행자 추적 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 보행자 추적 장치는 미리 학습된 패턴 추정 방식에 따라 획득된 영상의 특징을 추출하여 로우 레벨 특징맵을 획득하는 로우 레벨 특징 추출부; 미리 학습된 패턴 추정 방식에 따라 상기 로우 레벨 특징맵에서 보행자가 포함된 영역을 추출하여 패치를 획득하는 보행자 검출부; 상기 패치를 인가받고 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 패치 특징맵을 획득하는 특징 추출부; 보행자를 재식별하기 위한 재식별용 패치 특징맵이 획득되면, 상기 재식별용 패치 특징맵과 상기 패치 특징맵을 비교하여 동일 보행자에 대한 패치 특징맵을 탐색하여 보행자를 재식별하는 재식별부; 및 다수 프레임의 영상 중 서로 다른 프레임 영상에서 획득된 패치 특징맵을 서로 비교하여 대응하는 패치 특징맵을 탐색하여, 보행자를 추적하는 추적부를 포함한다.
상기 보행자 추적 장치는 상기 추적부에서 추적하는 동일 보행자에 대한 패치 특징맵을 기지정된 방식으로 가중 누적하여 상기 재식별용 패치 특징맵을 생성하는 패치 특징 누적부를 더 포함할 수 있다.
상기 보행자 추적 장치는 대응하는 적어도 하나의 CCTV에서 획득되는 영상에서 추적하는 보행자가 이탈하여 추적되지 않는 경우, 상기 재식별용 패치 특징맵을 상기 재식별부로 전달할 수 있다.
상기 보행자 추적 장치는 다른 보행자 추적 장치와 통신을 수행하는 통신부를 더 포함하고, 대응하는 적어도 하나의 CCTV에서 획득된 영상에서 추적하는 보행자가 이탈하여 추적되지 않는 경우, 상기 재식별용 패치 특징맵을 상기 통신부를 통해 다른 보행자 추적 장치로 전달할 수 있다.
상기 추적부는 상기 재식별부가 보행자를 재식별하기 위해 이전 획득한 패치 특징맵을 현재 획득된 패치 특징맵과 서로 비교하여 보행자를 추적할 수 있다.
상기 보행자 검출부는 미리 학습된 패턴 추정 방식에 따라 로우 레벨 특징맵에서 보행자가 포함된 영역을 추정하여, 경계 박스의 위치 및 크기를 설정하는 경계 박스 설정부; 및 상기 로우 레벨 특징맵에서 설정된 경계 박스에 대응하는 영역을 추출하여 패치를 획득하는 패치 획득부를 포함할 수 있다.
상기 로우 레벨 특징 추출부는 다른 보행자 추적 장치가 획득된 영상에서 보행자 영역을 추출한 패치 이미지가 인가되면, 인가된 패치 이미지에 대해 로우 레벨 특징 추출하여 로우 레벨 패치를 획득할 수 있다.
상기 특징 추출부는 상기 로우 레벨 패치에 대해 특징을 추출하여 상기 재식별용 패치 특징맵을 획득할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 보행자 추적 방법은 미리 학습된 패턴 추정 방식에 따라 획득된 영상의 특징을 추출하여 로우 레벨 특징맵을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 상기 로우 레벨 특징맵에서 보행자가 포함된 영역을 추출하여 패치를 획득하여 보행자를 검출하는 단계; 상기 패치를 인가받고 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 패치 특징맵을 획득하는 단계; 보행자를 재식별하기 위한 재식별용 패치 특징맵이 획득되면, 상기 재식별용 패치 특징맵과 상기 패치 특징맵을 비교하여 동일 보행자에 대한 패치 특징맵을 탐색하여 보행자를 재식별하는 단계; 및 다수 프레임의 영상 중 서로 다른 프레임 영상에서 획득된 패치 특징맵을 서로 비교하여 대응하는 패치 특징맵을 탐색하여, 보행자를 추적하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 보행자 추적 장치 및 방법은 다중 CCTV 환경에서 보행자를 검출, 추적 및 재식별하는 구성을 일부 공유하고, 재식별 또는 추적을 위해 획득된 특징을 보행자 추적 및 재식별을 위한 특징으로 재사용하여 연산량을 저감하여 효율성을 극대화할 수 있으며, 폐색과 같은 급격한 변화에도 강인하게 보행자를 추적할 수 있다.
도 1은 보행자 추적 시스템의 개략적 구조를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 보행자 추적 장치의 개략적 구조를 나타낸다.
도 3 및 도 4는 보행자를 검출하여 추적하는 동작을 설명하기 위한 도면이다.
도 5는 보행자를 추적하는 동작을 설명하기 위한 도면이다.
도 6은 보행자를 재식별하는 동작을 설명하기 위한 도면이다.
도 7은 보행자 이미지에 폐색이 발생된 경우의 일예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 보행자 추적 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 보행자 추적 시스템의 개략적 구조를 나타낸다.
도 1을 참조하면, 보행자 추적 시스템은 다수의 CCTV와 다수의 CCTV 각각에서 획득된 영상 중 대응하는 CCTV에서 획득된 영상을 인가받아, 영상에 포함된 보행자를 검출하여 추적하는 적어도 하나의 보행자 추적 장치(100 ~ 300)를 포함할 수 있다.
도 1에서 보행자 추적 시스템에서 보행자 추적 장치(100 ~ 300)는 하나의 CCTV와 일대 일로 대응하는 보행자 추적 장치(100, 200)와 다수의 CCTV에 대응하는 보행자 추적 장치(300)로 구분될 수 있다. 보행자 추적 장치(100, 200)는 대응하는 하나의 CCTV에서 획득된 영상을 분석하여 보행자를 판별하고 추적할 수 있다.
한편 보행자 추적 장치(300)는 대응하는 다수의 CCTV 각각에서 획득된 영상을 분석하여 보행자를 검출하고, 검출된 보행자를 추적한다. 뿐만 아니라, 대응하는 다수의 CCTV 중 하나의 CCTV에서 획득된 영상을 통해 추적되던 보행자가 다른 CCTC에서 획득된 영상에서 검출되는 여부를 확인하는 재식별을 수행할 수 있다. 보행자 추적 장치(300)는 재식별을 통해 하나의 CCTV에서 획득된 영상의 보행자가 CCTV의 영역을 벗어나더라도 다른 CCTV를 통해 추적을 계속할 수 있다. 또한 서로 다른 CCTV가 중첩된 영역을 촬영하는 경우, 각각의 CCTV에서 획득된 영상에서 공통으로 포함된 보행자를 중첩하여 식별 및 추적할 수도 있다.
여기서 보행자 추적 장치(100 ~ 300)는 획득된 영상에 다수의 보행자가 포함된 경우, 다수의 보행자 각각에 대해 개별적으로 검출 및 추적할 수 있다.
다만 보행자 추적 장치(100, 200)는 하나의 CCTV에서 획득된 영상의 보행자만을 추적하므로, 보행자가 대응하는 CCTV의 촬영 영역을 벗어나면 더 이상 추적할 수 없게 된다. 또한 보행자 추적 장치(300)는 보행자가 대응하는 다수의 CCTV에 의한 모든 촬영 영역에서 벗어나게 되면, 더 이상 추적할 수 없게 된다.
이러한 한계를 극복하기 위하여 최근에는 보행자 추적 장치(100 ~ 300) 각각은 통신 모듈을 포함하여, 다른 보행자 추적 장치가 대응하는 CCTV를 통해 획득한 영상을 네트워크를 통해 인가받을 수 있도록 구성된다. 이에 적어도 하나의 보행자 추적 장치(100 ~ 300) 각각은 비록 대응하는 CCTV에서 획득된 영상으로부터 이전 판별되지 않은 보행자일 지라도, 다른 보행자 추적 장치에서 추적되던 보행자가 대응하는 CCTV에서 획득된 영상에 포함되어 있는지 여부를 확인하기 위해 재식별을 수행할 수 있으며, 자신이 추적하던 보행자가 포함된 영상을 다른 보행자 추적 장치로 전달할 수 있다.
기존에는 보행자 추적 장치 각각이 재식별을 위해 CCTV에서 획득된 영상에서 보행자가 포함되는 영역에 설정된 경계 박스(Bounding box)에 의해 별도로 추출된 패치 이미지를 다른 보행자 추적 장치로 전송하였다. 여기서 보행자 추적 장치가 CCTV에서 획득된 영상의 전체 영역이 아니라, 별도로 추출된 패치 이미지를 전송하는 것은 다른 보행자 추적 장치가 패치 이미지로부터 추적해야 하는 보행자를 정확하게 식별할 수 있도록 하기 위해서이다.
그러나 본 실시예에 따른 보행자 추적 장치(100 ~ 300)는 CCTV에서 획득된 영상에서 경계 영역에 따라 추출된 패치 이미지 대신, 보행자 추적을 위해 이미 추출된 패치 특징맵을 재식별용 패치 특징맵으로서 다른 보행자 추적 장치로 전달할 수 있다. 재식별용 패치 특징맵을 전달받은 보행자 추적 장치는 전달된 재식별용 패치 특징맵에 대해 별도의 특징 추출 과정 없이 그대로 이용하여 재식별을 수행할 수 있다. 즉 본 실시예에 따른 보행자 추적 장치는 다른 보행자 추적 장치에서 추적을 위해 획득한 패치 특징맵을 재식별용 패치 특징맵으로서 재식별을 위해 이용할 수 있다. 또한 재식별을 위해 추출한 패치 특징맵을 추적을 위해 재사용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 보행자 추적 장치의 개략적 구조를 나타낸다.
도 2를 참조하면, 본 실시예에 따른 보행자 추적 장치는 영상 획득부(110), 로우 레벨 특징 추출부(120), 보행자 검출부(130), 특징 추출부(140), 추적부(150), 재식별부(160), 패치 특징 누적부(170) 및 통신부(180)를 포함할 수 있다.
영상 획득부(100)는 보행자를 검출하여 추적 또는 재식별하기 위한 영상을 획득한다. 영상 획득부(100)는 도 1에 도시된 CCTV나 카메라 등과 같이 영상 획득 수단으로 구현될 수 있으며, 영상 획득 수단에서 획득된 영상을 저장하는 저장 장치 등으로 구현될 수 있다. 여기서 영상 획득부(100)는 영상을 연속하는 다수 프레임의 영상으로 획득할 수 있다.
로우 레벨 특징 추출부(120)는 영상 획득부(100)에서 획득한 영상을 인가받고, 미리 학습된 패턴 추정 방식에 따라 인가된 영상의 특징을 추출하여 로우 레벨 특징맵을 출력한다. 즉 로우 레벨 특징 추출부(120)는 획득된 영상 전체 영역에 대한 특징을 추출하여 로우 레벨 특징맵을 출력한다.
한편 다른 보행자 검출 장치로부터 통신부(180)를 통해 패치 특징맵이 아닌 패치 이미지가 인가된 경우, 로우 레벨 특징 추출부(120)는 인가된 패치 이미지의 특징을 추출하여 재식별 패치를 출력한다.
상기한 바와 같이, 본 실시예에 따른 다수의 보행자 추적 장치(100 ~ 300)는 다른 보행자 추적 장치가 보행자를 재식별할 수 있도록 재식별용 패치 특징맵을 전달하도록 구성되며, 재식별용 패치 특징맵은 이미 다른 보행자 추적 장치에서 로우 레벨 특징 및 특징이 추출된 결과이므로, 추가적으로 특징을 추출하지 않아도 무방하다.
그러나 경우에 따라서 보행자 추적 장치(100 ~ 300)는 패치 이미지를 전송하는 기존의 보행자 추적 장치가 추적중인 보행자를 재식별해야 하는 경우도 발생할 수 있다. 패치 이미지는 CCTV가 획득한 원본 이미지의 일부 영역이므로, 로우 레벨 특징 추출부(120)는 영상 획득부(100)에서 획득한 영상으로부터 로우 레벨 특징맵을 획득하는 것과 마찬가지로 패치 이미지로부터 특징을 추출하여 재식별 패치를 획득하여 서로 유사해지도록 변환한다.
기존의 보행자 추적 장치의 경우, 보행자 검출을 위한 로우 레벨 특징 추출부(120)와 별도로 재식별을 위해 패치 이미지로부터 재식별 패치를 추출하기 위한 패치 로우 레벨 특징 추출부를 더 구비하였으나, 본 실시예에 따른 보행자 추적 장치(100 ~ 300)는 로우 레벨 특징 추출부(120)가 패치 이미지로부터 재식별 패치를 추출할 수 있도록 구성함에 따라 패치 로우 레벨 특징 추출부를 별도로 구비할 필요가 없다. 뿐만 아니라 다른 보행자 추적 장치로부터 재식별용 패치 특징맵이 인가되는 경우, 로우 레벨 특징 추출부(120)를 거치지 않아도 무방하다.
보행자 검출부(130)는 로우 레벨 특징 추출부(120)에서 추출된 로우 레벨 특징맵을 인가받고, 미리 학습된 패턴 추정 방식에 따라 로우 레벨 특징맵의 패턴으로부터 보행자가 포함된 영역을 검출하여 패치를 획득한다.
보행자 검출부(130)는 경계 박스 설정부(131) 및 패치 획득부(132)를 포함할 수 있다. 우선 경계 박스 설정부(131)는 로우 레벨 특징맵을 인가받고, 미리 학습된 패턴 추정 방식에 따라 로우 레벨 특징맵에서 보행자가 포함된 영역을 추정하여, 경계 박스의 위치 및 크기를 설정한다.
도 3 및 도 4는 보행자를 검출하여 추적하는 동작을 설명하기 위한 도면이다.
도 3에서 보라색 직사각형으로 표시된 바와 같이, 경계 박스 설정부(131)는 영상 획득부(100)가 획득한 영상에서 보행자를 검출하고, 검출된 보행자가 포함되는 영역의 크기를 추정하여 대응하는 크기의 경계 박스를 설정할 수 있다. 도 3에서는 일 예로 경계 박스가 가장 일반적으로 이용되는 직사각형 형태로 설정되는 것으로 설명하였으나, 경계 박스의 형태는 다양하게 조절될 수 있다. 그리고 경계 박스 설정부(131)는 도 3 및 도 4에 도시된 바와 같이, 영상에 다수의 보행자가 포함된 경우, 다수의 보행자를 각각 검출하여 다수의 경계 박스를 설정할 수 있다. 이때 경계 박스 설정부(131)는 검출된 다수의 보행자에 대응하는 영역을 각각 추정하여 다양한 크기의 다수의 경계 박스를 설정할 수 있다.
또한 경우에 따라서 경계 박스 설정부(131)는 더욱 정확하게 보행자를 추정하여 경계 박스를 설정할 수 있도록 추적부(150)가 보행자를 추적한 결과를 인가받아 영상에서 보행자를 판별하는데 이용할 수 있다. 이는 도 3에서 붉은색 선으로 표시되고, 도 4에서 보라색 및 녹색 화살표로 표시된 바와 같이, 이전 획득된 영상을 이용하여 추적 중이던 보행자의 경우, 보행자의 이동 방향이 미리 예측될 수 있음에 따라 더욱 정확하게 보행자를 판별하고, 경계 박스를 설정할 수 있기 때문이다.
한편, 패치 획득부(132)는 경계 박스 설정부(131)에 의해 경계 박스가 설정되면, 패치 획득부(132)는 로우 레벨 특징맵에서 설정된 경계 박스에 대응하는 영역을 추출하여 패치를 획득한다. 즉 보행자 영역에 대응하는 크기의 로우 레벨 특징맵을 패치로서 획득한다.
다만 재식별 패치의 경우, 이미 다른 보행자 추적 장치에서 검출된 보행자 영역에 대한 패치이므로, 보행자 검출부(130)가 별도로 보행자를 검출할 필요가 없으므로 로우 레벨 특징 추출부(120)는 재식별 패치를 곧바로 특징 추출부(140)로 전달할 수 있다.
특징 추출부(140)는 보행자 검출부(130)에서 획득된 패치를 인가받고 미리 학습된 패턴 추정 방식에 따라 패치의 특징을 추출하여 패치 특징맵을 획득한다.
패치는 이미 로우 레벨 특징 추출부(120)가 영상에서 특징을 추출하여 획득한 로우 레벨 특징맵의 일부 영역이다. 그럼에도 특징 추출부(140)가 패치에 대해 다시 특징을 추출하여 패치 특징맵을 획득하는 것은 패치에 포함된 보행자의 특징을 정확하게 추출하여 보행자를 구분할 수 있도록 하기 위함이다.
상기한 바와 같이 로우 레벨 특징 추출부(120)는 영상에서 보행자 영역을 정확하게 추정하기 위해 영상에서 특징을 추출하여 로우 레벨 특징맵을 획득한다. 따라서 로우 레벨 특징맵의 일부 영역인 패치는 보행자를 식별하기에는 적합하지 않다. 이에 특징 추출부(140)는 미리 학습된 패턴 추정 방식에 따라 보행자를 식별하기 용이하도록 특징을 추출하여 패치 특징맵을 획득한다.
또한 특징 추출부(140)는 재식별 패치가 인가되는 경우에 재식별 패치에 대해서도 특징을 추출하여 재식별용 패치 특징맵을 획득하고, 획득된 재식별용 패치 특징맵을 재식별부(160)로 전달한다. 여기서 재식별 패치는 이미 다른 보행자 추적 장치에서 추적된 보행자를 재식별하기 위해 획득된 패치이므로, 특징 추출부(140)는 재식별 패치로부터 획득된 재식별용 패치 특징맵을 재식별부(160)로 전달한다.
영상에서 보행자 영역을 검출하기 위해 특징을 검출하는 로우 레벨 특징 추출부(120)와 패치 특징맵에서 보행자를 식별하기 위해 특징을 검출하는 특징 추출부(140)의 기능을 수행하는 인공 신경망의 구성은 이미 다양하게 공개되어 있으므로, 공개된 인공 신경망을 학습시켜 사용할 수 있다. 뿐만 아니라 이미 학습이 수행된 인공 신경망 또한 다양하게 공개되어 있으므로, 학습된 인공 신경망을 그대로 이용할 수도 있다. 따라서 여기서는 로우 레벨 특징 추출부(120)와 특징 추출부(140)를 구성하는 인공 신경망에 대한 상세한 설명은 생략한다.
도 5는 보행자를 재식별하는 동작을 설명하기 위한 도면이다.
추적부(150)는 특징 추출부(140)에서 획득된 패치 특징맵을 인가받고, 이전 획득된 패치 특징맵과 유사도를 비교하여, 보행자를 추적한다. 상기한 바와 같이, 보행자 추적 장치에서 영상 획득부(110)는 도 5의 (a) 및 (b)에 도시된 바와 같이, 시간적으로 연속하는 다수 프레임의 영상을 획득할 수 있다. 그리고 추적부(150)는 각 프레임 영상에서 검출된 패치에 대해 (c) 및 (d)와 같이 특징 추출부(140)가 추출한 패치 특징맵 사이의 유사도를 분석하여 동일 보행자에 대한 패치 특징맵인지를 판별한다. 즉 추적부(150)는 다수 프레임 영상에서 이전 프레임에서 각각에서 검출된 패치로부터 추출된 패치 특징맵과 현재 프레임에서 추출된 패치 특징맵 사이의 유사도를 분석하여 동일 보행자에 대한 패치 특징맵인지를 판별할 수 있다.
여기서 유사도 분석은 다양한 방식으로 수행될 수 있으나, 일예로 이전 패치 특징맵과 현재 패치 특징맵에서 서로 대응하는 픽셀간 코사인 유사도로 계산될 수 있으며, 추적부(150)는 패치 특징맵 사이에서 계산된 유사도가 기지정된 기준 유사도 이상이면 동일 보행자에 대한 패치 특징맵인 것으로 판별할 수 있다.
추적부(150)는 다수의 프레임 각각에서 다수의 패치 특징맵이 획득된 경우에도, 인접한 프레임에서 획득된 다수의 패치 특징맵들 사이의 유사도를 분석하여 동일한 보행자에 대한 패치 특징맵들을 판별할 수 있다.
그리고 추적부(150)는 연속하는 다수의 프레임에서 동일한 보행자에 대한 패치 특징맵을 계속적으로 판별함으로써, 도 3 및 도 4와 같이, 영상에서 검출된 각 보행자의 위치 변화를 추적하여 표시할 수 있다.
경우에 따라서 추적부(150)는 경계 박스 설정부(131)와 마찬가지로 이전 추적된 보행자의 이동 방향 또는 이동 경로를 더 반영하여 패치 특징맵들 사이의 유사도를 분석할 수도 있다.
한편 본 실시예에 따른 재식별부(160)는 다른 CCTV에서 획득된 영상에 대해 보행자를 추적하기 위해 이전 획득한 재식별용 패치 특징맵 또는 다른 보행자 추적 장치가 보행자를 추적하기 위해 획득한 재식별용 패치 특징맵이 획득되면, 재식별용 패치 특징맵과 특징 추출부(140)에서 현재 획득된 패치 특징맵과 비교함으로써, 보행자를 재식별한다.
도 6은 보행자를 재식별하는 동작을 설명하기 위한 도면이다.
상기한 바와 같이, 단일 CCTV 환경에서는 하나의 CCTV에서 획득된 영상에 포함된 보행자가 영상의 외부 영역으로 이동하게 되면, 더 이상 추적할 수 없게 된다. 그러나 도 6에 도시된 바와 같이, 다수의 CCTV가 배치된 환경에서는 하나의 CCTV가 획득한 영상에 포함된 보행자가 영상의 외부 영역으로 이동하면, 다른 CCTV가 획득한 영상에 포함될 수 있다. 또한 다수의 CCTV가 촬영하는 영역이 중첩되는 경우에는 각각의 CCTV가 획득한 영상에 동일한 보행자가 동시에 포함될 수도 있다.
이 경우, 서로 다른 CCTV에서 획득된 영상에 포함된 보행자가 동일한 사람인지 아닌지 여부를 재식별할 필요가 있다. 도 6에서는 2개의 CCTV가 (a)와 (b) 영상을 획득하였으며, (a) 영상에서 추적되는 보행자(c)는 (b) 영상의 다수의 보행자(d ~ f) 중 한 사람일 수 있다. 도 5에서는 (a) 영상의 보행자(c)는 (b)영상의 보행자(d)와 동일한 사람이다. 따라서 보행자 추적 장치는 다른 CCTV에서 획득된 영상에서 추적하던 보행자 또는 다른 보행자 추적 장치가 추적하던 보행자를 계속적으로 추적해야 할 필요가 있으며, 이를 위해서는 우선 이전 추적 중이던 보행자와 현재 영상에 포함된 보행자가 동일한 사람인지를 재식별해야만 한다.
다만, 도 6의 (c)와 (d)에서 나타나는 바와 같이, 다른 CCTV 또는 다른 보행자 추적 장치에서 추적하던 사용자에 대한 패치 이미지와 현재 영상에서 획득된 패치 이미지 사이에는 영상 촬영 각도나 거리, 주변 환경 등에 의해 매우 차이가 크게 나타난다. 따라서 패치 이미지와의 직접적인 비교는 어렵기 때문에 보행자를 식별하기 위해 특징이 추출된 재식별용 패치 특징맵과 패치 특징맵 사이의 유사도 비교를 통해 보행자를 재식별한다.
여기서 재식별용 패치 특징맵은 상기한 바와 같이, 특징 추출부(140)에 의해 재식별 패치에서 특징이 추출되어 인가될 수도 있으나, 다른 보행자 추적 장치에서 보행자 추적을 위해 획득된 패치 특징맵이 재식별용 패치 특징맵으로서 통신부(180)를 통해 전달될 수도 있다.
즉 본 실시예에 따른 보행자 추적 장치에서 추적부(150)는 재식별을 위해 획득된 패치 특징맵을 그대로 이용하여 다음 프레임 영상에서 추출되는 패치 특징맵과의 비교하여 보행자를 추적할 수 있으며, 재식별부(160)는 다른 보행자 추적 장치가 보행자 추적을 위해 이용한 패치 특징맵을 재식별용 패치 특징맵으로 인가하여 현재 프레임에서 추출된 패치 특징맵과의 비교하여 보행자를 재식별할 수 있다. 따라서 보행자 추적을 위해 패치로부터 패치 특징맵을 추출하기 위한 특징 추출부와 보행자 재식별을 위해 패치로부터 패치 특징맵을 추출하는 특징 추출부를 통합하여 공통으로 이용함으로써, 하드웨어 구조를 간소화할 수 있다. 또한 추적부(150)와 재식별부(160)가 보행자 추적을 위해 획득된 패치 특징맵과 보행자 재식별을 위해 획득된 패치 특징맵을 각각 보행자 재식별 및 추적을 위해 재사용함으로써, 연산량을 줄여 효율성을 더욱 높일 수 있으며, 고속으로 보행자 추적 또는 재식별을 수행할 수 있도록 한다.
패치 특징 누적부(170)는 추적부(150)가 추적하는 보행자에 대한 패치 특징맵을 각 보행자 별로 구분하여 기지정된 방식으로 누적하여 재식별용 패치 특징맵을 생성한다. 상기한 바와 같이, 본 실시예에 따른 재식별부(160)는 이전 추적부(150) 또는 다른 보행자 추적 장치가 추적을 위해 획득한 패치 특징맵을 재식별용 패치 특징맵으로 인가받아 재식별을 수행할 수 있다. 일반적으로 재식별용 패치 특징맵으로 선택되는 패치 특징맵은 추적부(150) 또는 다른 보행자 추적 장치에서 최종적으로 추적된 보행자의 이미지에 대한 패치 특징맵으로 선택된다. 이는 보행자의 최종 형상에 대한 특징을 전달함으로써, 재식별용 패치 특징맵을 인가받는 보행자 추적 장치가 용이하게 보행자를 식별할 수 있도록 하기 위함이다.
도 7은 보행자 이미지에 폐색이 발생된 경우의 일예를 나타낸다.
그러나 하나의 프레임 영상에서 추출된 패치 특징맵의 경우, 보행자의 최종 형상이 온전하지 않는 경우가 발생될 수 있다. 일 예로 도 7을 참조하면, 하나의 프레임에서 보행자의 형상은 서로 다른 두 보행자에 대해 각각 경계 박스가 설정된 4로 표시된 패치 이미지와 8로 표시된 패치 이미지가 서로 중첩되어, 4로 표시된 패치 이미지의 보행자 형상에 폐색이 발생된 경우를 도시하였다.
도 7과 같이 특정 보행자의 이미지에 폐색이 발생된 경우, 해당 보행자에 대한 패치에서 추출된 패치 특징맵은 8의 보행자와 함께 4의 보행자에 대한 특징을 포함할 수 있다. 또한 4의 보행자 특징을 추출하는 경우에도 8의 보행자 특징이 추가될 수 있다.
이 경우, 최종 형상에 대한 재식별용 패치 특징맵을 인가받는 보행자 추적 장치는 현재 입력된 프레임 영상으로부터 추출된 패치 특징맵과 비교를 수행하여도 보행자를 재식별할 수 없거나 다른 보행자를 해당 보행자로 재식별할 수도 있다.
상기한 문제를 방지하기 위해, 본 실시예에 따른 보행자 추적 장치는 패치 특징 누적부(170)를 더 포함하고, 패치 특징 누적부(170)는 추적부(150)가 보행자 추적을 위해 다수의 프레임 영상으로부터 획득한 다수의 패치 특징맵을 누적하여 재식별용 패치 특징맵을 생성하여 재식별부(160) 또는 다른 보행자 추적 장치로 전달한다.
패치 특징 누적부(170)는 수학식 1에 따라 다수의 프레임(ft-1, ft)에서 획득된 동일한 보행자에 대응하는 다수의 패치 특징맵(xt-1, xt)에 기지정된 가중치(α)를 가중 누적하여 재식별용 패치 특징맵(y)을 생성할 수 있다.
Figure pat00001
수학식 1에서는 일 예로 최근 2개의 프레임에서 획득된 2개의 패치 특징맵(xt-1, xt)에 대해 (α)를 가중 누적하여 재식별용 패치 특징맵(y)을 생성하는 것으로 설명하였으나, 재식별용 패치 특징맵(y)은 2개 이상 다수의 프레임에서 획득된 대응하는 패치 특징맵에 대해 가중치를 가중 누적하여 재식별용 패치 특징맵(y)을 생성할 수도 있다. 또한 연속된 프레임이 아닌 기지정된 시간 간격으로 선택된 프레임에서 획득된 패치 특징맵을 이용하여 재식별용 패치 특징맵(y)을 생성할 수도 있다.
통신부(180)는 추적부(150) 또는 패치 특징 누적부(170)에서 획득된 재식별용 패치 특징맵(y)을 인가받아 네트워크를 통해 다른 보행자 추적 장치로 전달할 수 있다. 또한 통신부(180)는 다른 보행자 추적 장치에서 전달되는 재식별용 패치 특징맵(y)을 인가받아 재식별부(160)로 전달할 수 있다.
결과적으로 본 실시예에 따른 보행자 추적 장치는 보행자를 검출 및 추적하기 위해 특징을 추출하는 로우 레벨 특징 추출부(120)와 특징 추출부(140)를 재식별부(160)가 공통으로 사용함으로써, 보행자 추적 장치의 하드웨어 구성을 간소화할 수 있으며, 보행자 추적을 위해 획득된 패치 특징맵과 보행자 재식별을 위해 획득된 패치 특징맵을 각각 보행자 재식별 및 추적을 위해 재사용함으로써, 연산량을 줄여 효율성을 더욱 높일 수 있으며, 고속으로 보행자 추적 또는 재식별을 수행할 수 있도록 한다. 뿐만 아니라, 다수의 패치 특징맵을 가중 누적하여 재식별용 패치 특징맵을 생성함으로써, 동일 보행자에 대한 정확한 재식별이 가능하도록 한다.
도 8은 본 발명의 일 실시예에 따른 보행자 추적 방법을 나타낸다.
도 1 내지 도 7을 참조하여, 도 8의 보행자 추적 방법을 설명하면, 우선 보행자를 검출하여 추적 또는 재식별하기 위한 영상을 획득하고, 획득된 영상에서 각 보행자의 영역을 검출하여 보행자 영역 각각에 대한 패치 특징맵을 생성한다(S10).
패치 특징맵을 생성하는 단계(S10)는 우선 영상을 획득한다(S11). 여기서 영상은 CCTV나 카메라 등의 영상 획득 수단을 이용하여 획득되거나, 미리 획득되어 저장된 영상일 수 있으며, 연속하여 획득되는 다수 프레임 영상일 수 있다.
그리고 획득된 영상에 대해 미리 학습된 패턴 추정 방식에 따라 영상 전체의 특징을 추출하여 로우 레벨 특징맵을 출력한다(S12). 또한 미리 학습된 패턴 추정 방식에 따라 로우 레벨 특징맵에서 보행자가 포함된 영역을 추정하여, 경계 박스의 위치 및 크기를 설정한다(S13). 여기서 경계 박스는 영상에 포함된 보행자 각각에 대해 설정될 수 있다. 경계 박스가 설정되면, 로우 레벨 특징맵에서 설정된 경계 박스에 대응하는 영역을 추출하여 패치를 획득한다(S14). 이후, 획득된 패치 각각에 대해 미리 학습된 패턴 추정 방식에 따라 보행자의 특징을 추출하여, 패치 특징맵을 생성한다(S15).
이후, 보행자 재식별이 필요한지 판별한다(S20). 여기서 보행자 재식별은 재식별용 패치 특징맵이 획득되면, 수행될 수 있으며, 재식별용 패치 특징맵은 보행자 추적 장치에 다수의 CCTV가 대응하는 경우, 적어도 하나의 CCTV에서 획득된 영상으로부터 특정 보행자에 대해 추적을 위해 생성한 패치 특징맵일 수 있으며, 다른 보행자 추적 장치가 대응하는 CCTV에서 획득된 영상으로부터 특정 보행자에 대해 추적을 위해 생성한 패치 특징맵일 수도 있다.
만일 보행자 재식별이 필요하지 않은 것으로 판별되면, 다수 프레임 영상의 각 프레임에서 획득된 패치 특징맵 사이의 유사도 비교를 통해 동일 보행자를 추적한다(S30). 이때, 이전 재식별을 위한 패치 특징맵이 이미 획득되어 있다면, 획득된 패치 특징맵과 현재 획득된 패치 특징맵 사이의 유사도 비교를 통해 동일 보행자를 추적할 수도 있다.
보행자 추적 단계(S30)에서는 먼저 다수 프레임 영상의 각 프레임에서 획득된 패치 특징맵 사이의 유사도 비교를 수행한다(S31). 그리고 유사도가 기지정된 기준 유사도 이상인 패치 특징맵들을 탐색하여, 탐색된 패치 특징맵을 시간 순서로 분석함으로써, 보행자를 추적한다(S32). 또한 각 프레임에서 획득된 패치 특징맵 중 대응하는 패치 특징맵들을 가중 누적하여 재식별용 패치 특징맵을 생성한다(S33). 한편, 추적하던 보행자가 영상에서 이탈되는지 판별한다(S20). 만일 추적하던 보행자가 영상에서 이탈되지 않은 것으로 판별되면, 다시 다음 영상을 획득하여, 보행자 추적을 계속할 수 있다(S11). 그러나 보행자가 영상에서 이탈된 것으로 판별되면, 다른 CCTV가 획득한 영상에서 해당 보행자가 재식별되는지 판별하기 위해, 생성된 재식별용 패치 특징맵을 재식별을 위해 재이용하거나, 다른 보행자 추적 장치로 전달한다(S35).
한편 재식별용 패치 특징맵이 전달되어 보행자 재식별이 필요한 것으로 판별되면, 재식별용 패치 특징맵과 획득된 패치 특징맵 사이의 유사도 비교를 통해 동일 보행자에 대한 패치 특징맵을 재식별한다(S40).
재식별 단계(S40)에서는 우선 전달된 재식별용 패치 특징맵과 획득된 패치 특징맵 사이의 유사도 비교를 수행한다(S41). 그리고 재식별용 패치 특징맵과 유사도가 기지정된 기준 유사도 이상인 패치 특징맵들을 탐색하여 재식별용 패치 특징맵과 동일한 보행자에 대한 패치 특징맵을 재식별한다(S42). 재식별된 패치 특징맵은 이후 보행자 추적 시에 사용하기 위해 이용하기 위해 전달한다(S43).
그리고 도시하지 않았으나, 다른 보행자 추적 장치로부터 재식별용 패치 특징맵이 아닌 패치 이미지가 전달되는 경우에는 패치 이미지에 대해 로우 레벨 특징 추출하여 로우 레벨 패치를 획득하고, 로우 레벨 패치에 대해 특징을 추출하여 재식별용 패치 특징맵을 획득할 수도 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 ~ 300: 보행자 추적 장치 110: 영상 획득부
120: 로우 레벨 특징 추출부 130: 보행자 검출부
131: 경계 박스 설정부 132: 패치 획득부
140: 특징 추출부 150: 추적부
160: 재식별부 170: 패치 특징 누적부
180: 통신부

Claims (16)

  1. 미리 학습된 패턴 추정 방식에 따라 획득된 영상의 특징을 추출하여 로우 레벨 특징맵을 획득하는 로우 레벨 특징 추출부;
    미리 학습된 패턴 추정 방식에 따라 상기 로우 레벨 특징맵에서 보행자가 포함된 영역을 추출하여 패치를 획득하는 보행자 검출부;
    상기 패치를 인가받고 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 패치 특징맵을 획득하는 특징 추출부;
    보행자를 재식별하기 위한 재식별용 패치 특징맵이 획득되면, 상기 재식별용 패치 특징맵과 상기 패치 특징맵을 비교하여 동일 보행자에 대한 패치 특징맵을 탐색하여 보행자를 재식별하는 재식별부; 및
    다수 프레임의 영상 중 서로 다른 프레임 영상에서 획득된 패치 특징맵을 서로 비교하여 대응하는 패치 특징맵을 탐색하여, 보행자를 추적하는 추적부를 포함하는 보행자 추적 장치.
  2. 제1 항에 있어서, 상기 보행자 추적 장치는
    상기 추적부에서 추적하는 동일 보행자에 대한 패치 특징맵을 기지정된 방식으로 가중 누적하여 상기 재식별용 패치 특징맵을 생성하는 패치 특징 누적부를 더 포함하는 보행자 추적 장치.
  3. 제2 항에 있어서, 상기 보행자 추적 장치는
    대응하는 적어도 하나의 CCTV에서 획득되는 영상에서 추적하는 보행자가 이탈하여 추적되지 않는 경우, 상기 재식별용 패치 특징맵을 상기 재식별부로 전달하는 보행자 추적 장치.
  4. 제2 항에 있어서, 상기 보행자 추적 장치는
    다른 보행자 추적 장치와 통신을 수행하는 통신부를 더 포함하고, 대응하는 적어도 하나의 CCTV에서 획득된 영상에서 추적하는 보행자가 이탈하여 추적되지 않는 경우, 상기 재식별용 패치 특징맵을 상기 통신부를 통해 다른 보행자 추적 장치로 전달하는 보행자 추적 장치.
  5. 제1 항에 있어서, 상기 추적부는
    상기 재식별부가 보행자를 재식별하기 위해 이전 획득한 패치 특징맵을 현재 획득된 패치 특징맵과 서로 비교하여 보행자를 추적하는 보행자 추적 장치.
  6. 제1 항에 있어서, 상기 보행자 검출부는
    미리 학습된 패턴 추정 방식에 따라 로우 레벨 특징맵에서 보행자가 포함된 영역을 추정하여, 경계 박스의 위치 및 크기를 설정하는 경계 박스 설정부; 및
    상기 로우 레벨 특징맵에서 설정된 경계 박스에 대응하는 영역을 추출하여 패치를 획득하는 패치 획득부를 포함하는 보행자 추적 장치.
  7. 제2 항에 있어서, 상기 로우 레벨 특징 추출부는
    다른 보행자 추적 장치가 획득된 영상에서 보행자 영역을 추출한 패치 이미지가 인가되면, 인가된 패치 이미지에 대해 로우 레벨 특징 추출하여 로우 레벨 패치를 획득하는 보행자 추적 장치.
  8. 제7 항에 있어서, 상기 특징 추출부는
    로우 레벨 패치에 대해 특징을 추출하여 상기 재식별용 패치 특징맵을 획득하는 보행자 추적 장치.
  9. 보행자 추적 장치의 보행자 추적 방법에 있어서,
    미리 학습된 패턴 추정 방식에 따라 획득된 영상의 특징을 추출하여 로우 레벨 특징맵을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 로우 레벨 특징맵에서 보행자가 포함된 영역을 추출하여 패치를 획득하여 보행자를 검출하는 단계;
    상기 패치를 인가받고 미리 학습된 패턴 추정 방식에 따라 특징을 추출하여 패치 특징맵을 획득하는 단계;
    보행자를 재식별하기 위한 재식별용 패치 특징맵이 획득되면, 상기 재식별용 패치 특징맵과 상기 패치 특징맵을 비교하여 동일 보행자에 대한 패치 특징맵을 탐색하여 보행자를 재식별하는 단계; 및
    다수 프레임의 영상 중 서로 다른 프레임 영상에서 획득된 패치 특징맵을 서로 비교하여 대응하는 패치 특징맵을 탐색하여, 보행자를 추적하는 단계를 포함하는 보행자 추적 방법.
  10. 제9 항에 있어서, 상기 보행자 추적 방법은
    상기 추적하는 단계에서 추적하는 동일 보행자에 대한 패치 특징맵을 기지정된 방식으로 가중 누적하여 상기 재식별용 패치 특징맵을 생성하는 단계를 더 포함하는 보행자 추적 방법.
  11. 제10 항에 있어서, 상기 보행자 추적 방법은
    대응하는 적어도 하나의 CCTV에서 획득되는 영상에서 추적하는 보행자가 이탈하여 추적되지 않는 경우, 상기 재식별용 패치 특징맵을 상기 재식별하는 단계를 수행하기 위해 출력하는 보행자 추적 방법.
  12. 제10 항에 있어서, 상기 보행자 추적 방법은
    대응하는 적어도 하나의 CCTV에서 획득된 영상에서 추적하는 보행자가 이탈하여 추적되지 않는 경우, 상기 재식별용 패치 특징맵을 다른 보행자 추적 장치로 전달하는 단계를 보행자 추적 방법.
  13. 제9 항에 있어서, 상기 추적하는 단계는
    상기 재식별하는 단계에서 보행자를 재식별하기 위해 이전 획득한 패치 특징맵을 현재 획득된 패치 특징맵과 서로 비교하여 보행자를 추적하는 보행자 추적 방법.
  14. 제9 항에 있어서, 상기 보행자를 검출하는 단계는
    미리 학습된 패턴 추정 방식에 따라 로우 레벨 특징맵에서 보행자가 포함된 영역을 추정하여, 경계 박스의 위치 및 크기를 설정하는 단계; 및
    상기 로우 레벨 특징맵에서 설정된 경계 박스에 대응하는 영역을 추출하여 패치를 획득하는 단계를 포함하는 보행자 추적 방법.
  15. 제10 항에 있어서, 상기 보행자 추적 방법은
    다른 보행자 추적 장치에서 획득된 영상에서 보행자 영역을 추출한 패치 이미지가 인가되면, 인가된 패치 이미지에 대해 로우 레벨 특징 추출하여 로우 레벨 패치를 획득하는 단계; 및
    상기 로우 레벨 패치에 대해 특징을 추출하여 상기 재식별용 패치 특징맵을 획득하는 단계를 더 포함하는 보행자 추적 방법.
  16. 제9 내지 제15 항 중 어느 한 항에 따른 보행자 추적 방법을 실행하기 위한 프로그램 명령어가 기록된 기록 매체.
KR1020200041019A 2020-03-10 2020-04-03 다중 cctv 환경에서의 보행자 추적 장치 및 방법 KR102355006B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200029459 2020-03-10
KR20200029459 2020-03-10

Publications (2)

Publication Number Publication Date
KR20210114309A true KR20210114309A (ko) 2021-09-23
KR102355006B1 KR102355006B1 (ko) 2022-01-24

Family

ID=77926489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200041019A KR102355006B1 (ko) 2020-03-10 2020-04-03 다중 cctv 환경에서의 보행자 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102355006B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620242A (zh) * 2022-12-19 2023-01-17 城云科技（中国）有限公司 多行人目标重识别方法、装置及应用
KR102641788B1 (ko) * 2023-11-06 2024-02-28 주식회사 짐보로보틱스 사용자의 움직임 파악 방법 및 그 장치
KR20240092844A (ko) 2022-12-15 2024-06-24 유니셈(주) 객체 재식별 추적 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090021613A (ko) * 2007-08-27 2009-03-04 아주대학교산학협력단 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법
KR101472077B1 (ko) * 2014-04-01 2014-12-16 주식회사 베스트디지탈 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법
KR20180097944A (ko) * 2017-02-24 2018-09-03 재단법인대구경북과학기술원 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
KR101906796B1 (ko) * 2017-07-03 2018-10-11 한국씨텍(주) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
KR20190078270A (ko) 2017-12-26 2019-07-04 자동차부품연구원 객체 추적 시스템 및 방법
KR20200010658A (ko) * 2018-06-29 2020-01-31 한양대학교 산학협력단 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090021613A (ko) * 2007-08-27 2009-03-04 아주대학교산학협력단 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법
KR101472077B1 (ko) * 2014-04-01 2014-12-16 주식회사 베스트디지탈 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법
KR20180097944A (ko) * 2017-02-24 2018-09-03 재단법인대구경북과학기술원 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
KR101906796B1 (ko) * 2017-07-03 2018-10-11 한국씨텍(주) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
KR20190078270A (ko) 2017-12-26 2019-07-04 자동차부품연구원 객체 추적 시스템 및 방법
KR20200010658A (ko) * 2018-06-29 2020-01-31 한양대학교 산학협력단 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
임수창 등, 컨볼루션 신경망의 특징맵을 사용한 객체 추적, 멀티미디어학회논문지 제20권 제2호.(2017.02.) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240092844A (ko) 2022-12-15 2024-06-24 유니셈(주) 객체 재식별 추적 장치
CN115620242A (zh) * 2022-12-19 2023-01-17 城云科技（中国）有限公司 多行人目标重识别方法、装置及应用
KR102641788B1 (ko) * 2023-11-06 2024-02-28 주식회사 짐보로보틱스 사용자의 움직임 파악 방법 및 그 장치

Also Published As

Publication number Publication date
KR102355006B1 (ko) 2022-01-24

Similar Documents

Publication Publication Date Title
US10242282B2 (en) Video redaction method and system
KR102355006B1 (ko) 다중 cctv 환경에서의 보행자 추적 장치 및 방법
US9560323B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
US11657623B2 (en) Traffic information providing method and device, and computer program stored in medium in order to execute method
KR102359982B1 (ko) 자기 집중 방식 객체 추적 장치 및 방법
KR102519367B1 (ko) Cctv 환경에서의 보행자 추적 장치 및 방법
CN113793362B (zh) 基于多镜头视频的行人轨迹提取方法和装置
Sharma et al. Automated detection of animals in context to indian scenario
Khan et al. Dimension invariant model for human head detection
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
CN110728249B (zh) 目标行人的跨摄像机识别方法、装置及***
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN111597979B (zh) 一种目标对象聚类方法及装置
CN111882656A (zh) 基于人工智能的图形处理方法、设备及存储介质
KR20210114805A (ko) 머신러닝 모델을 이용한 객체 인식 방법 및 시스템
Kim et al. Environment independent hybrid face recognition system using a fixed camera and a PTZ Camera
KR20150055269A (ko) 색인 기능을 포함하는 감시영상 분할 장치 및 방법
CN113723152A (zh) 图像处理方法、装置以及电子设备
KR20240037056A (ko) 객체의 고유한 특징 기반의 검색 장치 및 방법
Dimou et al. GIS-supported people tracking re-acquisition in a multi-camera environment
KR20210111590A (ko) 적대적 학습을 통한 비쌍 교차 스펙트럴 보행자 검출 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant