KR102227562B1 - 영상 기반의 유동인구 측정 시스템 및 방법 - Google Patents

영상 기반의 유동인구 측정 시스템 및 방법 Download PDF

Info

Publication number
KR102227562B1
KR102227562B1 KR1020190064145A KR20190064145A KR102227562B1 KR 102227562 B1 KR102227562 B1 KR 102227562B1 KR 1020190064145 A KR1020190064145 A KR 1020190064145A KR 20190064145 A KR20190064145 A KR 20190064145A KR 102227562 B1 KR102227562 B1 KR 102227562B1
Authority
KR
South Korea
Prior art keywords
image
images
floating population
unit
counting
Prior art date
Application number
KR1020190064145A
Other languages
English (en)
Other versions
KR20200137569A (ko
Inventor
김종헌
천세욱
Original Assignee
주식회사 라온버드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라온버드 filed Critical 주식회사 라온버드
Priority to KR1020190064145A priority Critical patent/KR102227562B1/ko
Publication of KR20200137569A publication Critical patent/KR20200137569A/ko
Application granted granted Critical
Publication of KR102227562B1 publication Critical patent/KR102227562B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G06K9/00624—
    • G06K9/00362—
    • G06T3/0006—
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

영상 기반의 유동인구 측정 시스템이 개시된다. 상기 측정 시스템은 각각 해당 영역에 대한 이미지를 수집하는 복수의 카메라들로 구성되는 영상 촬영부와 상기 영상 촬영부에서 수집된 이미지들로부터 단일의 파노라마 이미지를 생성하는 파노라미 이미지 생성부 및 객체 인식 방법을 이용하여 상기 파노라마 이미지 생성부에서 생성된 파노라마 이미지로부터 유동 인구를 카운트하는 유동인구 계수부를 포함한다.

Description

영상 기반의 유동인구 측정 시스템 및 방법{SYSTEM AND METHOD FOR COUNTING FLOATING POPULATION BASED ON IMAGE}
본 발명의 개념에 따른 실시 예는 영상 기반의 유동인구 측정 기술에 대한 것으로, 보다 상세하게는 복수의 이미지로부터 파노라마 이미지를 생성하여 유동 인구를 측정할 수 있고, 파노라마 이미지 생성 실패시에는 복수의 이미지를 상호 매칭함으로써 중복 인구 카운트를 방지하여 정확한 유동 인구를 측정할 수 있는 영상 기반의 유동 인구 측정 기술에 관한 것이다.
옥외 광고란 불특정 다수의 사람들을 대상으로 옥외에 게시ㆍ설치하는 광고물을 의미하며, 최근 전자ㆍ통신 기술의 발달에 따라 디지털 사이니지(Digital signage)와 같이 소비자들에게 제품이나 서비스에 대한 다양한 정보 및 광고 데이터를 출력할 수 있는 디지털 옥외 광고가 크게 관심을 받고 있다. 이에 따라, 옥외 광고판이 설치될 지점이나 구역에 대한 유동 인구가 얼마나 되는지에 대한 정보가 필요하지만, 종래의 유동 인구 측정은 국가 기관인 통계청이 4년 주기로 수기계(hand counting) 방식으로 측정되었고, 이러한 유동 인구 자료는 과거 시점의 자료로서 현시점의 상황을 정확히 반영하지 못하는 문제가 있었다. 최근에는 스마트폰의 GPS를 이용해 표본 대상들의 위치를 실시간으로 감지하여 유동 인구 정보를 획득할 수 있는 기술이 나타났으나, 약 30m에 이르는 GPS 오차는 옥외 광고판이 설치될 특정 구역에 대한 유동 인구 정보로서는 부정확한 정보가 될 수 있고, GPS 기능이 구비되지 않은 휴대폰을 보유한 유동 인구는 아예 반영되지 않는 문제가 있다.
공개특허 10-2015-0121437
본 발명이 해결하고자 하는 기술적인 과제는 파노라마 이미지를 생성하여 유동 인구를 카운팅 하고, 파노라마 이미지 생성이 곤란한 경우에는 이미지 매칭을 통해 중복 인구를 제거함으로써 정확한 유동 인구를 카운팅 할 수 있는 영상 기반의 유동인구 카운팅 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적인 과제는 파노라마 이미지를 생성하여 유동인구를 카운팅하고, 파노라마 이미지 생성이 곤란한 경우에는 이미지 매칭을 통해 중복 인구를 제거함으로써 정확한 유동인구를 카운팅 할 수 있는 영상 기반의 유동인구 카운팅 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 영상 기반의 유동인구 카운팅 시스템은 각각 해당 영역에 대한 이미지를 수집하는 복수의 카메라들로 구성되는 영상 촬영부와 상기 영상 촬영부에서 수집된 이미지들로부터 단일의 파노라마 이미지를 생성하는 파노라마 이미지 생성부 및 객체 인식 방법을 이용하여 상기 파노라마 이미지 생성부에서 생성된 파노라마 이미지로부터 유동 인구를 카운트하는 유동인구 계수부를 포함한다.
상기 파노라마 이미지 생성부는 로컬 피쳐(local feature) 디텍팅 방법을 이용하여 상기 영상 촬영부에서 수집된 이미지들 각각으로부터 동일한 성격을 갖는 특징점을 추출하고, 아핀 변환(Affine Transform) 또는 투영 변환(Perspective Transform)을 이용하여 상기 추출된 특징점이 일치되도록 상기 이미지들을 정렬하여 상기 파노라마 이미지를 생성할 수 있다.
실시 예에 따라, 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 시스템은 상기 해당 영역에 설치되는 구조물로 구현되거나 상기 해당 영역에 기 존재하는 구조물에 입혀진 패턴으로 구현되는 특징점 표시부를 더 포함할 수 있다.
실시 예에 따라, 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 시스템은 상기 수집된 이미지들을 이미지 매칭하여 보정 이미지를 생성하는 이미지 매칭 처리부를 더 포함할 수 있으며, 상기 이미지 매칭 처리부는 상기 파노라마 이미지 생성부가 상기 파노라마 이미지를 생성하지 못하는 경우에 상기 보정 이미지를 생성하고, 상기 유동 인구 계수부는 상기 이미지 매칭 처리부에서 생성된 보정 이미지로부터 상기 유동 인구를 카운트하는 것을 특징으로 할 수 있다.
이때, 상기 이미지 매칭처리부는 상기 수집된 이미지들의 각 컬럼들 간 유클리드 거리(Euclidean Distance)를 계산하여 상기 각 컬럼들 간의 유사도를 판단하고, 상기 판단된 유사도가 가장 큰 컬럼들을 기준으로 상기 이미지들을 매칭하여 상기 보정 이미지를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 이미지 매칭처리부는 상기 수집된 이미지들을 맥스 풀링(max pooling)하여 전처리하고, 상기 전처리한 이미지들을 이미지 매칭하여 상기 보정 이미지를 생성하는 것을 특징으로 할 수 있다.
상기 유동 인구 계수부는 상기 보정 이미지에 포함되는 이미지들 각각의 유동 인구 수의 합에서 상기 보정 이미지에 포함되는 이미지들이 서로 중복되는 영역에 존재하는 유동 인구 수를 차감한 수를 상기 유동 인구로 카운팅할 수 있다.
본 발명의 일 실시 예에 따른 영상 기반의 유동인구 카운팅 방법은 영상 촬영부가 복수의 카메라들이 수집한 해당영역에 대한 이미지들을 파노라마 이미지 생성부로 전송하는 단계와 상기 파노라마 이미지 생성부가 상기 전송된 이미지들로부터 단일의 파노라마 이미지를 생성하여 유동 인구 계수부로 전송하는 단계와 상기 파노라마 이미지 생성부가 상기 전송된 이미지들을 이미지 매칭처리부로 전송하는 단계와 상기 이미지 매칭처리부가 상기 전송된 이미지들로부터 보정 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계 및 상기 유동 인구 계수부가 객체 인식 방법을 이용하여 상기 전송된 파노라마 이미지 또는 상기 보정 이미지로부터 유동 인구를 카운트 하는 단계를 포함한다.
이때, 상기 파노라마 이미지 생성부가 상기 파노라마 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계는 로컬 피쳐 디텍트 방법을 이용하여 상기 전송된 이미지들에서 동일한 성격을 갖는 특징점을 추출하는 단계와 아핀 변환 또는 투영 변환 방법을 이용하여 상기 추출된 특징점을 일치시키도록 상기 전송된 이미지들을 정렬시키는 단계와 상기 정렬된 이미지들을 상기 파노라마 이미지로서 생성하는 단계 및 상기 생성된 파노라마 이미지를 상기 유동 인구 계수부로 전송하는 단계를 포함할 수 있다.
또한, 상기 이미지 매칭처리부가 상기 보정 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계는 상기 전송된 이미지들을 맥스 풀링하여 전처리하는 단계와 상기 전처리된 이미지들의 각 컬럼들 간 유클리드 거리를 계산하는 단계와 상기 계산된 각 컬럼들 간의 유클리드 거리에 따라 상기 컬럼들 상호 간 유사도를 판단하는 단계와 상기 판단된 유사도가 가장 큰 컬럼들을 기준으로 상기 전처리된 이미지들을 매칭하여 상기 보정 이미지를 생성하는 단계 및 상기 생성된 보정 이미지를 상기 인구 계수부로 전송하는 단계를 포함한다.
그리고, 상기 유동 인구 계수부가 상기 보정 이미지로부터 유동 인구를 카운트 하는 단계는 상기 보정 이미지에 포함되는 이미지들 각각의 유동 인구 수를 카운팅하는 단계와 상기 보정 이미지에 포함되는 이미지들 상호 간 중복되는 영역에 존재하는 유동 인구 수를 카운팅하는 단계 및 상기 카운팅된 이미지들 각각의 유동 인구 수의 합에서 상기 카운팅 된 중복되는 영역에 존재하는 유동 인구 수를 뺀 값을 상기 유동 인구로 카운트하는 단계를 포함한다.
상기와 같이 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 시스템 및 방법은 복수의 카메라를 통해 파노라마 이미지를 생성함으로써 단일 카메라의 커버리지를 훨씬 뛰어넘는 넓은 지역에 대한 유동인구를 카운팅할 수 있는 효과가 있다.
또한, 파노라마 이미지 생성이 곤란한 지형, 지역 특성에도 특징점 표시부의 설치를 통해 특징점을 추출할 수 있어, 용이하게 파노라마 이미지 생성이 가능한 효과가 있다.
나아가 파노라마 이미지를 생성하지 못하는 경우에도, 복수의 카메라가 촬영한 이미지들 상호 간의 매칭을 통해 정확한 유동 인구를 카운팅 할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위한 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 시스템의 구성을 나타내는 블럭도이다.
도 2는 도 1에 도시된 영상 촬영부가 촬영한 특정 지역에 대한 이미지를 나타내는 예시도이다.
도 3은 도 1에 도시된 파노라마 이미지 생성부가 생성한 파노라마 이미지를 나타내는 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 영상 촬영부가 수집한 영상에서 추출한 특징점을 나타내는 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 영상 촬영부의 카메라가 수집한 영상에서 특징점을 추출한 예를 설명하기 위한 도이다.
도 5는 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부가 추출된 특징점을 이용하여 파노라마 이미지를 생성한 예를 설명하기 위한 도이다.
도 6은 해당 이미지로부터 특징점 추출이 어려운 예를 나타내는 도이다.
도 7은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부가 특징점 표시부를 통해 특징점을 추출한 예를 나타내는 도이다.
도 8은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부가 특징점 표시부를 통해 추출된 특징점을 이용하여 파노라마 이미지를 생성한 예를 나타내는 도이다.
도 9는 이미지들 상호 간 수평, 수직, 회전이 발생한 예를 나타낸 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 이미지 매칭처리부가 이미지들을 매칭하는 방법을 설명하기 위한 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 이미지 매칭처리부가 유사도에 따라 이미지들을 매칭한 결과를 나타내는 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부가 파노라마 이미지를 생성하는 과정을 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시 예에 따른 이미지 매칭처리부가 보정 이미지를 생성하는 과정을 설명하기 위한 순서도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "갖는다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 포함하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 시스템(이하, '유동 인구 카운팅 시스템'이라 함)의 구성을 나타내는 블럭도이다.
도 1을 참조하면, 유동 인구 카운팅 시스템(10)은 특정 지역, 예컨대 옥외 광고판이 설치된 지역이나 특정 상점이 위치한 지역 등에서 유동 인구(floating population)를 실시간 카운트할 수 있으며, 영상 촬영부(100), 파노라마 이미지 생성부(200), 특징점 표시부(300), 유동인구 계수부(400) 및 이미지 매칭처리부(500)를 포함하여 구성된다.
우선, 영상 촬영부(100)는 복수의 카메라들(130-1, 130-2 및 130-3)을 포함하며, 복수의 카메라들(130-1, 130-2 및 130-3) 각각은 옥외 광고판이 설치된 특정 지역에서 해당 영역에 대한 이미지(ca_img)를 수집하여 파노라마 이미지 생성부(200)로 전송한다.
도 2는 도 1에 도시된 영상 촬영부(100)가 촬영한 특정 지역에 대한 이미지(ca_img)를 나타내는 예시도이다.
이때, 도 2의 ca_img1은 제1 카메라(130-1)가 제1 영역을 촬영한 제1 이미지이고, ca_img2는 제2 카메라(130-2)가 제2 영역을 촬영한 제2 이미지이며, ca_img3은 제3 카메라(130-3)가 제3 영역을 촬영한 제3 이미지이다.
도 1 및 도 2를 참조하면, 제1카메라(130-1)는 특정 지역 중 상기 제1 영역에 대한 이미지(ca_img1)를 수집하고, 제2카메라(130-2)는 상기 제2 영역에 대한 이미지(ca_img2)를 수집하며, 제3카메라(130-3)는 제3 영역에 대한 이미지(ca_img3)를 실시간 수집한다.
본 명세서에서는 영상 촬영부(100)가 3개의 카메라(130-1, 130-2 및 130-3) 만을 포함하는 것으로 도시되었지만, 이는 설명의 편의를 위한 것일 뿐 이에 한정하는 것이 아니며, 단일 카메라가 수집할 수 있는 영상 범위를 극복하기 위해 사용자의 설계에 따라 더 많은 수의 카메라가 적용될 수 있음은 물론이다.
한편, 파노라마 이미지 생성부(200)는 영상 촬영부(100)로부터 전송된 이미지(ca_img), 즉, 영상 촬영부(100)가 포함하는 복수의 카메라들(130-1, 130-2 및 130-3) 각각이 촬영하여 전송한 이미지(ca_img1, ca_img2 및 ca_img3)로부터 단일의 파노라마 이미지(PA_img)를 생성하여 유동인구 계수부(400)로 전송하는 역할을 수행한다.
도 3은 도 1에 도시된 파노라마 이미지 생성부(200)가 생성한 파노라마 이미지(PA_img1)를 나타내는 예시도이다.
도 3을 참조하면, 파노라마 이미지 생성부(200)는 제1카메라(130-1)가 생성한 제1이미지(ca_img1)와 제2카메라(130-2)가 생성한 제2이미지(ca_img2) 및 제3카메라(130-3)가 생성한 제3이미지(ca_img3)로부터 단일의 파노라마 이미지(PA_img1)를 생성한다.
즉, 파노라마 이미지 생성부(200)는 복수의 카메라 이미지(ca_img1, ca_img2 및 ca_img3)로부터의 파노라마 이미지(PA_img1)를 구성하며, 이때, 파노라마 이미지란 각 카메라(130-1, 130-2 및 130-3)가 개별적으로 촬영한 이미지(ca_img1, ca_img2 및 ca_img3)를 하나의 이미지(PA_img1)로 구성한 것을 의미할 수 있다.
이하, 파노라마 이미지 생성부(200)가 파노라마 이미지를 구성하기 위한 구체적인 방법을 상세히 설명한다.
도 4는 본 발명의 일 실시 예에 따른 영상 촬영부(100)의 카메라(130-1, 130-2)가 수집한 영상(ca_img4, ca_img5)에서 특징점(Keypoint)을 추출한 예를 설명하기 위한 도이고, 도 5는 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부(200)가 추출된 특징점을 이용하여 파노라마 이미지(PA_img2)를 생성한 예를 설명하기 위한 도이다.
도 1, 도 4 및 도 5를 참조하면, 파노라마 이미지 생성부(200)는 파노라마 이미지(PA_img2)를 구성하기 위해, 인접한 두 이미지(예컨대, ca_img4 및 ca_img5)에서 동일한 성격을 갖는 특징점(예컨데, 별 표시)을 추출하고, 이를 기준으로 두 이미지(예컨대, ca_img4 및 ca_img5)를 정렬하게 된다.
이때, 상기의 특징점은 SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Feature), BRISK(Binary Robust Independent Elementary Features), FREAK(Fast Retina Keypoint)와 같은 공지된 로컬 피쳐(local feature) 디텍트 방법을 통해 추출할 수 있다.
또한, 특징점이 추출된 두 이미지(ca_img4 및 ca_img5)는 추출된 특징점을 일치시키는 방법인 아핀 변환(Affine Transform)이나 투영 변환(Perspective Transform)과 같은 공지의 방법을 통해 정렬될 수 있다.
결국, 파노라마 이미지 생성부(200)는 제4이미지(ca_img4)와 제5이미지(ca_img5)에서 상기의 특징점을 추출하고, 추출한 특징점을 기준으로 제4이미지(ca_img4)와 제5이미지(ca_img5)의 특징점이 일치되도록 제5이미지(ca_img5)를 제4이미지(ca_img4) 측으로 정렬시켜 파노라마 이미지(PA_img2)를 구성한다.
한편, 상기 특징점 추출과 관련하여 해당 이미지로부터의 특징점 추출이 어려운 경우를 상정할 수 있다.
도 6은 해당 이미지로부터 특징점 추출이 어려운 예를 나타내며, 이때, 도 6의 ca_img6은 제1 카메라(130-1)가 수집한 제1영역에 대한 제6이미지이고, ca_img7는 제2 카메라(130-2)가 수집한 제2 영역에 대한 제7이미지이다.
도 6을 참조하면, 제1 카메라(130-1)에서 수집된 제6 이미지(ca_img6)와 제2카메라에서 수집된 제7이미지(ca_img7)는 각각이 해당하는 영역이 인도(sidewalk)이고, 상기 인도에 보행자가 전혀 없는 경우에는 해당 이미지 내 특징점 추출이 매우 어렵게 된다.
이러한 경우, 파노라마 이미지 생성부(200)는 제6 이미지(ca_img6)와 제7 이미지(ca_img7)에서 상기 특징점 추출에 실패할 수 있으며, 이에 따라 파노라마 이미지 구성 역시 실패할 수 있다.
본 발명의 일 실시 예에 따른 유동 인구 카운팅 시스템(10)은 촬영 대상이 되는 특정 영역에 배치된 특징점 표시부(300)를 통해 상기 특징점을 추출함으로써, 특징점 추출 실패에 따른 파노라마 이미지 생성 실패를 미연에 방지할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부(200)가 특징점 표시부(300)를 통해 특징점을 추출한 예를 나타낸다.
이때, 도 7의 (a)는 제1카메라(130-1)가 촬영한 제6이미지(ca_img6)에서 특징점 표시부(300)를 통해 상기 특징점(별표시)이 추출된 예를 나타내는 도이며, 도 7의 (b)는 제2카메라(130-2)가 촬영한 제7이미지(ca_img7)에서 특징점 표시부(300)를 통해 상기 특징점(별표시)이 추출된 예를 나타내는 도이다.
도 7에서는 설명의 편의를 위해 특징점 표시부(300)가 이미지(제6이미지 및 제7이미지)에 2개 설치된 예를 도시하였으나, 이미지의 수가 많아지거나 이미지의 측정 범위가 넓어지는 경우 등 필요에 따라 더 많은 수의 특징점 표시부(300)가 해당 영역에 설치될 수 있음은 물론이다.
실시 예에 따라, 특징점 표시부(300)는 특정 지역에 별도로 설치되는 구조물로 구현될 수 있으며, 특정 지역 내의 바닥이나 구조물에 입혀진 패턴(Pattern)으로도 구현될 수도 있다.
도 8은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부(200)가 특징점 표시부(300)를 통해 추출된 특징점(예컨대, 별표시)을 이용하여 파노라마 이미지(PA_img3)를 생성한 예를 나타낸다.
도 7 및 도 8을 참조하면, 본 발명의 일 실시 예에 따른 유동 인구 카운팅 시스템(10)은 영상 촬영부(100)에 의해 촬영 대상이 되는 특정 영역들이 매우 유사한 지형, 매우 유사한 구조로 이루어져 특징점 추출이 곤란한 경우라도 특징점 표시부(300)를 통해 상기 특징점을 추출하여 파노라마 이미지(PA_img3)를 생성할 수 있는 효과가 있다.
다시 도 1을 참조하면, 인구 계수부(400)는 파노라마 이미지 생성부(300)로부터 송신된 파노라마 이미지(PA_img)로부터 유동 인구를 실시간 카운팅하는 역할을 수행한다.
인구 계수부(400)는 R-CNN(Region-based Convolutional Neural Networks), Fast R-CNN, Faster R-CNN, R-FCN, YOLO, SSD 등과 같은 공지의 객체 인식 방법을 이용하여 파노라마 이미지(PA_img)로부터 유동 인구를 실시간 카운팅할 수 있다.
실시 예에 따라, 유동 인구 카운팅 시스템(10)은 파노라마 이미지 생성부(300)가 파노라마 이미지(PA_img)의 생성에 실패한 경우라도, 유동 인구를 카운팅 할 수 있도록 구현된다.
다시 도 1을 참조하면, 파노라마 이미지 생성부(300)가 파노라마 이미지(PA_img) 생성에 실패한 경우에도 인구 계수부(400)는 파노라마 이미지 생성부(300)로부터 전송된 파노라마 이미지(PA_img)가 아닌 이미지 매칭처리부(500)로부터 전송된 보정 이미지(calib_img)로부터 유동 인구를 카운팅 하게 된다.
앞서 설명한 바와 같이, 인구 계수부(400)가 파노라마 이미지 생성부(300)로부터 생성된 파노라마 이미지(PA_img)를 수신하는 경우에는 해당 파노라마 이미지(PA_img)에 유동 인구의 중복 문제없이 유동인구를 카운팅할 수 있다.
그러나, 파노라마 이미지 생성부(300)가 파노라마 이미지 생성(PA_img)에 실패한 경우, 인구 계수부(400)가 영상촬영부(100)의 이미지들(ca_img)로부터 곧바로 유동인구를 카운팅 하게 되면 이미지들(ca_img) 상호 간 중복되는 영역에서 유동 인구가 중복되어 카운팅 되는 문제가 발생할 수 있다.
이에 따라, 본 발명의 일 실시 예에 따른 유동 인구 카운팅 시스템(10)은 이미지 매칭처리부(500)의 이미지 매칭(image matching)을 통해 이러한 유동 인구의 중복 문제를 해소한다.
보다 상세히 설명하면, 이미지 매칭처리부(500)는 인구 계수부(400)가 어느 하나의 이미지에 포함되는 유동 인구의 수와 다른 이미지에 포함되는 유동 인구 수의 합에서 상기 어느 하나의 이미지와 상기 다른 이미지에서 겹치는 영역에 존재하는 유동 인구 수를 뺀 수를 전체 유동인구 수로 처리할 수 있도록 이미지들을 상호 매칭한다.
이때, 상기 어느 하나의 이미지와 상기 다른 이미지는 서로 수평 방향으로만 이동되어 있는 경우가 있을 수 있고, 수평 방향 뿐만 아니라 수직 방향의 이동 및 회전 역시 발생할 수 있다.
도 9는 이미지들 상호 간 수평, 수직, 회전이 발생한 예를 나타낸 예시도이며, 도 9의 (a)는 이미지들 상호 간 수평 이동 만이 발생한 경우를 나타낸 예시도이고, 도 9의 (b)는 이미지들(Left_img 및 Right_img) 상호 간 수평, 수직, 회전이 발생한 경우를 나타낸 예시도이다.
도 9의 (a)에서 보여주는 수평 이동이 발생한 경우는 가장 간단한 경우에 해당하지만, 실제 환경에서는 도 9의 (b)와 같이 카메라 설정에 따라 수평 방향 뿐만 아니라 수직 방향으로도 다소 간의 쉬프트(shift)가 일어날 수 있고, 좌측 이미지(Left_img) 대비 우측 이미지(Right_img)가 어느 정도 회전(rotate)될 수도 있다.
따라서, 이미지 매칭처리부(500)는 인구 계수부(400)가 이미지들(Left_img 및 Right_img) 간 겹치는 영역에서의 유동 인구를 정확히 카운팅 할 수 있도록 이미지들 간의 수평 방향 이동 뿐만 아니라 수직 방향 이동 및 이미지 회전을 고려하여 이미지들(Left_img 및 Right_img)을 매칭한다.
이미지 매칭처리부(500)가 이러한 수평 방향, 수직 방향, 회전을 고려하여 이미지들(Left_img 및 Right_img)을 매칭하는 방법을 이하 상세히 설명한다.
도 10은 본 발명의 일 실시 예에 따른 이미지 매칭처리부가 이미지들을 매칭하는 방법을 설명하기 위한 예시도이다.
도 10을 참조하면, 이미지 매칭처리부(500)는 좌측 이미지(Left_img)의 가장 우측 컬럼(CL_1)에서부터 순차적 좌측 컬럼(CL_2 ~ CL_n)으로 우측 이미지(Right_img)의 가장 좌측 컬럼(CR_PL)과의 유사도를 비교한다.
이때, 각 컬럼들은 이미지 높이 만큼의 차원을 가진 벡터(vector)로서 n개의 엘레멘트를 갖는 것으로 가정하고, 좌측 이미지(Left_img)의 컬럼들(CL_1 ~ CL_n) 각각과 우측 이미지(Right_img)의 가장 좌측 컬럼(CR_PL)의 거리를 계산하는 방식으로 컬럼들 상호 간의 유사도를 비교한다.
실시 예에 따라, 이미지 매칭처리부(500)는 유클리드 거리(Euclidean Distance 또는 L2 Distance)를 계산하는 방법으로 상기 각 컬럼들 사이의 거리를 구할 수 있다.
예를 들어, 이미지 매칭처리부(500)는 좌측 이미지(Left_img)의 제4컬럼(CL_4)과 우측 이미지(Right_img)의 가장 좌측 컬럼(CR_PL)의 거리(D)는 아래의 수학식과 같이 계산할 수 있다.
Figure 112019055923682-pat00001
이때, CL_41은 좌측 이미지(Left_img)의 제4컬럼(CL_4)의 제1엘레멘트를 의미하고 CL_4n는 제n엘레멘트를 의미하며, CR_PL1은 우측 이미지(Right_img)의 가장 좌측 컬럼(CR_PL)의 제1엘레멘트를 의미하고 CR_PLn은 제n엘레멘트를 의미한다.
이미지 매칭처리부(500)는 상기와 같이 계산한 유클리드 거리가 가장 작은 경우를 컬럼들 상호 간의 유사도가 가장 큰 것으로 판단한다.
도 11은 본 발명의 일 실시 예에 따른 이미지 매칭처리부(500)가 유사도에 따라 이미지들(Left_img 및 Right_img)을 매칭한 결과를 나타내는 예시도이다.
도 1, 도 10 및 도 11을 참조하면, 이미지 매칭처리부(500)는 상기와 같이 구한 컬럼들 상호 간의 유사도에 따라, 가장 높은 유사도를 가진 두 컬럼(CL_4, CR_PL)을 기준으로 이미지들(Left_img 및 Right_img) 상호 간의 매칭(matching)을 수행한다.
그리고, 이미지 매칭처리부(500)로부터 각 이미지들(Left_img 및 Right_img)이 매칭되면, 이들 각 이미지들(Left_img 및 Right_img) 상호 간의 겹치는 영역이 나타나게 된다.
이미지 매칭처리부(500)는 상기와 같은 과정을 통해 매칭된 이미지들을 보정 이미지(calib_img)로서 인구 계수부(400)에 전송한다.
다만, 앞서 도 9의 (b)에 대한 설명에서 언급한 바와 같이, 이미지 매칭처리부(500)는 이미지들(Left_img 및 Right_img) 간 겹치는 영역을 찾을 때 수평 방향의 이동뿐만 아니라 수직 방향 이동과 이미지 회전을 고려해야 한다.
이는 수직 방향의 이동, 이미지의 회전과 같은 변화가 약간만 발생해도 실제로 서로 유사한 컬럼들이 유사도 계산에서는 낮은 유사도로 나타날 수 있기 때문이다.
이에 따라, 이미지 매칭처리부(500)는 이미지들 간의 유사도에 따른 매칭 이전에 소정의 전처리 과정을 수행할 수 있으며, 상기의 전처리 과정을 통해 이미지(ca_img)가 다소 수직 방향 쉬프트 되거나 회전 되어도 컬럼들 간 유사도에 큰 영향을 주지 않도록 한다.
실시 예에 따라, 상기 소정의 전처리 과정은 컨볼루션 신경망 알고리즘(Convolutional Neural Network, CNN)의 맥스 풀링(max pooling)에 따라 수행될 수 있다.
일반적으로 인풋 이미지의 각 레이어를 분리하여 사이즈를 변환(resize)시킨 후 다시 적층하는 방법을 풀링(pooling)이라 하며, 맥스 풀링은 최대값이 다른 값을 대표한다는 개념을 기반으로 사이즈를 변환시키는 풀링 방법이다.
이미지 매칭처리부(500)는 맥스 풀링을 이용하여 이미지들(예컨대, 도 9의 Left_img 및 Right_img)을 전처리하기 때문에 이미지(도 9의 Right_img)가 다소 수직 방향 쉬프트 되거나 회전되어도 이미지들(예컨대, 도 9의 Left_img 및 Right_img)의 컬럼들 간 유사도 판단에 큰 영향을 주지 않게 된다.
이후, 이미지 매칭처리부(500)는 상기 전처리 된 이미지들의 컬럼들 상호 간의 유사도에 따라, 도 10 및 도 11에서 설명한 바와 같이 가장 높은 유사도를 가진 두 컬럼을 기준으로 이미지들(Left_img 및 Right_img) 상호 간의 매칭(matching)을 수행한다.
다시 도 1을 참조하면, 인구 계수부(400)는 이미지 매칭처리부(500)로부터 전송된 보정 이미지(calib_img)로부터 중복된 인구를 제외하여 정확한 유동 인구를 카운팅 하게 된다.
즉, 인구 계수부(400)는 전체 유동 인구의 수를 어떤 이미지(예컨대 도 11의 Left_img)의 전체 유동 인구의 수와 다른 이미지(예컨대, 도 11의 Right_img)의 전체 인구 수의 합에서 이들의 겹치는 영역(예컨대, 도 11의 겹치는 영역)에 존재하는 인구 수를 뺀 수로 처리하게 된다.
보다 상세히 설명하면, 인구 계수부(400)는 파노라마 이미지 생성부(200)가 파노라마 이미지(PA_img)를 생성하지 못한 경우, 이미지 매칭처리부(500)로부터 보정 이미지(calib_img)를 수신한다.
보정 이미지(calib_img)에는 각 이미지(예컨대 도 11의 Left_img 및 Right_img)가 겹치는 영역이 표시되어 있으며, 인구 계수부(400)는 각 이미지에서 유동인구수를 카운트하고, 이들 이미지가 겹치는 영역에 존재하는 유동 인구수를 카운트한다.
순차적으로 인구 계수부(400)는 각 이미지(예컨대 도 11의 Left_img 및 Right_img)에서 카운트한 유동 인구수의 합에서 이들 이미지가 겹치는 영역에 존재하는 유동 인구수를 차감함으로써 중복 제거된 유동 인구수를 계산한다.
이때, 인구 계수부(400)는 R-CNN, Fast R-CNN, Faster R-CNN, R-FCN, YOLO, SSD 등과 같은 공지의 객체 인식 방법을 이용하여 보정 이미지(calib_img)로부터 유동 인구를 실시간 카운팅할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 영상 기반의 유동 인구 카운팅 방법(이하, '유동 인구 카운팅 방법'이라 함)을 설명하기 위한 순서도이다.
도 1 내지 도 12를 참조하면, 영상 촬영부(100)는 복수의 카메라들(130-1, 130-2 및 130-3) 각각이 수집(S100)한 해당 영역에 대한 이미지(ca_img)를 파노라마 이미지 생성부(200)로 전송한다(S130).
이때, 제1카메라(130-1)는 제1영역에 대한 이미지(ca_img1)를 수집하고, 제2카메라(130-2)는 제2영역에 대한 이미지(ca_img2)를 수집하며, 제3카메라(130-3)는 제3영역에 대한 이미지(ca_img3)를 수집한다.
순차적으로, 파노라마 이미지 생성부(200)는 영상 촬영부(100)로부터 전송된 이미지(ca_img)로부터 단일의 파노라마 이미지(PA_img)를 생성하고(S200), 생성한 파노라마 이미지(PA_img)를 유동인구 계수부(400)로 전송한다(S230).
이하 파노라마 이미지 생성부(200)가 단일의 파노라마 이미지(PA_img)를 생성하는 방법에 대해 상세히 설명한다.
도 13은 본 발명의 일 실시 예에 따른 파노라마 이미지 생성부(200)가 파노라마 이미지(PA_img)를 생성하는 과정을 설명하기 위한 순서도이다.
도 1 내지 도 13을 참조하면, 파노라마 이미지 생성부(200)는 영상 촬영부(100)로부터 전송된 이미지들에서 동일한 성격을 갖는 특징점(Keypoint)을 추출한다(S150).
이때, 파노라마 이미지 생성부(200)는 상기의 특징점을 SIFT, SURF, BRISK, FREAK와 같은 공지된 로컬 피쳐 디텍트 방법을 이용하여 추출할 수 있다.
순차적으로, 파노라마 이미지 생성부(200)는 추출된 특징점을 일치시키는 방법으로 이미지들(예컨대, 도 4의 ca_img4와 ca_img5 또는 도 7의 ca_img6와 ca_img7)을 정렬시킨다(S180).
이때, 파노라마 이미지 생성부(200)는 상기 추출된 특징점을 기초로 아핀 변환이나 투영 변환 방법을 사용하여 이미지들을 정렬(S180)시킬 수 있다.
결국, 파노라마 이미지 생성부(200)는 상기와 같이 특징점이 추출된 이미지들을 특징점을 일치시키는 방법을 통해 정렬시키고, 정렬된 이미지들을 파노라마 이미지(예컨대, 도 5의 PA_img2 또는 도 8의 PA_img3)로서 생성한다(S200).
만일, 파노라마 이미지 생성부(200)가 상기 특징점을 추출하지 못하게 되면, 이는 곧 파노라마 이미지 생성에 실패한 것과 같으며, 파노라마 이미지 생성에 실패한 경우에 파노라마 이미지 생성부(200)는 영상 촬영부(100)로부터 전송된 이미지(ca_img)를 이미지 매칭처리부(500)로 전송한다(S280).
실시 예에 따라서는, 파노라마 이미지 생성에 실패하지 않은 경우라도 파노라마 이미지 생성부(200)가 영상 촬영부(100)로부터 전송된 이미지(ca_img)를 이미지 매칭처리부(500)로 전송할 수도 있다(S280).
이미지 매칭처리부(500)는 파노라마 이미지 생성부(200)로부터 전송된 이미지들(ca_img)로부터 보정 이미지(calib_img)를 생성하며(S400), 생성한 보정 이미지를 인구 계수부로 전송한다(S430).
이하, 이미지 매칭처리부(500)가 보정 이미지(calib_img)를 생성하는 과정(S400)을 보다 상세히 설명한다.
도 14는 본 발명의 일 실시 예에 따른 이미지 매칭처리부가 보정 이미지를 생성하는 과정을 설명하기 위한 순서도이다.
도 1 내지 도 14를 참조하면, 이미지 매칭처리부(500)는 파노라마 이미지 생성부(200)로부터 전송된 이미지들(ca_img) 간 수직, 회전에 따른 유사도 판단의 오류을 최소화하기 위해 전처리 과정을 수행한다(S300).
실시 예에 따라, 상기 소정의 전처리 과정은 컨볼루션 신경망 알고리즘(Convolutional Neural Network, CNN)의 맥스 풀링(max pooling)에 따라 수행될 수 있다(S300).
이미지 매칭처리부(500)는 맥스 풀링을 이용하여 이미지들(예컨대, 도 9의 Left_img 및 Right_img)을 전처리하기 때문에 이미지(도 9의 Right_img)가 다소 수직 방향 쉬프트 되거나 회전이 되어도 이미지들(예컨대, 도 9의 Left_img 및 Right_img)의 컬럼들 간 유사도 판단에 큰 영향을 주지 않게 된다.
이미지 매칭처리부(500)는 전처리 된 좌측 이미지(Left_img)와 우측 이미지(Right_img)를 기초로 하여, 좌측 이미지(Left_img)의 가장 우측 컬럼(CL_1)에서부터 순차적 좌측 컬럼(CL_2 ~ CL_n)으로 우측 이미지(Right_img)의 가장 좌측 컬럼(CR_PL)과의 유사도를 비교한다(S350).
이때, 각 컬럼들은 이미지 높이 만큼의 차원을 가진 벡터(vector)로서 n개의 엘레멘트를 갖는 것으로 가정하고, 좌측 이미지(Left_img)의 컬럼들(CL_1 ~ CL_n) 각각과 우측 이미지(Right_img)의 가장 좌측 컬럼(CR_PL)의 거리를 계산(S320)함으로써 컬럼들 상호 간의 유사도를 비교한다(S350).
실시 예에 따라, 이미지 매칭처리부(500)는 상기 수학식1과 같이 유클리드 거리(Euclidean Distance 또는 L2 Distance)를 계산하는 방법으로 상기 각 컬럼들 사이의 거리를 구할 수 있다(S320).
이미지 매칭처리부(500)는 상기와 같이 계산한 유클리드 거리가 가장 작은 경우를 컬럼들 상호 간의 유사도가 가장 큰 것으로 판단한다(S350).
이미지 매칭처리부(500)는 상기와 같이 구한 컬럼들 상호 간의 유사도에 따라, 가장 높은 유사도를 가진 두 컬럼(예컨대, 도 11의 CL_4, CR_PL)을 기준으로 이미지들(Left_img 및 Right_img) 상호 간의 매칭(matching)을 수행한다(S390).
즉, 이미지 매칭처리부(500)는 이미지들(Left_img 및 Right_img) 상호 간의 매칭(matching)을 수행(S390)함으로써 이들 상호 간의 겹치는 영역을 찾아내고, 매칭된 이미지를 보정 이미지(calib_img)로서 생성한다(S400).
이후, 이미지 매칭처리부(500)는 생성된 보정 이미지(calib_img)를 인구 계수부(400)에 전송한다(S430).
한편, 인구 계수부(400)는 파노라마 이미지 생성부(300)로부터 전송된 파노라마 이미지(PA_img) 또는 이미지 매칭부(500)로부터 전송된 보정 이미지(calib_img)로부터 유동 인구를 실시간 카운팅한다(S500).
이때, 인구 계수부(400)는 R-CNN, Fast R-CNN, Faster R-CNN, R-FCN, YOLO, SSD 등과 같은 공지의 객체 인식 방법을 이용하여 파노라마 이미지(PA_img)로부터 유동 인구를 실시간 카운팅한다(S500-1).
또한, 인구 계수부(400)는 R-CNN, Fast R-CNN, Faster R-CNN, R-FCN, YOLO, SSD 등과 같은 공지의 객체 인식 방법을 이용하여 보정 이미지(calib_img)로부터 각 이미지들(Left_img 및 Right_img)에 존재하는 유동 인구수를 실시간 카운팅하고, 이들(Left_img 및 Right_img)로부터 중복되는 영역(겹치는 영역)에 존재하는 유동 인구를 차감하여 전체 유동 인구를 산출한다(S500-2).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 유동 인구 카운팅 시스템
100 : 영상 촬영부
130-1 : 제1 카메라
130-2 : 제2 카메라
130-3 : 제3 카메라
200 : 파노라마 이미지 생성부
300 : 특징점 표시부
400 : 유동 인구 계수부
500 : 이미지 매칭 처리부

Claims (11)

  1. 각각 해당 영역에 대한 이미지를 수집하는 복수의 카메라들로 구성되는 영상 촬영부;
    상기 영상 촬영부에서 수집된 이미지들로부터 단일의 파노라마 이미지를 생성하는 파노라마 이미지 생성부;
    상기 파노라마 이미지 생성부가 상기 파노라마 이미지를 생성하지 못하는 경우, 상기 수집된 이미지들을 이미지 매칭하여 보정 이미지를 생성하는 이미지 매칭 처리부;
    객체 인식 방법을 이용하여 상기 파노라마 이미지 생성부에서 생성된 파노라마 이미지 또는 상기 이미지 매칭 처리부에서 생성된 보정 이미지로부터 유동 인구를 카운트하는 유동 인구 계수부를 포함하고,
    상기 이미지 매칭 처리부는,
    상기 영상 촬영부에서 수집된 이미지들에 대해 컨볼루션 신경망 알고리즘(Convolutional Neural Network, CNN)의 맥스 풀링(max pooling)을 수행하여 전처리하고, 상기 전처리한 이미지들에서 각 이미지의 컬럼들 간의 유클리드 거리(Euclidean Distance)를 계산하여 상기 컬럼들 간의 유사도를 판단하고, 판단된 유사도가 가장 큰 컬럼들을 기준으로 상기 이미지들을 매칭하여 상기 보정 이미지를 생성하도록 구성되는 것을 특징으로 하는 영상 기반의 유동 인구 카운팅 시스템.
  2. 제1항에 있어서, 상기 파노라마 이미지 생성부는,
    로컬 피쳐(local feature) 디텍팅 방법을 이용하여 상기 영상 촬영부에서 수집된 이미지들 각각으로부터 동일한 성격을 갖는 특징점을 추출하고,
    아핀 변환(Affine Transform) 또는 투영 변환(Perspective Transform)을 이용하여 상기 추출된 특징점이 일치되도록 상기 이미지들을 정렬하여 상기 파노라마 이미지를 생성하는 영상 기반의 유동 인구 카운팅 시스템.
  3. 제1항에 있어서,
    상기 해당 영역에 설치되는 구조물로 구현되거나 상기 해당 영역에 기 존재하는 구조물에 입혀진 패턴으로 구현되는 특징점 표시부를 더 포함하는 영상 기반의 유동 인구 카운팅 시스템.
  4. 삭제
  5. 제1항에 있어서, 상기 이미지 매칭처리부는,
    좌측의 제1 이미지의 가장 우측 컬럼(CL_1)에서부터 순차적 좌측 컬럼(CL_2 ~ CL_n) 각각에 대하여 우측의 제2 이미지의 가장 좌측 컬럼(CR_PL)과의 유클리디안 거리(Euclidean Distance)를 계산하여 유사도를 비교하고, 유사도 비교 결과 가장 유사한 컬럼들을 겹쳐 상기 제1 이미지 및 상기 제2 이미지의 상호 간의 겹치는 영역을 산출하도록 구성되는 것을 특징으로 하는 영상 기반의 유동 인구 카운팅 시스템.
  6. 제5항에 있어서, 상기 이미지 매칭처리부는,
    상기 컬럼 각각이 이미지 높이 만큼의 차원을 가진 벡터로서 n개의 엘러멘트(element)로 구분하고, 상기 좌측의 제1 이미지 및 상기 우측의 제2 이미지의 상호 비교 대상 컬럼 간의 상호 대응되는 엘레멘트들을 이용하여 유클리드 거리를 계산하도록 구성되는 것을 특징으로 하는 영상 기반의 유동 인구 카운팅 시스템.
  7. 제1항에 있어서, 상기 유동 인구 계수부는,
    상기 보정 이미지에 포함되는 이미지들 각각의 유동 인구 수의 합에서 상기 보정 이미지에 포함되는 이미지들이 서로 중복되는 영역에 존재하는 유동 인구 수를 차감한 수를 상기 유동 인구로 카운팅하는 영상 기반의 유동인구 카운팅 시스템.
  8. 영상 촬영부가 복수의 카메라들이 수집한 해당영역에 대한 이미지들을 파노라마 이미지 생성부로 전송하는 단계;
    상기 파노라마 이미지 생성부가 상기 전송된 이미지들로부터 단일의 파노라마 이미지를 생성하여 유동 인구 계수부로 전송하는 단계;
    상기 파노라마 이미지 생성부가 상기 파노라마 이미지를 생성하지 못하는 경우, 상기 파노라마 이미지 생성부가 상기 전송된 이미지들을 이미지 매칭처리부로 전송하는 단계;
    상기 이미지 매칭처리부가 상기 전송된 이미지들로부터 보정 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계;
    상기 유동 인구 계수부가 객체 인식 방법을 이용하여 상기 전송된 파노라마 이미지 또는 상기 보정 이미지로부터 유동 인구를 카운트 하는 단계를 포함하고,
    상기 이미지 매칭처리부가 상기 전송된 이미지들로부터 보정 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계는,
    상기 영상 촬영부에서 수집된 이미지들에 대해 컨볼루션 신경망 알고리즘(Convolutional Neural Network, CNN)의 맥스 풀링(max pooling)을 수행하여 전처리하고, 상기 전처리한 이미지들에서 각 이미지의 컬럼들 간의 유클리드 거리(Euclidean Distance)를 계산하여 상기 컬럼들 간의 유사도를 판단하고, 판단된 유사도가 가장 큰 컬럼들을 기준으로 상기 이미지들을 매칭하여 상기 보정 이미지를 생성하도록 구성되는 것을 특징으로 하는 영상 기반의 유동인구 카운트 방법.
  9. 제8항에 있어서, 상기 파노라마 이미지 생성부가 상기 파노라마 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계는,
    로컬 피쳐 디텍트 방법을 이용하여 상기 전송된 이미지들에서 동일한 성격을 갖는 특징점을 추출하는 단계;
    아핀 변환 또는 투영 변환 방법을 이용하여 상기 추출된 특징점을 일치시키도록 상기 전송된 이미지들을 정렬시키는 단계;
    상기 정렬된 이미지들을 상기 파노라마 이미지로서 생성하는 단계; 및
    상기 생성된 파노라마 이미지를 상기 유동 인구 계수부로 전송하는 단계;를 포함하는 영상 기반의 유동인구 카운트 방법.
  10. 제8항에 있어서, 상기 이미지 매칭처리부가 상기 보정 이미지를 생성하여 상기 유동 인구 계수부로 전송하는 단계는,
    좌측의 제1 이미지의 가장 우측 컬럼(CL_1)에서부터 순차적 좌측 컬럼(CL_2 ~ CL_n) 각각에 대하여 우측의 제2 이미지의 가장 좌측 컬럼(CR_PL)과의 유클리드 거리(Euclidean Distance)를 계산하여 유사도를 비교하고, 유사도 비교 결과 가장 유사한 컬럼들을 겹쳐 상기 제1 이미지 및 상기 제2 이미지의 상호 간의 겹치는 영역을 산출하도록 구성되고,
    상기 유클리드 거리의 계산시, 상기 컬럼 각각을 이미지 높이 만큼의 차원을 가진 벡터로서 n개의 엘러멘트(element)로 구분하고, 상기 좌측의 제1 이미지 및 상기 우측의 제2 이미지의 상호 비교 대상 컬럼 간의 상호 대응되는 엘레멘트들을 이용하여 유클리드 거리를 계산하도록 구성되는 것을 특징으로 하는 영상 기반의 유동인구 카운트 방법.
  11. 제8항에 있어서, 상기 유동 인구 계수부가 상기 보정 이미지로부터 유동 인구를 카운트 하는 단계는,
    상기 보정 이미지에 포함되는 이미지들 각각의 유동 인구 수를 카운팅하는 단계;
    상기 보정 이미지에 포함되는 이미지들 상호 간 중복되는 영역에 존재하는 유동 인구 수를 카운팅하는 단계; 및
    상기 카운팅된 이미지들 각각의 유동 인구 수의 합에서 상기 카운팅 된 중복되는 영역에 존재하는 유동 인구 수를 뺀 값을 상기 유동 인구로 카운트하는 단계;를 포함하는 영상 기반의 유동인구 카운팅 시스템.
KR1020190064145A 2019-05-30 2019-05-30 영상 기반의 유동인구 측정 시스템 및 방법 KR102227562B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190064145A KR102227562B1 (ko) 2019-05-30 2019-05-30 영상 기반의 유동인구 측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190064145A KR102227562B1 (ko) 2019-05-30 2019-05-30 영상 기반의 유동인구 측정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200137569A KR20200137569A (ko) 2020-12-09
KR102227562B1 true KR102227562B1 (ko) 2021-03-12

Family

ID=73787520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190064145A KR102227562B1 (ko) 2019-05-30 2019-05-30 영상 기반의 유동인구 측정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102227562B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230089794A (ko) 2021-12-14 2023-06-21 주식회사 라이브워크 사물인터넷 센서 퓨전 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776706B1 (ko) * 2012-11-30 2017-09-08 한화테크윈 주식회사 복수의 카메라 기반 사람계수장치 및 방법
KR101868740B1 (ko) * 2017-01-04 2018-06-18 명지대학교 산학협력단 파노라마 이미지 생성 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101573190B1 (ko) 2014-04-21 2015-12-01 (주)대한에이앤씨 실시간 유동 인구 측정 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101776706B1 (ko) * 2012-11-30 2017-09-08 한화테크윈 주식회사 복수의 카메라 기반 사람계수장치 및 방법
KR101868740B1 (ko) * 2017-01-04 2018-06-18 명지대학교 산학협력단 파노라마 이미지 생성 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230089794A (ko) 2021-12-14 2023-06-21 주식회사 라이브워크 사물인터넷 센서 퓨전 시스템

Also Published As

Publication number Publication date
KR20200137569A (ko) 2020-12-09

Similar Documents

Publication Publication Date Title
CN104169965B (zh) 用于多拍摄装置***中图像变形参数的运行时调整的***、方法和计算机程序产品
Chen et al. City-scale landmark identification on mobile devices
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN104077760A (zh) 一种航空摄影测量的快速拼接***及其实现方法
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN109741240A (zh) 一种基于层次聚类的多平面图像拼接方法
CN106504192A (zh) 一种输电线路走廊地质灾害勘探影像处理方法及***
KR101324250B1 (ko) 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
Yuan et al. Translation, scale and rotation: cross-modal alignment meets RGB-infrared vehicle detection
CN103733225B (zh) 特征点对等***、特征点对等方法、以及记录介质
US8164633B2 (en) Calibration apparatus and method for imaging devices and computer program
CN113012208A (zh) 多视角遥感图像配准方法及***
KR102227562B1 (ko) 영상 기반의 유동인구 측정 시스템 및 방법
JP2018055367A (ja) 画像処理装置、画像処理方法、及びプログラム
Chen et al. Robust local feature descriptor for multisource remote sensing image registration
CN114821430A (zh) 跨摄像头的目标对象跟踪方法、装置、设备及存储介质
Jeon et al. Deep upright adjustment of 360 panoramas using multiple roll estimations
WO2019215780A1 (ja) 識別システム、モデル再学習方法およびプログラム
EP4107699A1 (en) A method for generating a dataset, a method for generating a neural network, and a method for constructing a model of a scene
Yuan et al. Structure flow-guided network for real depth super-resolution
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
Al-Ruzouq Data fusion of multi-source imagery based on linear features registration
WO2015086076A1 (en) Method for determining a similarity value between a first image and a second image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant