KR102096784B1 - 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 - Google Patents

영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 Download PDF

Info

Publication number
KR102096784B1
KR102096784B1 KR1020190141486A KR20190141486A KR102096784B1 KR 102096784 B1 KR102096784 B1 KR 102096784B1 KR 1020190141486 A KR1020190141486 A KR 1020190141486A KR 20190141486 A KR20190141486 A KR 20190141486A KR 102096784 B1 KR102096784 B1 KR 102096784B1
Authority
KR
South Korea
Prior art keywords
image
video
frame
moving means
storage system
Prior art date
Application number
KR1020190141486A
Other languages
English (en)
Inventor
박명준
Original Assignee
주식회사 휴머놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴머놀러지 filed Critical 주식회사 휴머놀러지
Priority to KR1020190141486A priority Critical patent/KR102096784B1/ko
Priority to KR1020200037182A priority patent/KR20210055567A/ko
Application granted granted Critical
Publication of KR102096784B1 publication Critical patent/KR102096784B1/ko
Priority to PCT/KR2020/010588 priority patent/WO2021091053A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 복수의 프레임을 포함하는 동영상의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장되는 영상 저장 시스템(160); 복수의 프레임을 포함하는 동영상을 촬영하는 이동 수단(400); 상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 특징점 추출부(110); 및 상기 특징점이 추출된 이동 수단의 동영상을 상기 영상 저장 시스템의 동영상과 비교하는 영상 분석부(120);를 포함하고, 상기 영상 분석부는 이동 수단의 동영상의 특징점과 저장 시스템의 동영상의 특징점을 비교하여 유사도가 임계치 이상인지를 확인하여 이동 수단의 동영상과 대응되는 저장 시스템의 동영상을 찾아내고, 상기 찾아낸 저장 시스템의 동영상의 위치 정보를 이동 수단의 위치 정보로 인식하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템에 관한 것이다.

Description

영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 {POSITIONING SYSTEM AND THE METHOD THEREOF USING SIMILARITY-ANALYSIS OF IMAGE}
본 발명은 디지털 영상 파일의 화면을 비교하고 유사도 분석을 통하여 위치를 측정하고자 하는 시스템 및 그 방법에 관한 것이다. 특히 카메라가 고정된 채 촬영한 영상이 아니라 촬영 위치, 시점 등에 따라 변화하는 이동식 카메라가 촬영한 영상에서 이전 촬영 영상을 비교하여 촬영하는 시스템의 위치를 파악하고자 하는 것이다.
자동차 또는 드론과 같은 이동 수단의 운행을 하기 위해서는 상기 이동 수단의 위치를 파악을 하고 파악된 위치를 기반으로 이동 수단의 운행 방향 및 속도등을 제어하게 된다.
이러한 이동 수단의 위치를 파악하기 위하여 GPS를 이용하게 되나, 건물 내부, 다리 밑, 터널 같은 곳에서는 GPS를 사용할 수 없게 된다.
본 발명에서는 이동 수단에 부착된 촬영 수단 (차량의 블랙 박스, 드론의 카메라)에 의하여 촬영된 영상과, 기존에 촬영한 영상을 비교하여 이동 수단의 현재 위치를 파악하고, 이와 같이 파악된 위치에 의하여 상기 이동 수단을 제어하고자 하는 것이다.
공개 특허 제10-2015-0033043호 (2015.04.01) 등록 특허 제10-1240924-0000호 (2013.03.04)
본 발명은 자동차 또는 드론과 같은 이동 수단의 운행을 하기 위하여 이동 수단에 구비된 촬영 장치에 의해 상기 이동 수단의 위치를 파악하고자 하는 것이다.
상기 위치를 파악하기 위하여 촬영한 영상 이미지의 특이점을 추출하여 저장 시스템에 저장하고 촬영 장치에 의해 촬영된 영상 이미지의 특이점을 추출하여, 특이점들을 비교하고 이로 인하여 촬영 장치의 위치를 파악하고자 한다.
상기 특이점은 촬영 영상의 프레임 이미지를 복수개의 블록 단위로 분할하고 분할된 블록 단위별 각 픽셀의 영상 밝기 데이터의 평균갑을 산출한 후 블록 간 영상 밝기 데이터의 평균값의 차이를 이용하여 핑커 프린트를 생성하고, 이와 같이 생성된 핑거 프린트를 이용하여 프레임 이미지를 비교함으로써 프레임 이미지의 비교를 빠르게 할 수 있도록 하고자 한다.
본 발명은 복수의 프레임을 포함하는 동영상의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장되는 영상 저장 시스템(160); 복수의 프레임을 포함하는 동영상을 촬영하는 이동 수단(400); 상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 특징점 추출부(110); 및 상기 특징점이 추출된 이동 수단의 동영상을 상기 영상 저장 시스템의 동영상과 비교하는 영상 분석부(120);를 포함하고, 상기 영상 분석부는 이동 수단의 동영상의 특징점과 저장 시스템의 동영상의 특징점을 비교하여 유사도가 임계치 이상인지를 확인하여 이동 수단의 동영상과 대응되는 저장 시스템의 동영상을 찾아내고, 상기 찾아낸 저장 시스템의 동영상의 위치 정보를 이동 수단의 위치 정보로 인식하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템에 관한 것이다.
또한 본 발명에서 상기 특징점 추출부는, 동영상의 비디오 스트림을 RGB 포맷 또는 흑백 영상 포맷으로 디코딩한 후 디코딩된 각 프레임 이미지를 복수 개의 블록 단위로 분할하고, 상기 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터의 평균값을 산출한 후, 인접한 블록 간의 영상 밝기 데이터의 평균값의 차이를 기준으로 특징점을 추출하여 각 프레임별로 그룹화된 핑거프린트를 생성할 수 있다.
또한, 본 발명에서 상기 영상 분석부는, 상기 이동 수단의 영상의 각 프레임 이미지별로 그룹화된 핑거프린트로 추출된 특징점과 상기 영상 저장 시스템에 기저장된 영상의 색인화된 특징점을 상호 비교하여 소정 구간의 복수의 프레임에 대응하는 특징점의 유사도가 임계수치 이상인 위치 정보를 포함하는 기저장된 영상을 찾아내고, 상기 기저장된 영상의 위치 정보를 상기 이동 수단의 위치로 판단할 수 있다.
또한, 본 발명에서 상기 저장 시스템(160)에는 프레임별 핑거 프린트와 위치 정보를 포함하는 다수의 기저장된 영상(200, 210)을 포함하고, 상기 영상 분석부(120)는 상기 이동 수단이 촬영한 영상(300)을 실시간으로 영상 분석부(120)에 전송하고, 영상 분석부(120)는 이동 수단이 촬영한 영상(300)의 프레임별 (301, 302, 303, 304, 305, 306, 307, 308)로 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)와 저장 시스템(160)에 기저장된 영상(200, 210)의 프레임별(211, 212, 213, 214, 215, 216, 217, 218)로 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)를 비교하여 유사도가 임계치 이상인 프레임을 찾아 기저장된 영상의 프레임 위치 정보를 이동 수단의 위치 정보로 판단할 수 있다.
또한, 본 발명은 복수의 프레임을 포함하는 동영상의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 영상 저장 시스템(160)에 저장하는 단계; 이동 수단(400)이 복수의 프레임을 포함하는 동영상을 촬영하는 단계; 상기 이동 수단(400)이 특징점 추출부(110)에 전송하여 상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 단계; 및 상기 특징점 추출부((110)에 의해서 상기 특징점이 추출된 이동 수단의 동영상을 영상 분석부(120)에서 상기 영상 저장 시스템의 동영상과 비교하는 단계;를 포함하는 영상의 유사도 분석을 이용한 위치 측정 방법에 관한 것이다.
본 발명은 자동차 또는 드론과 같은 이동 수단의 운행을 하기 위하여 이동 수단에 구비된 촬영 장치에 의해 촬영한 이미지의 특이점을 추출하고, 저장 시스템에 저장된 촬영 영상 이미지의 특이점과 비교하여 촬영 장치의 위치를 파악할 수 있도록 하였으며 이로 인하여 촬영 장치의 위치를 빠르게 파악할 수 있도록 하고자 한다.
또한 본 발명에 의하면, 현 시점의 촬영 영상과 평상시의 영상을 실시간으로 비교하여 특이사항 파악할 수 있는 유리한 효과가 있다.
도 1은 본 발명 블록 구성도이다.
도 2 본 발명에서 핑거 프린트를 추출하기 위해서 영상의 프레임(100)을 분할한 예이다.
도 3는 위치 정보를 추적하기 위한 실시예이다.
도 4a 및 도 4b는 영상 저장 시스템(160)에 저장된 영상에 대한 예시이다.
도 5는 이동 수단이 촬영한 동영상(300)의 프레임별 핑거프린트화된 예시이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명 이동형 촬영 영상의 유사도 분석을 이용한 위치 추적 시스템을 나타낸 블록 구성도로서, 영상 촬영부(100), 특징점 추출부(110), 영상 분석부(120), 영상 저장 시스템(160)을 포함한다.
상기 영상 촬영부(100)는 이동 수단에 장착된 각종 동영상을 촬영할 수 있는 카메라 등이 될 수 있으며, 촬영 동영상을 상기 특징점 추출부(110)로 전송한다.
특징점 추출부(110)는 동영상 파일에 포함된 비디오 데이터를 분석하여 비디오 특징점인 비디오 핑거프린트를 추출한다.
여기서, 비디오 핑거 프린트란 비디오 데이터를 고유하게 식별할 수 있는 일종의 비디오 고유 아이디의 요소를 지칭하고, 상기 특징점 추출부(110)는 비디오 핑거 프린트를 추출하기에 앞서 영상 파일로부터 비디오 데이터만을 선택적으로 분리하는 과정을 선행할 수 있다.
상기 특징점 추출부(110)는 비디오 핑거 프린트를 추출하기 위해 동영상 파일에서 비디오 스트림을 선택적으로 분리하고, 분리된 비디오 스트림을 RGB 포맷으로 디코딩한다. 이어서 디코딩된 영상 데이터를 구성하는 각 프레임 이미지별로 서브 비디오 특징점을 추출한다.
상기 특징점 추출부(110)가 각 프레임 이미지별로 서브 비디오 특징점을 추출하는 과정은 다음과 같다. 이는 상기 좁 우스트빈 외 1명의 논문을 참조한다(Job Oostveen, Ton Kalker, Jaap Haitsma의 논문 "Feature Extraction and a Database Strategy for Video Fingerprinting"(Lecture Notes in Computer Science 2314 Springer 2002).
먼저, 특징점 추출부(110)는 프레임 이미지를 블록 단위로 분할한다.
예를 들어, 이미지의 세로축을 n 등분하고 가로축을 m 등분하여 프레임 이미지를 n×m 개의 블록으로 분할한다. 다른 예로서, 이미지의 세로축을 n 등분하여 프레임 이미지를 n 개의 블록으로 분할하고 다시 가로축을 m 등분하여 프레임 이미지를 m 개의 블록으로 분할하여 n×m 개의 블록으로 분할한다.
그리고 특징점 추출부(110)는 분할된 블록 단위별로 각 영상 밝기 데이터인 Y값의 평균을 산출한 후 인접한 블록 간의 영상 밝기 평균값의 차이를 기준으로 소정 비트수의 서브 비디오 핑거프린트를 생성한다.
[수학식 1]은 하나의 프레임 이미지에 대한 서브 비디오 핑거프린트를 생성하는데 사용될 수 있는 비트 할당 함수 'B(r, c, p)'를 예시한 것이다.
Figure 112019114231602-pat00001
여기서 B(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록에 대해 비트를 할당하는 함수이다. 그리고, F(r, c, p)는 p번째 프레임 이미지의 가로축 및 세로축을 기준으로 각각 r번째 및 c번째에 위치한 블록의 영상 밝기값 평균을 나타낸다.
상기 [수학식 1]의 F(r, c, p)에서, r은 1부터 n까지의 정수값을 갖고, c는 1부터 m-1까지의 정수값을 갖는다. 여기서 a는 1보다 작은 수로서 적절하게 선택할 수 있는 상수이다.
한편 상기 특징점 추출부(110)는 영상의 밝기 데이터인 Y값 이외에도 각 픽셀의 색차 데이터인 Cb 또는 Cr값을 활용하여 서브 비디오 핑거프린트를 생성할 수 있다.
상기 특징점 추출부(110)는 동영상을 구성하는 각 프레임 이미지에 대한 서브 비디오 핑거프린트를 추출한 후에는 추출된 각 서브 비디오 핑거프린트를 그룹핑함으로써 동영상 파일에 대한 비디오 핑거프린트의 생성을 완료한다.
본 발명에서는 상기 좁 우스트빈 외 1명의 논문에 기술된 방식 외의 비디오 핑거프린트를 추출할 수 있는 알고리즘이면 어떠한 것이라도 적용가능하다.
이와 같은 방식으로, 동영상 파일에 대한 비디오 핑거 프리트를 생성하여 영상 저장 시스템(160)에 저장하고 저장시 동영상 파일의 프레임별 위치 정보도 함께 저장을 한다.
차량 및 드론과 같은 이동 수단에 장착된 촬영 수단이 새로 영상을 촬영하면, 촬영된 영상의 이미지를 특징점 추출부(110)에 전송하여 핑거 프린트를 생성하고 생성된 핑거 프린트를 영상 분석부(120)에 전송하여, 저장 시스템의 동영상 파일의 핑거 프린트와 비교를 한다.
새로 촬영한 이미지의 촬영한 영상에 생성된 비디오 핑거 프린트와 저장 시스템에 저장된 핑거 프린트를 비교하여, 핑거 프린트간의 유사도가 임계 수치 이상인지 여부를 판단한 결과 임계수치 이상인 경우, 새로 촬영한 영상의 위치가 종전 저장 시스템(160)에 저장된 영상의 촬영한 장소와 일치한다고 판단한다.
이와 같이, 이동 수단의 촬영 수단이 촬영한 영상과 위치 정보가 기록된 저장 시스템의 종전 영상과 비교하여, 상기 영상 촬영 수단의 위치를 실시간으로 파악하여 이동 수단의 위치를 파악할 수 있고 이로 인하여, 이동 수단인 차량 또는 드론을 제어할 수 있다.
도 2는 본 발명의 이동형 촬영 영상의 유사도 분석을 이용한 지능형 이동 감시 시스템의 특징점 추출의 과정 중 블록을 분할하는 일실시례이다. 도 2에서는, 9개의 블록으로 분할하였다.
특징점 추출부(110)는 색상에 기반한 특징점을 추출하기 위해서는 색상 히스토그램 그래프를 이용할 수도 있다. 이는 웨이-룬 차오(Wei-Lun Chao)의 논문 "The Core of Video Fingerprinting Example of Feature Extraction"의 내용을 이용할 수 있다.
또한 특징점 추출부(110)는 객체 이동에 기반한 특징점을 추출하기 위해서는 객체 인식 기반 특징점 추출 알고리즘을 이용할 수 있다. 이는 후이타오 루오(Huitao Luo)의 논문(Algorithms for Video Ob ject Detection and Segmentation with Application to Content-Based Multimedia Systems)을 이용하는 것이 바람직하다.
한편 특징점 추출부(110)는 상기 서브 비디오 특징점을 추출한 각 프레임 고유값들을 영상 분석부(120)로 전송한다. 영상 분석부(120)는 전달된 파라미터 또는 전달 인자에 따라 특정 시점부터 검색할 수 있다.
영상 저장 시스템(160)는 촬영 경과 시점 및 프레임, GPS 좌표별로 색인화하는 것이 좋다.
상기 영상 분석부(120)는 기설정된 기간으로 제한하여 영상 저장 시스템(160)를 검색하는 기능을 수행하는 것이 바람직하다. 상기 영상 저장 시스템(160)에 기저장된 전체 데이터를 검색하지 않고 관리자가 기설정한 검색 구간으로 제한하여 검색 속도를 높일 수 있는 것이다.
도 3에 도시된 것과 같이, 드론과 같은 이동 수단(400) 등을 통해 9월 10일에 촬영하는 영상과 기저장된 영상의 핑거프린트가 임계치 이상인 영상을 찾으며, 상기 기저장된 영상의 위치 정보를 통해 9월10일 촬영하는 이동 수단의 위치를 파악할 수 있다.
현재 실시간으로 촬영되고 있는 대상 영상 (9월10일 영상)을 기저정된 영상 자체의 이미지가 아니라 특징점 추출부(110)가 영상의 프레임별 추출한 특징점(핑거 프린트)을 비트연산을 통해 상호 비교하기 때문에 연산속도가 빠르다. 따라서 실시간 비교도 가능하고 이러한 비교는 영상 분석부(120)가 수행한다.
도 3에서 영상의 A point부터 D point까지는 특징점의 상호 비교 결과 유사도가 임계수치 이상인 경우로서 9월10일 찍은 촬영 수단의 위치를 기저장된 영상의 위치 정보를 통해 파악할 수 있다.
도 4a 및 도 4b에 도시된 것과 같이, 영상 저장 시스템에는 다수의 프레임(201, 202,..; 211, 212. ....)을 포함하는 영상(200, 210)이 저장되어 있으며, 기저장된 영상의 프레임별(211, 212, 213, 214, 215, 216, 217, 218)로 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)가 생성되어 있다.
도 5에서 처럼 이동 수단은 실시간으로 영상(300)을 촬영하며, 촬영한 영상(300)은 특징점 추출부(110)에서 프레임별 (301, 302, 303, 304, 305, 306, 307, 308)로 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)를 생성하고, 영상 분석부(160)에서는 상기 촬영한 영상(300)의 핑거 프린트를 이용하여 기저장된 영상중 일치하는 프레임을 검색한다.
예를 들어, 기저장된 영상(210)의 프레임 (213, 214, 215, 216, 217)의 핑거 프린트(P213, P214, P215, P216, P217)가 영상(300)의 프레임(302, 303, 304, 305, 306)의 핑거 프린트(P302, P303, P304, P305, P306, P307)와 임계치 이상으로 일치하는 경우, 영상(300)을 촬영하는 이동 수단의 위치는 영상(210)의 프레임 (213, 214, 215, 216, 217)의 위치와 동일한 것으로 판단한다.
또한, 영상(300)의 프레임(307)과 영상(210)의 프레임(218)의 핑거 프린트 값(P307, P218)의 유사도가 임계치 이하 (예를 들면 90%이하)가 되는 경우 영상 분석부는 이동 수단이 촬영하는 영상(300)의 프레임별 핑거프린트와 유사도가 임계치 이상인 영상을 다시 찾게 된다.
이와 같이, 본원 발명에서는 영상을 프레임별 핑거 프린트에 의해 특징점을 추출하고 프레임별 위치 정보를 포함하여 저장 시스템에 저장한 후, 이동 수단이 찍은 영상의 특징점을 비교하여, 저장 시스템의 동영상의 일치하는 프레임의 위치 정보를 통해 현재 이동 수단의 위치를 파악할 수 있도록 한 것이다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 부가 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
100: 영상촬영부 110: 특징점 추출부
120: 영상분석부 130: 관리자검열부
160: 영상 저장 시스템

Claims (6)

  1. 복수의 프레임을 포함하는 동영상의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 저장되는 영상 저장 시스템(160);
    복수의 프레임을 포함하는 동영상을 촬영하는 이동 수단(400);
    상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 특징점 추출부(110); 및
    상기 특징점이 추출된 이동 수단의 동영상을 상기 영상 저장 시스템의 동영상과 비교하는 영상 분석부(120);를 포함하고,
    상기 특징점 추출부는, 동영상의 비디오 스트림을 RGB 포맷 또는 흑백 영상 포맷으로 디코딩한 후 디코딩된 각 프레임 이미지를 복수 개의 블록 단위로 분할하고, 상기 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터의 평균값을 산출한 후, 인접한 블록 간의 영상 밝기 데이터의 평균값의 차이를 기준으로 특징점을 추출하여 각 프레임별로 그룹화된 핑거프린트를 생성하고,
    상기 저장 시스템(160)에는 프레임별 핑거 프린트와 위치 정보를 포함하는 다수의 기저장된 영상(200, 210)을 포함하고,
    상기 영상 분석부(120)는 상기 이동 수단이 촬영한 영상(300)을 실시간으로 영상 분석부(120)에 전송하고,
    상기 영상 분석부(120)는 이동 수단이 촬영한 영상(300)의 프레임별 (301, 302, 303, 304, 305, 306, 307, 308) 그룹화된 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)와 저장 시스템(160)에 기저장된 영상(200, 210)의 프레임별(211, 212, 213, 214, 215, 216, 217, 218) 그룹화된 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)를 비교하여 유사도가 임계치 이상인 프레임을 찾아 기저장된 영상의 프레임 위치 정보를 이동 수단의 위치 정보로 판단하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 시스템.
  2. 삭제
  3. 삭제
  4. 복수의 프레임을 포함하는 동영상의 각 프레임별 그룹화된 핑거 프린트와 위치 정보가 색인화되어 영상 저장 시스템(160)에 저장하는 단계;
    이동 수단(400)이 복수의 프레임을 포함하는 동영상을 촬영하는 단계;
    상기 이동 수단(400)이 특징점 추출부(110)에 전송하여 상기 이동 수단이 촬영한 동영상의 각 프레임별 그룹화된 핑거프린트를 생성하는 단계; 및
    상기 특징점 추출부((110)에 의해서 상기 특징점이 추출된 이동 수단의 동영상을 영상 분석부(120)에서 상기 영상 저장 시스템의 동영상과 비교하는 단계;를 포함하고,
    상기 저장 시스템(160)에는 프레임별 핑거 프린트와 위치 정보를 포함하는 다수의 기저장된 영상(200, 210)을 포함하고,
    상기 영상 분석부(120)는 상기 이동 수단이 촬영한 영상(300)을 실시간으로 영상 분석부(120)에 전송하고,
    상기 특징점 추출부는, 동영상의 비디오 스트림을 RGB 포맷 또는 흑백 영상 포맷으로 디코딩한 후 디코딩된 각 프레임 이미지를 복수 개의 블록 단위로 분할하고, 상기 분할된 블록 단위별로 각 픽셀의 영상 밝기 데이터의 평균값을 산출한 후, 인접한 블록 간의 영상 밝기 데이터의 평균값의 차이를 기준으로 특징점을 추출하여 각 프레임별로 그룹화된 핑거프린트를 생성하고,
    상기 영상 분석부(120)는 이동 수단이 촬영한 영상(300)의 프레임별 (301, 302, 303, 304, 305, 306, 307, 308)로 그룹화된 핑거 프린트(P301, P302, P303, P304, P305, P306, P307, P308)와 저장 시스템(160)에 기저장된 영상(200, 210)의 프레임별(211, 212, 213, 214, 215, 216, 217, 218)로 그룹화된 핑거 프린트(P211, P212, P213, P214, P215, P216, P217, P218)를 비교하여 소정 구간의 복수의 프레임에 대응하는 특징점의 유사도가 임계치 이상인 프레임을 찾아 기저장된 영상의 프레임 위치 정보를 이동 수단의 위치 정보로 판단하는 것을 특징으로 하는 영상의 유사도 분석을 이용한 위치 측정 방법.

  5. 삭제
  6. 삭제
KR1020190141486A 2019-11-07 2019-11-07 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법 KR102096784B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190141486A KR102096784B1 (ko) 2019-11-07 2019-11-07 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
KR1020200037182A KR20210055567A (ko) 2019-11-07 2020-03-27 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
PCT/KR2020/010588 WO2021091053A1 (ko) 2019-11-07 2020-08-11 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141486A KR102096784B1 (ko) 2019-11-07 2019-11-07 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037182A Division KR20210055567A (ko) 2019-11-07 2020-03-27 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102096784B1 true KR102096784B1 (ko) 2020-04-03

Family

ID=70282422

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190141486A KR102096784B1 (ko) 2019-11-07 2019-11-07 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
KR1020200037182A KR20210055567A (ko) 2019-11-07 2020-03-27 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200037182A KR20210055567A (ko) 2019-11-07 2020-03-27 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Country Status (2)

Country Link
KR (2) KR102096784B1 (ko)
WO (1) WO2021091053A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091053A1 (ko) * 2019-11-07 2021-05-14 주식회사 휴머놀러지 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
KR20230019744A (ko) 2021-08-02 2023-02-09 주식회사 휴머놀러지 가상 세계를 이용한 비디오 핑거프린팅 학습 방법 및 이를 이용한 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046671A1 (ja) * 2010-10-06 2012-04-12 日本電気株式会社 測位システム
KR101240924B1 (ko) 2011-12-27 2013-03-12 주식회사 유티솔 카메라를 이용한 동체 감지 센서 및 방법
KR20150033043A (ko) 2013-09-23 2015-04-01 (주)한국스마트시티 무선 인식 및 카메라 영상 기반 위치추적 시스템 및 방법
KR101734029B1 (ko) * 2016-01-19 2017-05-10 박명준 이동형 촬영영상의 유사도 분석을 이용한 지능형 이동 감시시스템 및 그 감시방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778530B1 (ko) * 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
KR20190109325A (ko) * 2019-08-07 2019-09-25 엘지전자 주식회사 로봇 및 로봇의 위치를 인식하기 위한 방법
KR102096784B1 (ko) * 2019-11-07 2020-04-03 주식회사 휴머놀러지 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046671A1 (ja) * 2010-10-06 2012-04-12 日本電気株式会社 測位システム
KR101240924B1 (ko) 2011-12-27 2013-03-12 주식회사 유티솔 카메라를 이용한 동체 감지 센서 및 방법
KR20150033043A (ko) 2013-09-23 2015-04-01 (주)한국스마트시티 무선 인식 및 카메라 영상 기반 위치추적 시스템 및 방법
KR101734029B1 (ko) * 2016-01-19 2017-05-10 박명준 이동형 촬영영상의 유사도 분석을 이용한 지능형 이동 감시시스템 및 그 감시방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021091053A1 (ko) * 2019-11-07 2021-05-14 주식회사 휴머놀러지 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
KR20230019744A (ko) 2021-08-02 2023-02-09 주식회사 휴머놀러지 가상 세계를 이용한 비디오 핑거프린팅 학습 방법 및 이를 이용한 시스템

Also Published As

Publication number Publication date
KR20210055567A (ko) 2021-05-17
WO2021091053A1 (ko) 2021-05-14

Similar Documents

Publication Publication Date Title
JP7317919B2 (ja) 外観検索のシステムおよび方法
US9560323B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
US20140254934A1 (en) Method and system for mobile visual search using metadata and segmentation
US20130259361A1 (en) Content-based matching of videos using local spatio-temporal fingerprints
US10037467B2 (en) Information processing system
US8805123B2 (en) System and method for video recognition based on visual image matching
KR101734029B1 (ko) 이동형 촬영영상의 유사도 분석을 이용한 지능형 이동 감시시스템 및 그 감시방법
US20130083965A1 (en) Apparatus and method for detecting object in image
KR102096784B1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
CN111723656A (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
KR102090739B1 (ko) 영상의 유사도 분석을 위해 영상 영역 격자 다분할을 이용하는 지능형 이동 감시 시스템 및 그 감시방법
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
US11682211B2 (en) Computer-implemented method
US20220327716A1 (en) Method of detecting moving objects
CN105989063B (zh) 视频检索方法和装置
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN104680143B (zh) 一种用于视频侦查的快速图像检索方法
KR102509981B1 (ko) 가상 세계를 이용한 비디오 핑거프린팅 학습 방법 및 이를 이용한 시스템
JP6252349B2 (ja) 監視装置、監視方法および監視プログラム
CN108399411A (zh) 一种多摄像头识别方法及装置
KR102589150B1 (ko) 누적 차영상을 이용한 원거리 객체 검지 시스템
RU2809945C2 (ru) Способ обнаружения движущихся объектов

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant