KR101997799B1 - System for providing image associated with region of interest - Google Patents

System for providing image associated with region of interest Download PDF

Info

Publication number
KR101997799B1
KR101997799B1 KR1020180162997A KR20180162997A KR101997799B1 KR 101997799 B1 KR101997799 B1 KR 101997799B1 KR 1020180162997 A KR1020180162997 A KR 1020180162997A KR 20180162997 A KR20180162997 A KR 20180162997A KR 101997799 B1 KR101997799 B1 KR 101997799B1
Authority
KR
South Korea
Prior art keywords
image
coordinate value
candidate
images
unit
Prior art date
Application number
KR1020180162997A
Other languages
Korean (ko)
Inventor
성길영
김대영
권철희
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020180162997A priority Critical patent/KR101997799B1/en
Application granted granted Critical
Publication of KR101997799B1 publication Critical patent/KR101997799B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Abstract

According to an embodiment of the present invention, provided is a system for providing an image related to a region of interest, which comprises: an image acquisition device acquiring images; and a related image providing device including an input unit receiving the acquired image, an environment related database storing the inputted images and reference information, which is information on each environment of the images, a candidate image search unit searching at least one candidate image corresponding to a region of interest including all or a portion of a target image to search a related image among the inputted images from the environment related database, and a related image determination unit calculating the similarity between the searched candidate image and the target image in accordance with a predetermined criterion, and determining a related image which is highly related to the region of interest in accordance with the calculated similarity.

Description

관심영역 연관 영상 제공시스템 {System for providing image associated with region of interest}[0001] The present invention relates to a system and method for providing a region-

본 발명은 관심영역의 연관 영상을 제공하는 시스템에 관한 것이다.The present invention relates to a system for providing an associated image of a region of interest.

원격의 통제 시스템에서 실시간으로 무인이동체의 EO-IR(electroopic-infrared) 및 SAR(Synthetic Aperture Radar) 등의 영상 센서를 통해 획득된 영상과 상태정보를 스트리밍 받아, 운용자에게 확인하기를 원하는 지역의 영상을 제공하는 시스템이 개발되고 있다.In the remote control system, video and status information obtained through an image sensor such as EO-IR (electroopic-infrared) and SAR (Synthetic Aperture Radar) of an unmanned mobile object is streamed in real time, Is being developed.

원격의 통제 시스템에서 수신 받은 영상들은 원격 통제 시스템 또는 무인이동체에 직접 저장되어 일정 기간 동안 파일시스템 및 데이터베이스를 이용하여 유지될 수 있다. 무인이동체를 통해 수집한 동영상, 정지영상 등의 데이터는 무인이동체의 운용이 종료 된 후, 사후 분석 단계에서 사용될 수 있다.The images received from the remote control system can be directly stored in the remote control system or the unmanned vehicle and can be maintained using the file system and the database for a certain period of time. Data such as moving images and still images collected through the unmanned moving object can be used in the post-analysis step after the operation of the unmanned moving object is terminated.

이러한 종래의 시스템의 경우, 무인시스템의 운용이 끝난 후의 사후분석 단계에서 과거 영상과 운용 중 수집된 영상의 차이점을 비교하는 것은 가능하지만 무인시스템 운용 중 비교를 실시간으로 분석하기 어렵다는 단점이 있다.In the case of such a conventional system, it is possible to compare the difference between the past image and the image collected during operation in the post-analysis step after the operation of the unmanned system, but it has a disadvantage that it is difficult to analyze the comparison in real time during operation of the unmanned system.

즉, 종래에는 사후분석 단계에서도 비교군 영상을 일일이 확인해야했기 때문에 종래의 시스템은 시간이 오래 걸리고, 비교를 위해 최적의 영상을 찾기 어렵다는 단점이 있다. In other words, conventionally, since the comparison group images have to be checked individually even in the post-analysis step, the conventional system takes a long time and it is difficult to find an optimum image for comparison.

한국 등록 특허 제10-12647633호 (등록)Korean Registered Patent No. 10-12647633 (registered)

상기 전술한 종래의 문제점을 해결하기 위한 본 발명의 실시예에 따른 연관 영상 제공시스템은, 사후 분석 단계는 물론이고, 실시간으로 운용하는 단계인 실시간 스트리밍 단계에서 현재 재생중인 영상의 촬영지역 정보, 무인이동체 위치정보 등의 참조정보를 이용하여 유사한 과거 데이터를 검색하고 운용자에게 제공하는 것을 목적으로 한다.According to an embodiment of the present invention, there is provided an associated image providing system including a post-analysis step and a real-time streaming step of real- And retrieves similar past data using reference information such as moving object location information and provides the same to an operator.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 관심영역의 연관 영상 제공시스템은, 영상을 획득하는 영상 획득장치(10), 및 상기 획득된 영상을 입력 받는 입력부, 상기 입력된 영상들과, 상기 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 환경 연관 데이터베이스, 상기 입력된 영상들 중 연관 영상을 찾고자 하는 타겟 영상의 전부 또는 일부를 포함하는 관심 영역에 대응되는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 후보 영상 탐색부 및 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 연관 영상 결정부를 포함할 수 있다.According to an aspect of the present invention, there is provided a system for providing an association image of a region of interest, the system including an image acquisition device for acquiring an image, an input unit for inputting the acquired image, An environment association database for storing reference information which is information on the environment of each of the images, at least one candidate image corresponding to a region of interest including all or a part of a target image to be searched for an associated one of the input images A candidate image searching unit for searching in the environment-related database, a similarity calculating unit for calculating a similarity between the searched candidate image and the target image according to a predetermined criterion, and determining an association image having a high correlation with the ROI according to the calculated similarity And an associated image determination unit.

또한, 상기 참조 정보는, ⅰ) 상기 영상 획득장치(10)의 위치, 자세, 시야각(FOV) 및 픽셀에 대한 정보를 포함하는 상태정보; ⅱ) 상기 각 영상이 획득된 시점에 따른 시각정보; 및 ⅲ) 상기 영상의 크기를 정의할 수 있는 기준지점들 각각에 따른 제1 기준좌표값들 및 상기 제1 기준좌표값들을 이용하여 산출되는 제1 특징좌표값을 포함하는 공간정보;를 더 포함하고, 상기 환경 연관 데이터베이스는, 상기 각 영상과, 상기 각 영상에 따른 상기 참조 정보를 튜플(tuple) 데이터로 저장할 수 있다.The reference information may include: i) status information including information on a position, an attitude, a viewing angle (FOV) and a pixel of the image capturing apparatus 10; Ii) time information according to the time at which each image is acquired; And iii) spatial information including first reference coordinate values according to each of the reference points capable of defining the size of the image and first feature coordinate values calculated using the first reference coordinate values And the environment association database may store the respective images and the reference information corresponding to the respective images as tuple data.

또한, 상기 연관 영상 결정부는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들 및 상기 제2 기준좌표값들을 이용하여 제2 특징좌표값을 산출하고, 상기 산출된 제2 특징좌표값과 상기 환경 연관 데이터베이스에 저장된 상기 각 후보 영상의 특징좌표값인 제1 특징좌표값을 이용하여 유사도를 판단함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬할 수 있다.The related image determination unit may calculate a second feature coordinate value using second reference coordinate values of reference points and reference coordinates that can define the size of the ROI, 2 feature coordinate values and a first feature coordinate value that is a feature coordinate value of each of the candidate images stored in the environment association database, the plurality of candidate images can be sorted in descending order of similarity.

또한, 상기 후보 영상 탐색부는, 상기 연관 영상을 탐색하기 위해, 상기 관심영역의 꼭짓점들의 좌표값으로 정의되는 제2 기준좌표값들을 이용하여 상기 관심영역보다 크거나 같은 제1 바운딩 박스를 생성하고, 상기 환경 연관 데이터베이스에 저장된 각 영상의 꼭짓점들의 좌표값으로 정의되는 제1 기준좌표값들을 이용하여 상기 각 영상보다 크거나 같은 제2 바운딩 박스를 생성할 수 있다.The candidate image search unit may generate a first bounding box equal to or larger than the ROI by using second reference coordinate values defined as coordinate values of vertexes of the ROI, A second bounding box equal to or larger than each of the images may be generated using first reference coordinate values defined as coordinate values of vertexes of respective images stored in the environment association database.

또한, 상기 후보 영상 탐색부는, 상기 제1 바운딩 박스를 구성하는 점들에 따른 제1 좌표값 그룹에서 가장 큰 가로축 좌표 값과 상기 제2 바운딩 박스를 구성하는 점들에 따른 제2 좌표값 그룹에서 가장 큰 가로축 좌표 값을 비교한 결과, 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값이 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 작은 경우, 상기 제1 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크거나, 상기 제2 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크면, 상기 제2 바운딩 박스에 상응하는 영상은, 상기 관심영역의 적어도 일 영역과 중복되지 않는 것으로 판단함에 따라 상기 후보 영상으로 결정하지 아니하고 필터링할 수 있다. In addition, the candidate image search unit may determine the largest horizontal axis coordinate value in the first coordinate value group according to the points constituting the first bounding box and the largest horizontal axis coordinate value in the second coordinate value group according to the points constituting the second bounding box, When the largest abscissa coordinate value among the first coordinate value groups is smaller than the largest abscissa coordinate value among the second coordinate value groups as a result of comparing the abscissa coordinate values, If the largest horizontal axis coordinate value among the first coordinate value group is larger than the largest horizontal axis coordinate value among the first coordinate value group and the largest horizontal axis coordinate value among the second coordinate value group is greater than the largest horizontal axis coordinate value among the first coordinate value group, The image corresponding to the box can be filtered without determining it as the candidate image as it is determined that the image does not overlap with at least one region of the ROI.

또한, 상기 제1 기준좌표값들은, 상기 영상의 꼭짓점(vertex)들의 좌표값들이고, 상기 제2 기준좌표값들은, 상기 관심영역의 꼭짓점들의 좌표값들이며, 상기 제1 특징좌표값은, 상기 제1 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값이고, 상기 제2 특징좌표값은, 상기 제2 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값일 수 있다.The first reference coordinate values are coordinate values of vertices of the image and the second reference coordinate values are coordinate values of vertexes of the ROI, And the second feature coordinate value may be a center-of-gravity coordinate value calculated by calculating a center of gravity using the second reference coordinate values, and the second feature coordinate value may be a center-of-gravity coordinate value calculated by calculating a center of gravity using the second reference coordinate values .

또한, 상기 연관 영상 결정부는, 상기 제2 특징좌표값과 상기 후보 영상들 각각에 따른 상기 제1 특징좌표값을 이용하여 유클리디안 거리를 산출하고, 상기 산출된 유클리디안 거리를 고려하여 유사도를 판단할 수 있다.Also, the associated image determination unit may calculate the Euclidean distance using the second feature coordinate values and the first feature coordinate values corresponding to the candidate images, and calculate the similarity distance by considering the calculated Euclidean distance, Can be determined.

또한, 상기 전시부는, 상기 연관 영상 결정부에 의해 유사도가 높은 순서로 정렬된 후보 영상들을 화면에 순차적으로 전시할 수 있다.In addition, the display unit may sequentially display candidate images arranged in descending order of similarity by the associated image determination unit on the screen.

또한, 상기 후보 영상 탐색부로부터 탐색된 복수의 후보 영상들 저장하는 후보 영상 저장부를 더 포함할 수 있다.The apparatus may further include a candidate image storage unit for storing a plurality of candidate images retrieved from the candidate image search unit.

또한, 상기 영상 획득장치(10)는 EO-IR 카메라 또는 CCD 카메라 또는 SAR 센서일 수 있다.Also, the image acquisition device 10 may be an EO-IR camera, a CCD camera, or a SAR sensor.

본 발명의 실시예에 따른 연관 영상 제공시스템은, 무인이동체의 EO-IR, SAR 센서를 통해 공간에 대한 차이 비교가 실시간으로 가능하여, 실시간 감시/정찰뿐만 아니라, 임무 사후의 영상 비교 분야에서도 응용 가능하다.The related image providing system according to the embodiment of the present invention enables real-time comparison of the difference in space through EO-IR and SAR sensors of an unmanned moving object, real-time monitoring / reconnaissance, It is possible.

또한, 실시간으로 촬영하고 있는 지역에 대한 좌표 정보를 해당 이미지와 함께 기록하여, 사후 영상이 촬영하고 있는 지역에 대한 정보를 확인할 수 있다.In addition, the coordinate information of the region photographed in real time can be recorded together with the corresponding image, so that the information on the region where the posterior image is photographed can be confirmed.

또한, 이에 따라 특정 지역에 대해서 실시간으로 영상을 확인하는 경우, 특정지역과 유사도가 높은 과거 영상을 시간 순에 따라 추출하여 사용자에게 제공하며 실시간으로 현재의 영상과 과거의 영상을 비교하여 차이점을 보다 편리하고, 용이하게 발견할 수 있는 이점이 있다.In addition, when the image is checked in real time for a specific region, a past image having high similarity to a specific region is extracted according to the time order and provided to the user, and the current image is compared with the past image in real time, Convenient, and easy to find.

도1은 본 발명의 일 실시예에 따른 연관 영상 제공시스템의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 일 실시예에 따른 튜플 데이터에 포함된 정보들의 구성을 개략적으로 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 촬영영역이 입력부(100)에 입력된 영상 및 영상의 공간정보에 대하여 설명하기 위해 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 환경 연관 데이터베이스(200)를 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 후보 영상 탐색 방법을 설명하기 위해 도시한 참고도이다.
도6은 본 발명의 일 실시예에 따른 후보 영상 탐색 방법을 설명하기 위해 도시한 참고도이다.
도7은 본 발명의 일 실시예에 따른 관심영역과 탐색된 후보 영상간 유사도 판단 방법을 설명하기 위해 도시한 참고도이다.
도8은 본 발명의 실시예에 따른 전시부(600)를 통해 운용자에게 후보 영상(연관 영상)들이 전시되는 상태를 예시한 예시도이다.
도9는 본 발명의 일 실시예에 따른 관심영역의 연관 영상을 제공하는 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.
도10은 도9의 S91 내지 S93의 세부 동작단계를 개략적으로 도시한 세부도이다.
도11은 도9의 S93 내지 S95의 세부 동작단계를 개략적으로 도시한 세부도이다.
도12는 도9의 S95 내지 S96의 세부 동작단계를 도시한 흐름도이다.1 is a block diagram schematically illustrating the configuration of an associated image providing system according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating a configuration of information included in tuple data according to an embodiment of the present invention. Referring to FIG.
FIG. 3 is a diagram illustrating spatial information of an image and an image input to the input unit 100 according to an embodiment of the present invention.
4 is a diagram illustrating an environment association database 200 according to an embodiment of the present invention.
5 is a reference diagram for explaining a candidate image search method according to an embodiment of the present invention.
FIG. 6 is a reference diagram illustrating a candidate image searching method according to an embodiment of the present invention. Referring to FIG.
FIG. 7 is a reference diagram for explaining a similarity determination method between a region of interest and a candidate candidate image according to an exemplary embodiment of the present invention. Referring to FIG.
8 is an exemplary view illustrating a state in which candidate images (association images) are displayed to the operator through the display unit 600 according to the embodiment of the present invention.
FIG. 9 is a flowchart schematically illustrating a method of providing an association image of a region of interest according to an exemplary embodiment of the present invention. Referring to FIG.
10 is a detailed view schematically showing the detailed operation steps of S91 to S93 of FIG.
11 is a detailed view schematically showing the detailed operation steps of S93 to S95 of Fig.
12 is a flowchart showing the detailed operation steps of S95 to S96 of FIG.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described. In order to clearly describe the present invention, parts that are not related to the description are omitted, and the same reference numerals in the drawings denote the same members.

또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

최근, EO-IR, SAR 등의 영상 센서를 통해 스트리밍 되는 센서의 영상을 수신하고 원격지에서 실시간으로 스트리밍 받아 운용자에게 영상을 제공하는 무인비행기나 드론과 같은 시스템이 개발되고 있다. 영상센서를 통해 수신 받은 데이터는 운용자가 원격에서 이동체를 통제하는 원격 통제 시스템 또는 무인이동체에 컴퓨터의 파일 또는 데이터베이스에 저장되고 시간에 따른 변화탐지 등의 분석에 사용된다. In recent years, a system such as a UAV or a drone has been developed that receives images of sensors streamed through image sensors such as EO-IR and SAR, streams them in real time from a remote location, and provides images to operators. The data received through the image sensor is stored in a computer file or database on a remote control system or an unmanned mobile object, in which an operator controls a mobile object remotely, and is used for analysis such as change detection over time.

본 발명은 사후 분석 단계에서 과거 데이터를 분석하여 차이를 비교하는 것을 포함하여 운용단계인 실시간 스트리밍 단계에서 현재 재생중인 영상의 촬영지역 정보, 무인이동체의 위치정보 등의 참조정보를 이용하여 유사한 과거 데이터를 검색하고 사용자에게 제시하는 연관 영상 제공시스템을 제공한다. 이하에서는 본 발명의 실시예에 따른 연관 영상 제공시스템의 구성을 관련된 도면을 참조하여 상세히 설명한다. The present invention includes analyzing past data and analyzing past data in a post-analysis step. In a real-time streaming step including an operation step, reference data such as photographing area information of an image currently being reproduced, position information of an unmanned moving object, And provides an associated image providing system for presenting to the user. Hereinafter, a configuration of an associated image providing system according to an embodiment of the present invention will be described in detail with reference to the related drawings.

도1은 본 발명의 일 실시예에 따른 연관 영상 제공시스템의 구성을 개략적으로 도시한 블록도이다. 도1을 참조하면, 본 발명의 실시예에 따른 연관 영상 제공시스템은, 영상획득장치(10) 및 연관 영상 제공장치(20)를 포함하여 구성될 수 있다. 또한, 연관 영상 제공장치(20)는 입력부(100), 환경 연관 데이터베이스(DB)(200), 후보 영상 탐색부(300), 후보 영상 저장부(400), 연관 영상 결정부(500) 및 전시부(600)를 포함할 수 있다.1 is a block diagram schematically illustrating the configuration of an associated image providing system according to an embodiment of the present invention. Referring to FIG. 1, an associated image providing system according to an embodiment of the present invention may include an image acquiring apparatus 10 and an associated image providing apparatus 20. The association image providing apparatus 20 includes an input unit 100, an environment association database (DB) 200, a candidate image search unit 300, a candidate image storage unit 400, an associated image determination unit 500, (600).

본 발명의 실시예에 따른 영상 획득장치(10)는 드론과 같은 무인이동체에 탑재된 상태로 이동하며 복수 또는 단수의 촬영 영역을 계속해서 촬영함에 따라 영상을 획득할 수 있으며, 영상 획득장치(10)는 예를 들어, EO-IR(Electroopic-Infrared) 카메라 또는 합성 개구 레이더(Synthetic Aperture Radar) 또는 CCD 카메라(charge-coupled device camera)로 구현될 수 있다. The image capturing apparatus 10 according to the embodiment of the present invention moves in a state of being mounted on an unmanned moving body such as a drone and continuously captures an image of a plurality of or a single photographing region, May be implemented, for example, with an EO-IR (Electro-Infrared) camera or a Synthetic Aperture Radar or a CCD-camera (charge-coupled device camera).

예컨대, 상기 영상 획득장치가 EO-IR 또는 CCD 카메라인 경우 영상에 표현되는 픽셀좌표와 카메라를 움직이는 김발(Gimbal)의 자세, 위치 정보와 카메라의 물리적 특성(해상도, PixelPitch, FOV, Focal Length 등)을 이용하여, 특정 픽셀에 상응하는 위경도 좌표계 등의 지리좌표계(Geographic coordinate system)으로 변환하여 촬영영역을 획득할 수 있으며 사각형의 4점으로 표현될 수 있다. 합성 개구 레이더인 경우에는 영상 코너 픽셀에 해당하는 지리좌표를 레이더로부터 직접 획득 할 수 있다.For example, when the image capturing apparatus is an EO-IR or a CCD camera, the coordinates of the pixel expressed in the image, the position of the gimbal moving the camera, the position information and the physical characteristics (resolution, PixelPitch, FOV, , It is possible to acquire a photographing area by converting it into a geographic coordinate system such as a latitude and longitude coordinate system corresponding to a specific pixel, and it can be expressed by four points of a rectangle. In the case of synthetic aperture radar, the geographical coordinates corresponding to the image corner pixels can be obtained directly from the radar.

다음으로, 본 발명의 실시예에 따른 연관 영상 제공장치(20)에 대하여 설명한다. Next, an association image providing apparatus 20 according to an embodiment of the present invention will be described.

먼저, 본 발명의 실시예에 따른 입력부(100)는 외부의 영상 획득장치(10) 로부터 획득된 영상을 입력 받는다. First, an input unit 100 according to an embodiment of the present invention receives an image acquired from an external image acquisition device 10. [

그리고, 본 발명의 실시예에 따른 환경 연관 데이터베이스(200)는 도2에 도시된 바와 같은, 영상 획득장치(10)에서 획득된 영상(이미지 프레임), 상기 영상들 각각에 대한 정보로, 상태정보, 시각정보 및 공간정보를 포함하는 참조 정보를 저장할 수 있다. 2, the environment association database 200 according to the embodiment of the present invention includes an image (image frame) obtained by the image acquisition apparatus 10, information on each of the images, , Time information, and reference information including spatial information.

여기서, 상태정보는 영상을 구성하는 복수개의 영상들 각각이 획득된 시점에서의 영상 획득장치(10)의 위치 또는 자세에 대한 정보 및 영상 획득장치(10)(센서)의 지향 방향에 대한 정보를 포함할 수 있고, 시각정보는 상기 각 영상이 획득된 시각에 대한 타임 스탬프(time stamp)를 포함할 수 있다. 구체적으로, 상기 영상 획득장치(10)의 상태정보는, 영상 획득장치(10)의 자세 정보 시야각(FOV) 정보 및 화소(pixel) 정보를 포함할 수 있다. Here, the status information includes information on the position or posture of the image capturing apparatus 10 at the time when each of the plurality of images constituting the image is acquired, and information on the direction of the image capturing apparatus 10 (sensor) And the time information may include a time stamp for the time at which each image was acquired. Specifically, the state information of the image capturing apparatus 10 may include posture information (FOV) information and pixel information of the image capturing apparatus 10.

이때, 환경 연관 데이터베이스(200)에 저장되는 영상 및 참조정보는 튜플(tuple) 데이터로 저장될 수 있다.At this time, the image and reference information stored in the environment association database 200 may be stored as tuple data.

도3은 본 발명의 일 실시예에 따른 촬영영역이 영상 획득장치(10)에 의해 획득된 영상 및 영상의 공간정보에 대하여 설명하기 위해 도시한 도면이다. FIG. 3 is a diagram for explaining spatial information of an image and an image obtained by the image capturing apparatus 10 according to an embodiment of the present invention.

본 발명의 실시예에 따른 참조정보에 포함되는 영상의 공간정보는, 영상의 크기 및 촬영영역의 크기를 정의할 수 있는 기준지점들의 영상 기준좌표값(이하, 제2 기준좌표값)들 및 상기 제2 기준좌표값들을 이용하여 산출되는 영상 특징좌표값(이하, 제2 특징좌표값)에 대한 정보를 포함한다.The spatial information of the image included in the reference information according to the exemplary embodiment of the present invention includes image reference coordinate values (hereinafter, referred to as second reference coordinate values) of reference points capable of defining the size of the image and the size of the photographing region, And information on image feature coordinate values (hereinafter referred to as second feature coordinate values) calculated using the second reference coordinate values.

여기서, 제2 기준좌표값이란 도3에 도시된 바와 같이 영상 획득장치(10)(ⓢ)에 의해 획득된 영상의 각 꼭지점(vertex)에 따른 좌표값들일 수 있다. 즉, 도3과 같은 영상의 기준지점들에 따른 제2 기준좌표값들은, A(x, y, z), B(x, y, z), C(x, y, z), D(x, y, z)가 된다. Here, the second reference coordinate value may be a coordinate value according to each vertex of the image obtained by the image acquisition device 10 (X) as shown in FIG. (X, y, z), C (x, y, z), D (x, y, z), and the second reference coordinate values according to the reference points of the image as shown in FIG. , y, z).

또한, 제2 특징좌표값이란 해당 영상의 무게중심점에 따른 좌표값일 수 있고, 도3의 경우, 해당 영상의 무게중심점에 따른 제2 특징좌표값은 E(x, y, z)가 된다. 보다 구체적으로는, 본 발명의 특징좌표값은 선분 AD와 선분 BC의 교점인 지점(E지점)을 구하여, E지점의 좌표값을 산출함에 따라 알 수 있다.In addition, the second feature coordinate value may be a coordinate value according to the center-of-gravity point of the image. In the case of FIG. 3, the second feature coordinate value according to the center-of-gravity point of the image is E (x, y, z). More specifically, the feature coordinate value of the present invention can be known by calculating the coordinate value of the E point by obtaining a point (E point) that is an intersection of the line segment AD and the line segment BC.

이때, 본 발명의 환경 연관 데이터베이스(200)는 상술한 바와 같은 영상의 공간정보를 산출하기 위해서, 좌표계 변환을 통해 촬영영역의 각 지점을 도3과 같은 지리 좌표계로 변환하여 산출할 수 있다.In order to calculate the spatial information of the image as described above, the environment database 200 of the present invention can convert each point of the photographing area into a geographical coordinate system as shown in FIG. 3 through coordinate system conversion.

도4는 본 발명의 일 실시예에 따른 환경 연관 데이터베이스(200)를 도시한 도면이다. 본 발명의 실시예에 따른 환경 연관 데이터베이스(200)는 도4에 도시된 바와 같이, 영상 획득장치(10)에 의해 획득된 영상과 상기 각 영상에 대한 참조정보를 포함하는 복수개의 튜플 데이터들을 저장하고 있을 수 있다.4 is a diagram illustrating an environment association database 200 according to an embodiment of the present invention. 4, the environment association database 200 according to the embodiment of the present invention stores a plurality of tuple data including an image acquired by the image acquisition device 10 and reference information for each image .

다시 도1을 참조하면, 본 발명의 실시예에 따른 후보 영상 탐색부(300)는 환경 연관 데이터베이스(200)에 저장된 복수개의 튜플 데이터들에 따른 영상들 중 획득된 영상에서 분석하고자 하는 관심영역의 적어도 일 영역과 중복되는 영역을 포함하는 후보 영상을 탐색하여 추출할 수 있다. Referring to FIG. 1 again, the candidate image search unit 300 according to the embodiment of the present invention searches for a region of interest (ROI) to be analyzed in an image obtained from a plurality of tuple data stored in the environment- A candidate image including an area overlapping at least one area can be searched for and extracted.

여기서, 관심영역이란 영상 획득부(100)에 의해 실시간으로 획득됨에 따라, 전시부(600)에 전시되고 있는 영상의 영상들 중 하나의 영상에 속하는 영역에서 운용자가 분석하고자 하는 영역으로 일부 또는 전체를 선택함에 따라 결정되는 영역일 수 있다. Here, as the ROI is acquired in real time by the image acquisition unit 100, the ROI may include a part or all of the region to be analyzed by the operator in an area belonging to one of the images of the image displayed on the display unit 600 And may be an area determined by selection.

일 실시예에 따른 관심영역이 선택되는 방법은, 운용자가 전시부(600)에 전시되는 영상에 다 지점을 선택함에 따라 원형 또는 다각형으로 적어도 일부 영역으로 선택될 수도 있고, 또 다른 예로는, 선택영역의 크기를 미리 설정해두고, 운용자의 단 한번의 클릭으로 영상의 전체 영역 중 적어도 일부 영역이 선택되도록 구현될 수도 있다. 또한, 전시부(600)는 터치 인터페이스로 마련될 수 있어, 상술한 바와 같은 관심영역을 선택하는 과정은 운용자의 터치에 의해 이루어질 수도 있다.The method of selecting the region of interest according to an embodiment may be selected as at least a region in a circular or polygonal shape as the operator selects a point on the image displayed on the display unit 600, May be set in advance so that at least a part of the entire area of the image is selected by a single click of the operator. Also, the display unit 600 may be provided with a touch interface, and the process of selecting an area of interest as described above may be performed by a touch of an operator.

이하, 도5 내지 도6을 참고하여 후보 영상 탐색부(300)가 환경 연관 데이터베이스(200)에 저장된 영상들 중 상기 관심영역과 관련이 있다고 예측하는 적어도 하나의 후보 영상을 탐색하는 방법에 대하여 구체적으로 설명한다.Hereinafter, with reference to FIGS. 5 to 6, a method for searching the candidate image searching unit 300 for at least one candidate image predicted to be related to the ROI among the images stored in the environment correlation database 200 will be described in detail .

도5 내지 도6은 본 발명의 일 실시예에 따른 후보 영상 탐색 방법을 설명하기 위해 도시한 참고도이다. 5 to 6 are reference diagrams for explaining a candidate image search method according to an embodiment of the present invention.

먼저, 도5를 참고하면, 본 발명의 실시예에 따른 후보 영상 탐색부(300)는, 도5의 좌측도면에 도시된 바와 같이, 관심영역의 꼭짓점(A, B, C, D)들의 좌표값으로 정의되는 제1 기준좌표값들(x1, y1), (x2, y2), (x3, y3), (x4, y4)을 이용하여 관심영역보다 크거나 같은 제1 바운딩 박스(EFGH)를 생성한다. 여기서, 제1 바운딩 박스의 각 꼭짓점의 좌표값은 아래 <수학식1>과 같이 결정될 수 있다.Referring to FIG. 5, the candidate image search unit 300 according to the embodiment of the present invention calculates the coordinates of the vertexes A, B, C, and D of the ROI, the first reference coordinates defined as the value of (x 1, y 1), (x 2, y 2), (x 3, y 3), (x 4, y 4) the utilization by greater than or equal to the area of interest To generate a first bounding box (EFGH). Here, the coordinate value of each corner point of the first bounding box can be determined as shown in Equation (1) below.

Figure 112018126420008-pat00001
Figure 112018126420008-pat00001

Figure 112018126420008-pat00002
Figure 112018126420008-pat00002

Figure 112018126420008-pat00003
Figure 112018126420008-pat00003

Figure 112018126420008-pat00004
Figure 112018126420008-pat00004

Figure 112018126420008-pat00005
Figure 112018126420008-pat00005

또한, 후보 영상 탐색부는 도5의 우측도면에 도시된 바와 같이, 환경 연관 데이터베이스(200)에 저장된 각 튜플 데이터에 따른 영상의 꼭짓점(A', B', C', D')의 좌표값으로 정의되는 제2 기준좌표값들(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)을 이용하여 각 영상보다 크거나 같은 제2 바운딩 박스(E', F', G', H')를 생성한다. 여기서, 제2 바운딩 박스의 각 꼭짓점의 좌표값은 아래 <수학식2>와 같이 결정될 수 있다.5, the candidate image search unit may search the candidate image by using the coordinate values of the vertexes A ', B', C ', and D' of the image according to the respective tuple data stored in the environment association database 200 using a defined second reference coordinates of (x '1, y' 1 ), (x '2, y' 2), (x '3, y' 3), (x '4, y' 4) (E ', F', G ', H') equal to or greater than each image. Here, the coordinate value of each corner point of the second bounding box can be determined as shown in Equation (2) below.

Figure 112018126420008-pat00006
Figure 112018126420008-pat00006

Figure 112018126420008-pat00007
Figure 112018126420008-pat00007

Figure 112018126420008-pat00008
Figure 112018126420008-pat00008

Figure 112018126420008-pat00009
Figure 112018126420008-pat00009

Figure 112018126420008-pat00010
Figure 112018126420008-pat00010

그리고, 본 발명의 실시예에 따른 연관 영상 결정부(500)는 운용자로부터 선택된 관심영역의 꼭지점인 기준지점의 제1 기준좌표값들 및 상기 제1 기준좌표값들을 이용하여 관심영역의 무게중심지점의 좌표인 제1 특징좌표값을 산출할 수 있다. In addition, the associated image determining unit 500 according to an embodiment of the present invention may use the first reference coordinate values of the reference point, which is the vertex of the ROI selected from the operator, and the first reference coordinate values, The first feature coordinate value being a coordinate of the first feature coordinate.

연관 영상 결정부(500)는 산출된 제1 특징좌표값과, 후보 영상 저장부(400)에 저장된 복수개의 후보 영상 각각의 특징좌표값인 각 제2 특징좌표값을 이용하여 유사도를 판단함에 따라, 후보 영상 저장부(400)에 저장된 후보 영상들을 유사도가 높은 순서로 정렬시킬 수 있다.The associative image determination unit 500 determines the degree of similarity using the calculated first characteristic coordinate values and the respective second characteristic coordinate values of the plurality of candidate images stored in the candidate image storage unit 400 , Candidate images stored in the candidate image storage unit 400 can be sorted in descending order of similarity.

그 후에, 본 발명의 실시예에 따른 후보 영상 탐색부(300)는, 제1 바운딩 박스(EFGH)와 제2 바운딩 박스(E'F'G'H')가 상호간 중복영역이 있는지 여부를 판단한다. Thereafter, the candidate image search unit 300 according to the embodiment of the present invention determines whether the first bounding box EFGH and the second bounding box E'F'G'H 'have overlapping areas do.

후보 영상 탐색부(300)는 생성된 제1 바운딩 박스와 제2 바운딩 박스를 비교하여 도6에 도시된 바와 같은, 좌측 박스(Left box)에 위치할 바운딩 박스와 우측 박스(Right box)에 위치할 바운딩 박스를 결정할 수 있다. 상기와 같은 좌/우측 박스에 위치할 바운딩 박스를 결정하는 방법은 아래 <수학식3>과 같다.The candidate image searching unit 300 compares the generated first bounding box and the generated second bounding box to find a bounding box and a right box positioned in the left box as shown in FIG. You can determine the bounding box to do. A method of determining a bounding box to be positioned in the left / right box as described above is as shown in Equation (3) below.

Figure 112018126420008-pat00011
Figure 112018126420008-pat00011

이렇게, 도6에 도시된 바와 같은 좌측 박스와 우측 박스에 각각의 바운딩 박스가 지정되면, 후보 영상 탐색부(300)는 아래 <표1>을 통해 제1 바운딩 박스와 제2 바운딩 박스가 서로 중복되는 중복영역이 있는지 여부를 판단할 수 있다.6, if the bounding box is designated in the left box and the right box, the candidate image searching unit 300 determines whether the first bounding box and the second bounding box overlap each other It is possible to judge whether or not there is an overlapping area.

IF (L1.x>R2.x OR L2.x>R1.x)IF (L1.x> R2.x OR L2.x> R1.x) 중복영역 없음No overlapping areas ELSE IF (L1.y<R2.y OR L2.y<R1.y)ELSE IF (L1.y < R2.y OR L2.y < R1.y) 중복영역 없음No overlapping areas ELSEELSE 중복영역 있음Duplicate area available

상기 후보 영상 탐색부(300)의 판단 결과, 제1 바운딩 박스와 제2 바운딩 박스가 중복영역이 있는 것으로 판단되면, 해당 제2 바운딩 박스에 상응하는 영상을 후보 영상으로 결정함에 따라 추출할 수 있다.If it is determined that the first bounding box and the second bounding box have overlapping areas as a result of the determination of the candidate image searching unit 300, the image corresponding to the second bounding box may be extracted as a candidate image .

본 발명의 실시예에 따른 후보 영상 저장부(400)는 후보 영상 탐색부(300)에 의해 추출된 복수의 영상들을 후보 영상으로 지정하여 저장할 수 있다. 여기서, 본 발명의 후보 영상 저장부(400)는 환경 연관 데이터베이스(300)의 내부에 마련되는 구성일 수도 있고, 별도로 마련되는 구성일 수도 있다.The candidate image storage unit 400 according to the embodiment of the present invention can designate and store a plurality of images extracted by the candidate image search unit 300 as candidate images. Here, the candidate image storage unit 400 of the present invention may be provided inside the environment association database 300 or may be separately provided.

이에 따라, 본 발명의 연관 영상 결정부(500)는 환경 연관 데이터베이스(300)에 미리 산출되어 저장되어 있던 제2 특징좌표값을 기반으로, 후보 영상 탐색부(300)에 의해 해당 영상이 후보 영상인 것으로 결정되면, 그 후보 영상의 제2 특징좌표값과 관심영역의 제1 특징좌표값을 이용하여 유사도를 판단한다. 도7은 본 발명의 일 실시예에 따른 관심영역과 추출된 후보 영상간 유사도 판단 방법을 설명하기 위해 도시한 참고도이다.Accordingly, the associated image determination unit 500 of the present invention determines whether or not the corresponding image is a candidate image by the candidate image search unit 300, based on the second feature coordinate values previously calculated and stored in the environment association database 300 The degree of similarity is determined using the second feature coordinate value of the candidate image and the first feature coordinate value of the ROI. FIG. 7 is a reference diagram for explaining a similarity determination method between a region of interest and an extracted candidate image according to an exemplary embodiment of the present invention. Referring to FIG.

연관 영상 결정부(500)는 도7에 도시된 바와 같이 관심영역의 무게중심점(E)에 따른 특징좌표값과 후보 영상의 무게중심점(E')의 유클리디안 거리(Euclidean Distance)를 산출하여, 산출된 유클리디안 거리(d)를 고려하여 관심영역과 후보 영상의 유사도를 판단할 수 있다. 유클리디안 거리를 이용하여 유사도를 판단하는 방법은 이미 널리 이용되고 있는 공지된 방법에 해당하므로 자세한 설명은 여기서는 생략하도록 한다.The associated image determining unit 500 calculates the Euclidean distance of the center of gravity E 'of the candidate image and the feature coordinate value along the center of gravity E of the region of interest as shown in FIG. 7 , And the calculated euclidean distance (d), the degree of similarity between the ROI and the candidate image can be determined. The method of determining the degree of similarity using the Euclidean distance corresponds to a known method that has been widely used, so a detailed description thereof will be omitted here.

연관 영상 결정부(500)는 상술한 바와 같이 관심영역과 후보 영상 저장부(400)에 저장된 복수의 후보 영상들 각각의 유사도를 모두 판단함에 따라, 유사도가 높은 순서에 따라 내림 차순으로 정렬한다. 즉, 연관 영상 결정부(500)는 유사도에 따라 후보 영상들을 내림 차순으로 정렬함으로써 관심영역과 관련있는 연관 영상을 결정한다.As described above, the association image determination unit 500 determines the degree of similarity between the ROI and the candidate images stored in the candidate image storage unit 400, and arranges the ROIs in descending order of the degree of similarity. That is, the association image determination unit 500 determines the association image related to the ROI by sorting the candidate images in descending order according to the degree of similarity.

이에 따라, 본 발명의 실시예에 따른 전시부(600)는 연관 영상 결정부(500)에 의해 유사도가 높은 순서대로 정렬된 연관 영상(후보 영상)들을 화면에 순차적으로 전시할 수 있다. 도8은 본 발명의 실시예에 따른 전시부(600)를 통해 운용자에게 연관 영상(후보 영상)들이 전시되는 상태를 예시한 예시도이다.Accordingly, the display unit 600 according to the embodiment of the present invention can sequentially display the associated images (candidate images) arranged in order of high similarity by the associated image determination unit 500 on the screen. FIG. 8 is an exemplary view illustrating a state in which association images (candidate images) are displayed to an operator through the display unit 600 according to an embodiment of the present invention.

다음으로, 이하 도9 내지 도12를 참조하여, 본 발명의 연관 영상 제공시스템을 이용하여 관심영역의 연관 영상을 제공하는 방법에 대하여 후술한다. 도9는 본 발명의 일 실시예에 따른 관심영역의 연관 영상을 제공하는 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이고, 도10은 도9의 S91 내지 S93의 세부 동작단계를 개략적으로 도시한 세부도이며, 도11은 도9의 S93 내지 S95의 세부 동작단계를 개략적으로 도시한 세부도이고, 도12는 도9의 S95 내지 S96의 세부 동작단계를 도시한 흐름도이다.Next, with reference to FIG. 9 to FIG. 12, a method of providing an association image of a region of interest using the association image providing system of the present invention will be described below. FIG. 9 is a flowchart schematically showing a method of providing an association image of a region of interest according to an embodiment of the present invention, and FIG. 10 is a flowchart schematically showing the detailed operation steps S91 to S93 of FIG. 9 11 is a detailed view schematically showing the detailed operation steps of S93 to S95 of FIG. 9, and FIG. 12 is a flowchart showing the detailed operation steps of S95 to S96 of FIG.

도9를 참조하면, 먼저 S90 단계에서, 영상 획득장치(10)가 촬영하고자 하는 촬영 영역에 대한 영상을 획득하고, 이에 따라 본 발명의 연관 영상 제공장치의 입력부(100)는 상기 영상 획득장치(10)로부터 획득된 영상 및 영상 획득장치(10)의 상태 정보를 수신할 수 있다.Referring to FIG. 9, first, in step S90, the image acquiring apparatus 10 acquires an image of a shooting region to be photographed, and accordingly, the input unit 100 of the related- 10 from the image and image capturing apparatus 10.

다음으로, S91 단계에서 상기 입력부(100)는 연관 이미지 검색을 실행에 대한 입력신호가 인가되었는지 확인한다. 상기 연관 이미지 검색을 실행하고자 하는 입력신호는 운용자에 의해 결정될 수 있으며, 예컨대, 연관 이미지 검색 실행을 위한 버튼을 누름으로써 입력부가 상기 입력신호 인가 여부를 확인할 수 있도록 구현될 수도 있고, 또 다른 예로, 운용자가 전시부(600)에 영상의 영상들이 전시되고 있을 때, 하나의 영상 중에 검색을 실행하고자 하는 관심영역을 선택하는 입력을 함(전시부의 터치 인터페이스에 터치 입력, 또는 클릭)에 따라, 입력부가 연관 이미지 검색 실행에 대한 입력신호 인가 여부를 확인할 수도 있다.Next, in step S91, the input unit 100 determines whether an input signal for executing an associated image search is applied. The input signal for performing the associated image search may be determined by the operator. For example, the input signal may be confirmed by pressing a button for performing an associated image search to determine whether the input unit is the input signal. Alternatively, When an operator displays an image of an image on the display unit 600, an input for selecting an area of interest in which to search for one of the images is input (touch input or click on the touch interface of the display unit) It is possible to check whether or not an input signal is input to the associated image search execution.

입력부(100)에 연관 이미지 검색 실행 입력신호가 인가되지 않았다면, S92 단계에서, 환경 연관 데이터베이스(200)가 영상 획득부(100)가 획득한 영상의 공간정보(제2 기준좌표값 및 제2 특징좌표값)를 산출하고, 이에 따라 환경 연관 데이터베이스(200)는, S93 단계에서 상기 산출된 공간정보 및 해당 영상, 입력부가 수신한 영상 획득장치(10)의 상태 정보(영상 획득장치(10)의 위치 또는 자세에 대한 정보 및 영상 획득장치(10)의 지향 방향에 대한 정보를 포함함), 그리고 상기 해당 영상이 획득된 시점에 따른 시각정보 등으로 구성하여 튜플 데이터로 저장한다.If the environment related database 200 determines that the environment related database 200 has not received the associated image search execution input signal in the input unit 100, the spatial information of the image acquired by the image acquisition unit 100 (the second reference coordinate value and the second characteristic The environment database 200 stores the calculated spatial information and the corresponding image in the step S93 and the status information of the image acquisition apparatus 10 received by the input unit Position and / or posture of the image capturing apparatus 10 and direction information of the image capturing apparatus 10), and time information according to the time when the corresponding image is acquired, and stores the tuple data.

S91 단계에서 따른, 입력부(100)에 연관 이미지 검색 실행 입력신호가 인가되지 않았다면, 입력부는 S94 단계에서 운용자에 의해 선택되는 관심영역에 따른 위치 정보를 입력 받는다. If the input image search execution input signal is not applied to the input unit 100 in step S91, the input unit receives the positional information according to the ROI selected by the operator in step S94.

이에 따라, 후보 영상 탐색부(300)는 S95 단계에서, 상기 운용자에 의해 선택된 관심영역의 제1 특징좌표값과 환경 연관 데이터베이스(200)에 저장된 각 영상의 제2 특징좌표값을 비교하여, 상기 관심영역과 관련이 있다고 판단되는 연관 영상을 탐색할 수 있다.Accordingly, in step S95, the candidate image search unit 300 compares the first feature coordinate values of the ROI selected by the operator with the second feature coordinate values of the respective images stored in the environment association database 200, It is possible to search for an associated image that is considered to be related to the region of interest.

이렇게, 후보 영상 탐색부(300)에 의해 후보 영상이 탐색되어 추출되면, S96 단계에서 본 발명의 전시부(600)는 화면으로 상기 추출된 적어도 하나의 후보 영상을 전시한다.When the candidate image is searched and extracted by the candidate image search unit 300 in step S96, the display unit 600 of the present invention displays the extracted at least one candidate image on the screen.

다음으로, 도9의 S91 내지 S93 단계의 세부 동작단계를 설명하기 위해 도10을 참조한다. 도10은 환경 연관 데이터베이스(200)에 각 영상이 튜플 데이터로 저장되는 과정을 도시한 도면이다. Next, Fig. 10 is referred to for describing the detailed operation steps of steps S91 to S93 of Fig. 10 is a diagram illustrating a process in which each image is stored in the environment association database 200 as tuple data.

S91 단계를 통해, 환경 연관 데이터베이스(200)가 영상 획득부(100)로부터 획득된 영상에 따른 각 영상을 튜플 데이터로 저장하기 위해, S100 단계에서 환경 연관 데이터베이스(200)는 영상 획득부(100)에서 획득된 영상이 동영상인지 여부를 확인한다. 동영상이 아니라면, S92 단계로 진행되고, 동영상이 맞다면, S101 단계에서, 환경 연관 데이터베이스(200)가 획득된 동영상을 샘플링함으로써 개별 영상을 추출함에 따라 S92 단계로 진행될 수 있도록 한다.In step S91, in order to store each image corresponding to the image acquired from the image acquisition unit 100 as tuple data in the environment association database 200, in step S100, the environment association database 200 acquires, And determines whether the acquired image is a moving image. If it is not a moving picture, the process proceeds to step S92. If the moving picture is correct, the environment association database 200 extracts an individual image by sampling the acquired moving picture in step S101, and proceeds to step S92.

S92 단계에서, 환경 연관 데이터베이스(200)가 개별 영상의 공간정보를 산출하면, S102 단계에서 상기 산출된 공간정보 및 해당 영상, 입력부가 수신한 영상 획득부의 상태 정보(영상 획득장치(10)의 위치 또는 자세에 대한 정보 및 영상 획득장치(10)의 지향 방향에 대한 정보를 포함함), 그리고 상기 해당 영상이 획득된 시점에 따른 시각정보 등으로 구성되는 튜플 데이터를 생성한다. 이때, 환경 연관 데이터베이스(200)는 획득되는 개별 영상의 개수에 상응하는 복수개의 튜플 데이터들을 생성할 수 있다. 이렇게, 생성된 튜플 데이터들은 S93 단계에서, 환경 연관 데이터베이스(200)에 저장된다.When the environment association database 200 calculates the spatial information of the individual image in step S92, the calculated spatial information and the corresponding image, the state information of the image acquiring unit received by the input unit (the position of the image acquiring apparatus 10 Or posture information and information on the direction of the image capture device 10), and time information according to the time at which the corresponding image is acquired. At this time, the environment association database 200 can generate a plurality of tuple data corresponding to the number of individual images to be acquired. The generated tuple data is stored in the environment association database 200 in step S93.

다음으로, 도9의 S93 내지 S95의 세부 동작단계를 설명하기 위한 도11을 참조한다. 도9의 S94 단계에서, 운용자에 의해 관심영역이 선택되면, S110 단계에서 본 발명의 후보 영상 탐색부(300)가 관심영역과 환경 연관 데이터베이스(200)(이하, 튜플 DB라 함)에 저장된 영상간 중복영역이 존재하는지 여부를 확인한다. 여기서, 상기 관심영역과 튜플 DB에 저장된 영상간 중복영역이 존재하는지 여부를 판단하는 방법은 위에서 상세하게 설명한 바 있으므로, 여기서는 자세한 설명을 생략한다. Next, Fig. 11 is referred to explain the detailed operation steps of S93 to S95 in Fig. If the operator selects the region of interest by the operator in step S94 in FIG. 9, the candidate image searching unit 300 of the present invention searches the region of interest and the image stored in the environment association database 200 (hereinafter referred to as tuple DB) It is determined whether there is an inter-area overlap. Herein, the method of determining whether there is an overlapped region between the ROI and the image stored in the tuple DB has been described above in detail, and thus a detailed description thereof will be omitted.

후보 영상 탐색부(300)의 확인 결과, 관심영역과 튜플 DB(200)에 저장된 영상간 중복영역이 없다면, 입력부에 입력되는 다음 영상과 상기 관심영역의 중복영역 존재 여부를 확인한다.If there is no overlapping region between the ROI and the image stored in the tuple DB 200 as a result of the candidate image searching unit 300, it is checked whether there is a overlapping region between the next image input to the input unit and the ROI.

또 다른 예로, 후보 영상 탐색부(300)의 확인 결과, 관심영역과 튜플 DB(200)에 저장된 영상간 중복영역이 있다면, S111 단계에서 해당 영상을 후보 영상으로 지정하고, 이에 따라 본 발명의 후보 영상 저장부(400)는 S112 단계에서 상기 지정된 후보 영상을 저장한다.As another example, if there is an overlapped area between the ROI and the image stored in the tuple DB 200 as a result of the candidate image search unit 300, the corresponding image is designated as a candidate image in step S111, The image storage unit 400 stores the designated candidate image in step S112.

다음으로, 도9의 S95 내지 S96의 세부 동작단계를 설명하기 위해 도12를 참조한다. 도11에서 설명한 바와 같이, 후보 영상 탐색부(300)에 의해 후보 영상들이 추출되고 나면, S120 단계에서 본 발명의 연관 영상 결정부(500)가 관심영역의 공간정보를 산출한다. 여기서, 공간정보란 관심영역의 꼭짓점들로 정의할 수 있는 기준지점들의 기준좌표값 및 상기 관심영역의 무게중심점에 따른 특징좌표값을 의미한다. Next, Fig. 12 is referred to for describing the detailed operation steps of S95 to S96 of Fig. After the candidate images are extracted by the candidate image search unit 300 as described with reference to FIG. 11, in step S120, the associated image determination unit 500 of the present invention calculates spatial information of the ROI. Here, the spatial information refers to reference coordinate values of reference points that can be defined as vertexes of the ROI and feature coordinate values along the center of gravity of the ROI.

다음으로, S121 단계에서 연관 영상 결정부(500)는 관심영역의 공간정보와 후보 영상 저장부(400)에 저장된 후보 영상의 공간정보를 이용하여 유사도를 판단한다. 여기서, 관심영역과 후보 영상의 유사도 판단 방법은 위에서 상세히 설명한 바 자세한 설명은 생략한다.Next, in step S121, the associated image determination unit 500 determines the similarity using the spatial information of the ROI and the spatial information of the candidate image stored in the candidate image storage unit 400. FIG. Herein, the method of determining the degree of similarity between the ROI and the candidate image is described in detail above, and a detailed description thereof will be omitted.

유사도 판단 결과에 따라, 본 발명의 연관 영상 결정부(500)는 S122 단계에서 추출된 후보 영상들을 유사도가 높은 순서대로 정렬함에 따라 연관 영상을 결정한다.According to the determination result of the degree of similarity determination, the association image determination unit 500 of the present invention determines an association image by sorting the candidate images extracted in step S122 in descending order of degree of similarity.

그리고, 전시부(600)는 상기와 같이 정렬된 연관 영상들을 도8에 도시된 바와 같이 순서대로 전시한다.Then, the display unit 600 displays the related images arranged in the order as shown in FIG.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

10: 영상 획득장치
20: 연관 영상 제공장치
100: 입력부
200: 환경 연관 데이터베이스
300: 후보 영상 탐색부
400: 후보 영상 저장부
500: 연관 영상 결정부
600: 전시부10: Image acquisition device
20: Associative image providing device
100: Input unit
200: Environment related database
300: candidate image search section
400: candidate image storage unit
500: Associated image determining unit
600: Exhibition

Claims (10)

영상을 획득하는 영상 획득장치; 및
상기 획득된 영상을 입력 받는 입력부, 상기 입력부를 통해 입력된 과거 영상들과, 상기 과거 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 환경 연관 데이터베이스, 상기 환경 연관 데이터베이스에 저장된 상기 과거 영상들 중 상기 입력부를 통해 입력된 타겟 영상의 관심영역을 포함하는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 후보 영상 탐색부 및 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심영역과 관련이 높은 연관 영상을 결정하는 연관 영상 결정부를 포함하는 연관 영상 제공장치;를 포함하되,
상기 후보 영상 및 타겟 영상은 지리 좌표계로 표현되며,
상기 후보 영상 탐색부는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제1 기준좌표값들을 이용하여 상기 관심영역보다 크거나 같은 제1 바운딩 박스 및 상기 환경 연관 데이터베이스에 저장된 상기 후보 영상의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들을 이용하여 상기 후보 영상보다 크거나 같은 제2 바운딩 박스를 생성하고, 상기 생성된 제1 바운딩 박스 및 제2 바운딩 박스의 좌표영역을 비교함에 따라 상기 각 과거 영상과 상기 타겟 영상간 중복영역이 존재하는지 여부를 판단하여 상기 후보 영상을 탐색하고,
상기 연관 영상 결정부는, 상기 제1 기준좌표값들 및 상기 관심영역의 무게중심에 따른 제1 특징좌표값을 산출하고, 상기 산출된 제1 특징좌표값과 상기 각 후보 영상의 특징좌표값인 제2 특징좌표값을 기반으로 유사도를 계산함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬하는 것을 특징으로 하는 관심영역 연관 영상 제공시스템.An image acquisition device for acquiring an image; And
An environment association database storing previous images input through the input unit and reference information that is information on the environment of each of the past images, A candidate image searching unit for searching at least one candidate image including a region of interest of the target image input through the input unit in the environment association database, and a similarity calculating unit for calculating a similarity between the searched candidate image and the target image according to a predetermined criterion And an associated image determining unit for determining an associated image having a high correlation with the ROI according to the calculated similarity,
The candidate image and the target image are represented by a geographical coordinate system,
Wherein the candidate image search unit searches for a first bounding box that is greater than or equal to the ROI by using first reference coordinate values of reference points that can define the size of the ROI, A second bounding box that is greater than or equal to the candidate image is generated using the second reference coordinate values of the reference points that can define the first reference point and the second reference point, and the coordinate areas of the first bounding box and the second bounding box are compared Determining whether there is an overlapping area between each past image and the target image, searching for the candidate image,
Wherein the related image determination unit calculates a first feature coordinate value according to the first reference coordinate values and a center of gravity of the ROI, and calculates a first feature coordinate value based on the calculated first feature coordinate value and a feature coordinate value Wherein the plurality of candidate images are arranged in descending order of degree of similarity by calculating the similarity based on the two feature coordinate values. 제1항에 있어서,
상기 참조 정보는, ⅰ) 상기 영상 획득장치의 위치, 자세, 시야각(FOV) 및 픽셀에 대한 정보를 포함하는 상태정보; ⅱ) 상기 각 영상이 획득된 시점에 따른 시각정보; 및 ⅲ) 상기 제2 기준좌표값들을 이용하여 산출되는 상기 제2 특징좌표값을 포함하는 공간정보;를 더 포함하고,
상기 환경 연관 데이터베이스는, 상기 각 영상과, 상기 각 영상에 따른 상기 참조 정보를 튜플(tuple) 데이터로 저장하는 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The method according to claim 1,
Wherein the reference information includes: i) status information including information on a position, an attitude, a viewing angle (FOV) and a pixel of the image capturing apparatus; Ii) time information according to the time at which each image is acquired; And iii) spatial information including the second feature coordinate values calculated using the second reference coordinate values,
Wherein the environment association database stores each of the images and the reference information corresponding to the respective images as tuple data. 삭제delete 삭제delete 제1항에 있어서, 상기 후보 영상 탐색부는,
상기 제2 바운딩 박스를 구성하는 점들에 따른 제2 좌표값 그룹에서 가장 큰 가로축 좌표 값과 상기 제1 바운딩 박스를 구성하는 점들에 따른 제1 좌표값 그룹에서 가장 큰 가로축 좌표 값을 비교한 결과, 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값이 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 작은 경우,
상기 제2 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크거나, 상기 제1 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크면,
상기 제1 바운딩 박스에 상응하는 영상은, 상기 관심영역의 적어도 일 영역과 중복되지 않는 것으로 판단함에 따라 상기 후보 영상으로 결정하지 아니하고 필터링하는 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The apparatus of claim 1, wherein the candidate image search unit comprises:
As a result of comparison between the largest horizontal axis coordinate value in the second coordinate value group according to the points constituting the second bounding box and the largest horizontal axis coordinate value in the first coordinate value group according to the points constituting the first bounding box, When the largest horizontal axis coordinate value among the second coordinate value group is smaller than the largest horizontal axis coordinate value among the first coordinate value group,
Wherein the smallest horizontal axis coordinate value among the first coordinate value group is larger than the largest horizontal axis coordinate value among the first coordinate value group and the smallest horizontal axis coordinate value among the first coordinate value group is larger than the largest horizontal axis coordinate value among the first coordinate value group, Axis coordinate value,
Wherein the image corresponding to the first bounding box is not determined as the candidate image and is filtered according to the determination that the image does not overlap with at least one region of the ROI. 제1항에 있어서,
상기 제2 기준좌표값들은, 상기 입력부를 통해 입력된 과거 영상의 꼭짓점(vertex)들의 좌표값들이고,
상기 제1 기준좌표값들은, 상기 관심영역의 꼭짓점들의 좌표값들이며,
상기 제2 특징좌표값은, 상기 제2 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값이고,
상기 제1 특징좌표값은, 상기 제1 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값인 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The method according to claim 1,
Wherein the second reference coordinate values are coordinate values of vertices of a past image input through the input unit,
Wherein the first reference coordinate values are coordinate values of the vertexes of the ROI,
Wherein the second feature coordinate value is a center-of-gravity coordinate value calculated by calculating a center of gravity using the second reference coordinate values,
Wherein the first feature coordinate value is a center-of-gravity coordinate value calculated by calculating a center of gravity using the first reference coordinate values. 제1항에 있어서, 상기 연관 영상 결정부는,
상기 제1 특징좌표값과 상기 후보 영상들 각각에 따른 상기 제2 특징좌표값을 이용하여 유클리디안 거리를 산출하고, 상기 산출된 유클리디안 거리를 고려하여 유사도를 판단하는 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The apparatus according to claim 1,
Calculating the Euclidean distance using the first feature coordinate value and the second feature coordinate value corresponding to each of the candidate images, and determining the similarity in consideration of the calculated Euclidean distance, Region - related image providing system. 제1항에 있어서,
상기 연관 영상 결정부에 의해 결정된 상기 관심영역과 관련이 높은 연관 영상을 고려하여, 상기 후보 영상들을 상기 계산된 유사도가 높은 순으로 화면에 순차적으로 전시하는 전시부를 더 포함하는 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The method according to claim 1,
Further comprising an exhibition unit for sequentially displaying the candidate images on the screen in descending order of the calculated similarity, considering an association image highly related to the ROI determined by the association image determination unit, Associative image delivery system. 제1항에 있어서,
상기 후보 영상 탐색부로부터 탐색된 복수의 후보 영상들 저장하는 후보 영상 저장부를 더 포함하는 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The method according to claim 1,
And a candidate image storage unit for storing a plurality of candidate images retrieved from the candidate image search unit. 제1항에 있어서,
상기 영상 획득장치는 EO-IR 카메라 또는 CCD 카메라 또는 SAR 센서인 것을 특징으로 하는 관심영역 연관 영상 제공시스템.The method according to claim 1,
Wherein the image acquisition device is an EO-IR camera, a CCD camera, or a SAR sensor.
KR1020180162997A 2018-12-17 2018-12-17 System for providing image associated with region of interest KR101997799B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180162997A KR101997799B1 (en) 2018-12-17 2018-12-17 System for providing image associated with region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162997A KR101997799B1 (en) 2018-12-17 2018-12-17 System for providing image associated with region of interest

Publications (1)

Publication Number Publication Date
KR101997799B1 true KR101997799B1 (en) 2019-07-08

Family

ID=67255903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162997A KR101997799B1 (en) 2018-12-17 2018-12-17 System for providing image associated with region of interest

Country Status (1)

Country Link
KR (1) KR101997799B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437530A (en) * 2023-10-12 2024-01-23 中国科学院声学研究所 Synthetic aperture sonar interest small target twin matching identification method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062429A (en) * 2001-01-20 2002-07-26 삼성전자 주식회사 Apparatus and method for generating object label images in video sequence
KR20080020441A (en) * 2006-08-30 2008-03-05 (주)로직아이텍 Image monitoring system for object identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062429A (en) * 2001-01-20 2002-07-26 삼성전자 주식회사 Apparatus and method for generating object label images in video sequence
KR20080020441A (en) * 2006-08-30 2008-03-05 (주)로직아이텍 Image monitoring system for object identification

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437530A (en) * 2023-10-12 2024-01-23 中国科学院声学研究所 Synthetic aperture sonar interest small target twin matching identification method and system

Similar Documents

Publication Publication Date Title
US7583815B2 (en) Wide-area site-based video surveillance system
KR101634966B1 (en) Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof
US20080291278A1 (en) Wide-area site-based video surveillance system
CN109816708B (en) Building texture extraction method based on oblique aerial image
CN103907341A (en) Image generation device, and image generation method
CN104904200A (en) Multi-dimensional data capture of an environment using plural devices
CN103907340A (en) Image generation device and image generation method
US9418299B2 (en) Surveillance process and apparatus
CN113838098B (en) Intelligent tracking shooting system for long-distance high-speed moving target
CN110675448B (en) Ground lamplight remote sensing monitoring method, system and storage medium based on civil airliner
KR101645959B1 (en) The Apparatus and Method for Tracking Objects Based on Multiple Overhead Cameras and a Site Map
US10762372B2 (en) Image processing apparatus and control method therefor
JP7334432B2 (en) Object tracking device, monitoring system and object tracking method
CN109636763B (en) Intelligent compound eye monitoring system
JP2010256253A (en) Image capturing device for three-dimensional measurement and method therefor
US11566896B2 (en) Surveying system with image-based measuring
CN108320304A (en) A kind of automatic edit methods and system of unmanned plane video media
JP2010256252A (en) Image capturing device for three-dimensional measurement and method therefor
KR102028319B1 (en) Apparatus and method for providing image associated with region of interest
CN111105351B (en) Video sequence image splicing method and device
KR101997799B1 (en) System for providing image associated with region of interest
JP2018182593A (en) Image processing apparatus and image processing method
JP6388532B2 (en) Image providing system and image providing method
KR101474521B1 (en) Method and apparatus for building image database
JP2005038021A (en) Image processing apparatus, image input device, image processing method and program for executing the method by computer

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant