KR101102415B1 - 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법 - Google Patents

항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법 Download PDF

Info

Publication number
KR101102415B1
KR101102415B1 KR1020110042268A KR20110042268A KR101102415B1 KR 101102415 B1 KR101102415 B1 KR 101102415B1 KR 1020110042268 A KR1020110042268 A KR 1020110042268A KR 20110042268 A KR20110042268 A KR 20110042268A KR 101102415 B1 KR101102415 B1 KR 101102415B1
Authority
KR
South Korea
Prior art keywords
image
area
template
module
color
Prior art date
Application number
KR1020110042268A
Other languages
English (en)
Inventor
조성환
Original Assignee
주식회사 우리강산시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 우리강산시스템 filed Critical 주식회사 우리강산시스템
Priority to KR1020110042268A priority Critical patent/KR101102415B1/ko
Application granted granted Critical
Publication of KR101102415B1 publication Critical patent/KR101102415B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 항공영상 또는 위성영상에 포함된 보안영역을 삭제하고, 삭제된 영역을 새로운 이미지로 대체 삽입하는 편집시스템과 편집방법에 관한 것으로, 보안영역이 포함된 항공영상이미지를 출력하는 출력모듈; 상기 항공영상이미지 데이터의 입력을 처리하고, 상기 보안영역 범위를 설정하기 위한 상기 항공영상이미지 내 선택 지점 정보를 포함한 영역설정 신호를 입력하는 입력모듈; 상기 선택 지점의 지정 컬러를 확인하고, 설정된 상기 보안영역의 주변영역의 지정 컬러를 확인하는 컬러분석모듈; 상기 선택 지점의 지정 컬러와 동일한 컬러로 연속 지정된 지점의 영상좌표를 확인해서 상기 보안영역의 범위를 설정하는 좌표처리모듈; 템플릿 영상데이터를 저장하는 템플릿DB; 상기 컬러분석모듈이 확인한 상기 주변영역의 지정 컬러와 링크된 템플릿 영상데이터를 상기 템플릿DB에서 검색하는 검색모듈; 및 상기 검색모듈이 검색한 템플릿 영상데이터의 템플릿 영상을 상기 보안영역의 모양에 상응하게 재단하고, 해당 영상좌표에 맞춰 상기 보안영역에 삽입하는 편집모듈;을 포함하는 것이다.

Description

항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법{Editing system and editing method for the security space in the photoreconnaissance inage}
본 발명은 항공영상 또는 위성영상에 포함된 보안영역을 삭제하고, 삭제된 영역을 새로운 이미지로 대체 삽입하는 편집시스템과 편집방법에 관한 것이다.
수치지도 제작을 위해 선행되어야 하는 작업 중 하나가 항공촬영 사진이미지 또는 위성영상이미지(이하 '항공영상이미지')를 수집하는 것이다. 그런데, 이렇게 수집한 항공영상이미지에는 대외비로 처리해야 하는 보안영역이 포함될 수 있다. 즉, 항공촬영 과정에서 군부대 등과 같은 군사시설 또는 청와대 및 각종 정부기관 등과 같은 보안시설 등이 항공영상이미지에 포함될 수 있는 것이다.
현재, 보안영역의 보안을 위해 대한민국에서는 국정원 등의 기관에서 항공영상이미지의 원본을 받아 해당 항공영상이미지를 사전 검열하고, 상기 항공영상이미지 내에 보안영역이 촬영되었을 경우 상기 보안영역의 촬영이미지를 절개하는 편집작업을 진행한다. 물론, 다른 국가에서도 해당 기관에서 동일/유사한 과정으로 항공영상이미지를 사전 검열하고 있다.
계속해서, 검열이 완료된 항공영상이미지는 보안영역 부위가 제거된 상태이므로, 항공영상이미지의 전체 모습이 도 1(검열된 항공영상이미지를 보인 이미지)과 같이 부자연스럽게 출력된다. 따라서, 제거된 상기 보안영역을 주변 지역과 어울리도록 대체이미지를 삽입하는 과정을 수행한다.
종래 편집방법은 항공영상이미지 파일을 2차원 컴퓨터 그래픽 프로그램 등으로 출력해서, 상기 보안영역에 다른 지역의 영상이미지나 산, 숲 등의 이미지를 수작업으로 일일이 삽입하는 방법이 적용됐다. 여기서, 상기 2차원 컴퓨터 그래픽 프로그램이란, 이미지파일에 대한 영상 합성, 색상 분해, 컬러 그림 그리기를 수행할 수 있도록 설계된 프로그램으로서, 미국 어도비 시스템스사에서 개발한 '포토샵(Potoshop)'과 같은 이미지 편집 프로그램이 예시될 수 있을 것이다.
그런데, 이러한 종래 편집방법은 상기 2차원 컴퓨터 그래픽 프로그램을 실행시켜 해당하는 항공영상이미지를 출력하고, 보안영역의 주변 지역을 작업자가 직접 확인 및 판단해서 유사한 다른 이미지를 선택해야 했으며, 선택한 상기 이미지를 잘라내 상기 보안영역에 일일이 삽입해야 했다. 결국, 항공영상이미지의 보안영역에 대한 종래 편집방법은 시간과 비용의 소모가 크고, 작업자에 따라 그 결과가 모두 다르게 이루어지므로 작업에 대한 일관성을 담보하기 어려워서, 보완된 항공영상이미지의 질적 수준을 최상으로 유지하는데 한계가 있었다.
이에 본 발명은 상기와 같은 문제를 해소하기 위해 발명된 것으로서, 검열된 항공영상이미지를 편집함에 있어 시간과 비용을 최소화하면서도 최상의 질적 수준을 갖는 항공영상이미지 편집이 가능한 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법의 제공을 기술적 과제로 한다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
보안영역이 포함된 항공영상이미지를 출력하는 출력모듈;
상기 항공영상이미지 데이터의 입력을 처리하고, 상기 보안영역 범위를 설정하기 위한 상기 항공영상이미지 내 선택 지점 정보를 포함한 영역설정 신호를 입력하는 입력모듈;
상기 선택 지점의 지정 컬러를 확인하고, 설정된 상기 보안영역의 주변영역의 지정 컬러를 확인하는 컬러분석모듈;
상기 선택 지점의 지정 컬러와 동일한 컬러로 연속 지정된 지점의 영상좌표를 확인해서 상기 보안영역의 범위를 설정하는 좌표처리모듈;
템플릿 영상데이터를 저장하는 템플릿DB;
상기 컬러분석모듈이 확인한 상기 주변영역의 지정 컬러와 링크된 템플릿 영상데이터를 상기 템플릿DB에서 검색하는 검색모듈; 및
상기 검색모듈이 검색한 템플릿 영상데이터의 템플릿 영상을 상기 보안영역의 모양에 상응하게 재단하고, 해당 영상좌표에 맞춰 상기 보안영역에 삽입하는 편집모듈;
을 포함하는 항공/위성영상 내 보안영역에 대한 편집시스템이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
상기 선택 지점은 상기 보안영역의 경계선이고,
상기 좌표처리모듈은 상기 경계선의 영상좌표를 확인해서 상기 경계선으로 둘러싸인 범위를 상기 보안영역으로 설정하는 항공/위성영상 내 보안영역에 대한 편집시스템이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
상기 입력모듈은 터치스크린 방식이 적용되고,
상기 선택 지점은 상기 출력모듈에 출력된 상기 항공영상이미지의 보안영역 내 일 지점이며,
상기 좌표처리모듈은 상기 선택 지점에 지정된 컬러와 동일한 컬러로 연속 지정된 지점의 범위를 상기 보안영역으로 설정하는 항공/위성영상 내 보안영역에 대한 편집시스템이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
출력모듈이 보안영역을 포함한 항공영상이미지를 출력하는 항공영상이미지 출력단계;
입력모듈이 상기 보안영역의 선택 지점 정보를 포함하는 영역설정 신호를 입력하면, 컬러분석모듈이 상기 선택 지점의 지정 컬러를 확인해서 동일한 컬러로 연속 지정된 지점을 확인하고, 좌표처리모듈이 상기 지점의 영상좌표를 확인해 보안영역을 확정하는 보안영역 확인단계;
상기 컬러분석모듈이 보안영역의 주변영역에 지정된 컬러를 확인하는 주변영역 확인단계;
검색모듈이 상기 주변영역의 지정 컬러에 링크된 템플릿 영상데이터를 템플릿DB에서 검색하는 템플릿 검색단계;
편집모듈이 상기 템플릿 영상데이터의 템플릿 영상을 상기 보안영역의 모양에 상응하게 재단하는 템플릿 편집단계; 및
상기 편집모듈이 재단된 템플릿 영상을 상기 보안영역의 영상좌표에 맞춰 상기 보안영역에 삽입하는 템플릿 대체단계;
를 포함하는 항공/위성영상 내 보안영역에 대한 편집방법이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
상기 템플릿 편집단계에서, 상기 편집모듈은 상기 주변영역의 색 농도와 밝기를 확인하고, 상기 템플릿 영상을 상기 색 농도와 밝기와 일치되도록 편집하는 항공/위성영상 내 보안영역에 대한 편집방법이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은,
상기 편집모듈이 상기 보안영역과 주변영역의 경계를 보간 처리하는 영상 보간단계를 더 포함하는 항공/위성영상 내 보안영역에 대한 편집방법이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은, 상기 보안영역 확인단계에서 상기 선택 지점은 상기 보안영역의 경계선이고,
상기 좌표처리모듈은 상기 경계선의 영상좌표를 확인해서 상기 경계선으로 둘러싸인 범위를 상기 보안영역으로 설정하는 항공/위성영상 내 보안영역에 대한 편집방법이다.
상기의 기술적 과제를 달성하기 위하여 본 발명은, 상기 보안영역 확인단계에서 상기 입력모듈은 터치스크린 방식이 적용되고,
상기 선택 지점은 상기 출력모듈에 출력된 상기 항공영상이미지의 보안영역 내 일 지점이며,
상기 좌표처리모듈은 상기 선택 지점에 지정된 컬러와 동일한 컬러로 연속 지정된 지점의 범위를 상기 보안영역으로 설정하는 항공/위성영상 내 보안영역에 대한 편집방법이다.
상기의 본 발명은, 작업자가 입력모듈을 이용해 항공영상이미지의 보안영역을 설정하면, 보안영역의 범위 확인, 주변영역 확인, 템플릿 영상 검색, 템플릿 영상 편집, 템플릿 영상 삽입 및 보간 처리를 자동으로 순차 처리해서 최적화된 항공영상이미지를 신속하면서도 균일하게 출력하므로, 보안영역이 검열된 항공영상이미지를 수치지도 제작을 위해 효과적으로 편집할 수 있는 장점이 있다.
도 1은 검열된 항공영상이미지를 보인 이미지이고,
도 2는 본 발명에 따른 편집시스템의 모습을 도시한 블록도이고,
도 3은 본 발명에 따른 편집방법을 순차 도시한 플로차트이고,
도 4는 본 발명에 따른 편집시스템에서 보안영역을 확인하는 모습을 보인 이미지이고,
도 5는 본 발명에 따른 주변영역 확인모습을 보인 이미지이고,
도 6은 본 발명에 따른 탬플릿 영상의 수집 모습을 보인 이미지이고,
도 7은 본 발명에 따른 최종 항공영상이미지를 보인 이미지이다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
이하 본 발명을 첨부된 예시도면에 의거하여 상세히 설명한다.
도 2는 본 발명에 따른 편집시스템의 모습을 도시한 블록도인 바, 이를 참조해 설명한다.
본 발명에 따른 편집시스템은 사전 검열된 항공영상이미지에서 보안영역 부분을 신속하면서도 효과적으로 편집해 처리할 수 있도록 하는 것으로서, 편집대상인 항공영상이미지를 편집시스템에 입력하는 입력모듈(11)과, 항공영상이미지를 출력하는 출력모듈(12)과, 항공영상이미지에 포함된 지상좌표와 영상좌표를 확인하는 좌표처리모듈(13)과, 항공영상이미지의 영역별 컬러를 확인하는 컬러분석모듈(14)과, 템플릿 영상데이터를 저장하는 템플릿DB(15)와, 템플릿DB(15)를 검색하는 검색모듈(16)과, 검색된 템플릿 영상데이터의 템플릿 영상을 항공영상이미지의 보안영역에 삽입하는 편집모듈(17)과, 편집된 항공영상이미지 데이터를 저장하는 이미지DB(18)를 포함한다.
입력모듈(11)은 파일형식의 항공영상이미지를 입력받는 통상적인 입력수단으로서, CD(compact disc) 또는 USB(Universal Serial Bus) 메모리 등과 같은 저장매체를 읽고 입력할 수 있는 통상적인 장치일 수 있다. 또한, 일반적인 유,무선 인터넷 통신 기능을 갖추고서, 해당 통신수단을 통해 항공영상이미지를 수신할 수 있는 통상적인 장치일 수 있다. 또한, 블루투스 또는 지그비 등과 같은 근거리 무선통신 기능을 갖추고서, 해당 통신수단을 통해 항공영상이미지를 수신할 수 있는 통상적인 장치일 수 있다. 이외에도 입력모듈(11)은 파일형식의 항공영상이미지를 입력할 수 있는 장치라면 이하의 청구범위를 벗어나지 않는 한도 내에서 다양하게 변형실시될 수 있음은 물론이다.
출력모듈(12)은 항공영상이미지를 출력하는 통상적인 디스플레이로써, CRT, LCD, PDP, OLED 등 디스플레이 방식에 제한 없이 다양하게 적용될 수 있다. 따라서, 파일형식의 항공영상이미지를 처리해 영상으로 출력할 수 있는 장치라면 이하의 청구범위를 벗어나지 않는 한도 내에서 다양하게 변형실시될 수 있음은 물론이다. 참고로, 출력모듈(12)은 입력모듈(11)과 결합하여 터치스크린 방식이 적용될 수도 있다. 즉, 작업자가 출력모듈(12)에 출력되는 항공영상이미지를 보면서 직접 스크린을 터치해서 편집시스템의 제어를 위한 신호 입력이 처리되도록 할 수도 있는 것이다.
좌표처리모듈(13)은 항공영상이미지 데이터에 포함된 지상좌표를 확인하고, 해당 지상좌표에 대한 영상좌표를 설정하며, 특히 보안영역에 대한 지상좌표를 영상좌표로 설정(변환)해서 편집모듈(17)이 항공영상이미지를 기준으로 편집을 진행할 수 있도록 한다. 일반적으로 수치지도 제작을 위해 작성된 항공영상이미지 데이터에는 GPS좌표와 같은 지상좌표가 포함될 수 있는데, 좌표처리모듈(13)은 항공영상이미지에서 삭제된 영역의 해당 지상좌표와 보안영역의 실제 좌표를 비교하고, 상기 지상좌표를 영상좌표로 설정해서, 항공영상이미지에서의 보안영역 위치 확인과 템플릿 영상의 삽입 위치 확인에 활용한다. 이에 대한 설명은 본 발명에 따른 편집방법을 개시하면서 상세히 설명한다.
컬러분석모듈(14)은 항공영상이미지의 보안영역 주변 컬러를 확인해서 해당 구역의 지목(地目) 등을 확인한다. 본 발명에 따른 실시 예에서는 보안영역 주변 컬러가 녹색 계통으로 확인되면 해당 구역을 논으로 추정하고, 초목색의 분포가 크면 해당 구역을 임야로 추정하며, 하늘색 등의 파란색 계통으로 확인되면 해당 구역을 강 또는 바다로 추정한다.
또한, 컬러분석모듈(14)은 보안영역의 설정 컬러를 확인해서 보안영역의 범위를 확인할 수 있도록 한다. 이를 좀 더 구체적으로 설명하면, 작업자가 보안영역을 선택하면 선택된 지점의 설정 컬러와 동일한 컬러로 연속 설정된 지점을 확인해서 이를 보안영역으로 확정한다.
한편, 컬러분석모듈(14)이 컬러를 확인하는 주변영역의 범위는 보안영역을 중심으로 다양하게 설정될 수 있을 것이다. 주변영역의 컬러 확인에 대한 구체적인 예시는 편집방법의 설명에서 상세히 한다.
템플릿DB(15)는 항공영상이미지의 보안영역에 삽입될 샘플이미지인 템플릿 영상데이터를 저장하는 것으로서, 논, 밭, 임야, 바다, 길, 강 등 다양할 수 있다. 일반적으로, 항공영상이미지는 수치지도의 일부분으로 활용될 것이므로, 보안영역을 대체하는 템플릿 영상은 실제 존재하지 않는 인공구조물을 적용하는 것은 바람직하지 않다. 따라서, 템플릿 영상은 일반적으로 자연물 또는 인공적으로 형성되었지만 논, 밭과 같은 인공자연물을 대상으로 한다.
검색모듈(16)은 컬러분석모듈(14)이 분석한 결과에 따라 보안영역에 삽입할 템플릿 영상을 템플릿DB(15)에서 검색하는 것으로서, 템플릿 영상의 해당 데이터가 다양할수록 편집된 최종 항공영상이미지의 품질이 향상될 것이다.
검색모듈(16)이 템플릿DB(15)를 검색하는 조건에 대한 구체적인 설명은 편집방법을 설명하면서 상세히 한다.
편집모듈(17)은 영상좌표를 확인해서 보안영역의 범위와 형상 등을 확정하고, 검색모듈(16)이 검색한 템플릿 영상을 보안영역의 형상에 상응하게 재단하며, 재단된 상기 템플릿 영상을 상기 보안영역에 삽입 합성하는 한편, 기존 항공영상이미지와 템플릿 영상의 경계를 보간(interpolation) 처리한다. 아울러, 주변영역과 템플릿 영상의 색 농도 및 밝기 등을 최종적으로 일치시켜서, 최종 편집된 항공영상이미지가 원본에 상응하는 이미지를 되도록 한다.
이미지DB(18)는 편집모듈(17)이 편집한 항공영상이미지 데이터를 저장한다.
이상 설명한 편집시스템을 기반으로 본 발명에 따른 편집방법을 도면을 참조해 좀 더 구체적으로 설명한다.
도 3은 본 발명에 따른 편집방법을 순차 도시한 플로차트이고, 도 4는 본 발명에 따른 편집시스템에서 보안영역을 확인하는 모습을 보인 이미지이고, 도 5는 본 발명에 따른 주변영역 확인모습을 보인 이미지이고, 도 6은 본 발명에 따른 탬플릿 영상의 수집 모습을 보인 이미지이고, 도 7은 본 발명에 따른 최종 항공영상이미지를 보인 이미지인 바, 이를 참조하여 설명한다.
S1; 항공영상이미지 출력단계
도 4(a)에서 보인 편집시스템의 출력모듈(12)을 통해 편집 대상인 항공영상이미지를 출력한다. 앞서 언급한 바와 같이 상기 항공영상이미지 데이터는 입력모듈(11)에 의해 편집시스템에 입력된다.
한편, 편집시스템은 도면에서 보인 바와 같은 스테레오 영상 형식을 갖는 수치도화기가 응용돼 적용될 수 있다. 공지,공용되고 있는 바와 같이, 수치도화기는 항공영상이미지의 양화필름 또는 디지털필름을 이용하여 지형도를 제작하는 장비를 뜻하는 것으로서, 아나로그 도화기, 해석도화기 및 수치도화기로 분류될 수 있고, 현재 해석도화기에서 수치도화기로 전환되고 있다.
출력모듈(12)을 통해 출력되는 항공영상이미지는 컬러이미지인 것이 바람직하다.
한편, 도 4(b)에서 보인 바와 같이, 보안영역(보안지역)은 삭제된 상태로 출력된다(도 1 참고).
S2; 보안영역 확인단계
출력모듈(12)을 통해 출력된 항공영상이미지에서 보안영역의 경계를 입력모듈(11)로 형성하고, 이렇게 형성된 경계선을 선택 지점으로 해 영역설정 신호로 입력하면, 컬러분석모듈(14)은 선택 지점(경계선)의 지정된 컬러를 확인하고 동일한 컬러에 해당하는 연속된 폴리곤(polygon)을 추출해 위치(지점)를 확인하며, 좌표처리모듈(13)은 상기 경계선의 좌표를 확인해서 상기 경계선으로 둘러싸인 범위를 보안영역으로 설정할 수 있다. 여기서, 각 폴리곤 별로 지상좌표가 링크되어 있을 수 있는데, 좌표처리모듈(13)은 이를 영상좌표로 변환해 설정한다. 이를 통해 항공영상이미지 내 보안영역의 위치를 편집시스템이 인식할 수 있는 영상좌표가 좌표처리모듈(13)에 의해 확정된다.
상기 경계선의 도화는 통상적인 2차원 컴퓨터 그래픽 프로그램의 '선 긋기' 기능이 적용될 수 있을 것이다.
이외에도, 출력모듈(12)을 통해 출력된 항공영상이미지에서 보안영역에 해당하는 컬러를 확인하고, 동일 컬러 영역의 범위를 보안영역으로 설정할 수 있다. 이를 위해, 작업자는 입력모듈(11)을 통해 영역설정 신호를 입력하고, 상기 영역설정 신호에 따라 좌표처리모듈(13)은 보안영역 설정을 위한 구동을 시작한다.
일 예를 들어 설명하면, 입력모듈(11)은 터치스크린 방식으로 동작할 수 있고, 작업자는 터치스크린에서 출력되는 항공영상이미지 내에서 삭제된 보안영역을 터치해 영역설정 신호를 최초 입력할 수 있다. 입력모듈(11)이 상기 영역설정 신호를 입력하면, 컬러분석모듈(14)은 터치로 인해 선택된 지점의 지정된 컬러를 확인하고 동일한 컬러에 해당하는 연속된 폴리곤(polygon)을 추출한다. 계속해서, 좌표처리모듈(13)은 추출된 폴리곤의 해당 좌표를 확인한다. 여기서도, 상기 좌표는 좌표처리모듈(13)에 의해 영상좌표로 변환된다.
한편, 입력모듈(11)은 터치스크린 방식 이외에 마우스 커서 입력방식이 적용될 수 있다. 즉, 출력모듈(12)에 출력되는 항공영상이미지에 마우스 커서를 이동시켜서 보안영역을 선택하고, 입력모듈(11)은 상기 선택을 통해 영역설정 신호를 입력해서 전술한 처리 과정이 진행되도록 할 수 있는 것이다.
참고로, 보안영역의 경계를 시각적으로 명확히 하기 위해 보안영역의 경계를 따라 경계선을 입력할 수 있고, 이를 통해 보안영역 구획을 더욱 명확히 구분할 수 있을 것이다.
상기 영역설정 신호는 보안영역의 범위를 한정하기 위한 조건을 편집시스템에 최초 제공하는 것으로서, 상기 경계선이 영역설정 신호인 경우 해당 조건은 경계선의 선택 지점에 지정된 컬러와 위치이고, 터치스크린 또는 마우스 커서에 의한 특정 지점의 선택이 영역설정 신호인 경우 해당 조건은 상기 선택 지점의 컬러와 위치가 될 것이다.
S3; 주변영역 확인단계
컬러분석모듈(14)은 보안영역의 주변영역 컬러를 확인해서 보안영역에 삽입할 템플릿 영상 검색을 준비한다. 컬러분석모듈(14)은 보안영역의 바깥쪽 폴리곤의 설정 컬러를 상기 보안영역의 경계를 따라 확인하며, 필요한 경우 보안영역을 중심으로 순차적으로 컬러 확인 범위를 넓혀간다. 항공영상이미지의 폴리곤에 설정되는 컬러는 동일한 색이라도 밝기 또는 농도 등이 다를 수 있다. 따라서, 컬러분석모듈(14)은 이를 고려해서 다양한 기준 컬러를 준비하고, 상기 기준 컬러와 폴리곤의 설정 컬러를 비교해서 상기 폴리곤의 설정 컬러 종류를 정확히 확인한다.
계속해서, 컬러분석모듈(14)이 확인하는 주변영역의 범위는 보안영역의 넓이 또는 주변영역의 특성 등에 따라 다양하게 결정될 수 있는데, 본 발명에 따른 실시 예에서는 보안영역을 중심으로 주변영역의 폴리곤 컬러를 순차적으로 확장해 확인하면서 새로운 컬러의 폴리곤이 확인되면 주변영역의 컬러 확인을 중지한다.
일 예를 들어 설명하면, 도 5에서 보인 바와 같이, 컬러분석모듈(14)은 보안영역의 경계를 따라 주변영역의 컬러인 짙은 녹색을 확인하면서 주변영역의 범위를 점차 확장하다가, 옅은 녹색 컬러를 최초 확인하면 주변영역의 확인을 중지한다.
한편, 상기 주변영역에 해당하는 폴리곤의 설정 컬러는 현실적으로 모두 동일한 컬러일 수 없다. 따라서, 컬러분석모듈(14)은 확인된 컬러의 분포율과 빈도 등을 확인해서 상기 주변영역의 설정 컬러를 확인한다.
도 5에서 보인 'Levels' 창은 주변영역에 해당하는 폴리곤의 설정 컬러의 밝기를 확인해서 해당하는 템플릿 영상의 밝기를 조정하는 도구의 모습을 보인 것으로서, 템플릿 영상의 밝기 조정이 작업자에 의해 수작업으로 이루어질 수도 있고, 편집모듈(17)에 의해 자동으로 이루어질 수도 있을 것이다.
S4; 템플릿 검색단계
검색모듈(16)은 컬러분석모듈(14)이 분석한 컬러정보에 따라 템플릿DB(15)에서 템플릿 영상데이터를 검색한다.
템플릿 영상은 기존 항공영상이미지로부터 발췌해 수집할 수 있다. 즉, 도 6에서 보인 바와 같이, 숲 또는 논 등과 같은 단위로 발췌해서 템플릿 영상데이터로 확보할 수 있는 것이다. 이렇게 수집한 템플릿 영상데이터는 예시된 숲 또는 논은 물론 바다, 강, 호수 등 다양할 수 있고, 여기서 제시되고 있지 않지만 통상적인 자연물 또는 인공자연물 등이 템플릿 영상에 포함될 수 있을 것이다.
템플릿 영상데이터는 컬러와 링크돼 저장된다. 일 예를 들어 설명하면, 녹색 계통은 논 템플릿 영상데이터와 링크되고, 초목색은 임야(숲) 템플릿 영상데이터와 링크되며, 하늘색 등의 파란색 계통은 강 또는 바다 템플릿 영상데이터와 링크된다.
본 발명에 따른 실시 예에서는 컬러분석모듈(14)이 보안영역의 주변영역을 초목색으로 확인하였으므로, 검색모듈(16)은 상기 주변영역을 임야(숲)로 확정하고, 템플릿DB(15)에서 임야에 관한 템플릿 영상데이터를 검색한다. 참고로, 가을철에 항공촬영을 진행한 경우, 붉거나 노랗게 물든 단풍색상이 임야로 촬영될 수 있으므로, 이를 고려해서 붉은색 또는 노란색을 임야(숲) 템플릿 영상데이터와 링크해 저장할 수도 있음은 물론이다.
S5; 템플릿 편집단계
편집모듈(17)은 좌표처리모듈(13)이 설정한 영상좌표를 확인해서 보안영역의 경계라인을 확인하고, 이를 통해 보안영역의 모양을 도화한다. 본 발명에 따른 실시 예에서는 보안영역이 편집모듈(17)에 의해 삼각형상인 것으로 확인된다.
계속해서, 편집모듈(17)은 검색모듈(16)이 검색한 템플릿 영상데이터의 템플릿 영상을 해당 보안영역의 모양에 상응하게 재단한다. 이때, 해당 항공영상이미지의 해상도와 템플릿 영상의 해상도 등 두 이미지의 크기 관련 값을 일치시켜야 함은 당연할 것이다. 아울러 항공영상이미지의 주변영역과 템플릿 영상에 설정된 컬러 농도 및/또는 밝기를 일치시킨다.
S6; 템플릿 대체단계
편집모듈(17)은 도 7에서 보인 바와 같이, 재단된 템플릿 영상을 항공영상이미지의 보안영역에 삽입해 대체한다. 일반적으로 템플릿 영상은 항공영상이미지와는 독립된 레이어 형식으로 삽입되고, 최종 합성을 통해 하나의 이미지로 결합된다. 템플릿 영상의 삽입은 항공영상이미지의 영상좌표에 맞춰 이루어질 것이다.
참고로, 도 7(a)는 도 1의 항공영상이미지의 편집 이미지를 보인 것이고, 도 7(b)는 도 4(b)의 항공영상이미지의 편집 이미지를 보인 것이다.
S7; 영상 보간단계
편집모듈(17)은 템플릿 영상과 주변영역 간의 경계를 보간 처리해서 템플릿 영상이 시각적으로 항공영상이미지 배경(주변영역)과 자연스럽게 조화되도록 한다. 여기서 보간이란, 새로운 점을 만들기 위해 수많은 점들을 평균화하는 작업을 일컫는 것으로서, 항공영상이미지의 주변영역의 폴리곤 설정 컬러와 템플릿 영상의 폴리곤 설정 컬러의 평균화를 통해 템플릿 영상의 경계가 시각적으로 모호해지도록 한다. 보간 처리는 이미지 수정을 통해서도 이루어질 수 있으며, 상이한 두 이미지를 연결해 그 경계를 자연스럽게 하는데 널리 활용되는 기술이다.
보간 처리가 완료되면 해당 항공영상이미지는 GeoTIFF 포맷으로 이미지DB(18)에 저장될 수 있다.
결국, 작업자가 입력모듈(11)을 이용해 항공영상이미지의 보안영역을 설정하면, 본 발명에 따른 편집시스템은 보안영역의 범위 확인, 주변영역 확인, 템플릿 영상 검색, 템플릿 영상 편집, 템플릿 영상 삽입 및 보간 처리를 자동으로 순차 처리해서 최적화된 항공영상이미지를 신속하면서도 균일하게 출력하므로, 보안영역이 검열된 항공영상이미지를 수치지도 제작을 위해 효과적으로 편집할 수 있는 장점이 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 보안영역이 포함된 항공영상이미지를 출력하는 출력모듈;
    상기 항공영상이미지 데이터의 입력을 처리하고, 상기 보안영역 범위를 설정하기 위한 상기 항공영상이미지 내 선택 지점 정보를 포함한 영역설정 신호를 입력하는 입력모듈;
    상기 선택 지점의 지정 컬러를 확인하고, 설정된 상기 보안영역의 주변영역의 지정 컬러를 확인하는 컬러분석모듈;
    상기 선택 지점의 지정 컬러와 동일한 컬러로 연속 지정된 지점의 영상좌표를 확인해서 상기 보안영역의 범위를 설정하는 좌표처리모듈;
    템플릿 영상데이터를 저장하는 템플릿DB;
    상기 컬러분석모듈이 확인한 상기 주변영역의 지정 컬러와 링크된 템플릿 영상데이터를 상기 템플릿DB에서 검색하는 검색모듈; 및
    상기 검색모듈이 검색한 템플릿 영상데이터의 템플릿 영상을 상기 보안영역의 모양에 상응하게 재단하고, 해당 영상좌표에 맞춰 상기 보안영역에 삽입하는 편집모듈;
    을 포함하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집시스템.
  2. 제 1 항에 있어서,
    상기 선택 지점은 상기 보안영역의 경계선이고,
    상기 좌표처리모듈은 상기 경계선의 영상좌표를 확인해서 상기 경계선으로 둘러싸인 범위를 상기 보안영역으로 설정하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집시스템.
  3. 제 1 항에 있어서,
    상기 입력모듈은 터치스크린 방식이 적용되고,
    상기 선택 지점은 상기 출력모듈에 출력된 상기 항공영상이미지의 보안영역 내 일 지점이며,
    상기 좌표처리모듈은 상기 선택 지점에 지정된 컬러와 동일한 컬러로 연속 지정된 지점의 범위를 상기 보안영역으로 설정하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집시스템.
  4. 출력모듈이 보안영역을 포함한 항공영상이미지를 출력하는 항공영상이미지 출력단계;
    입력모듈이 상기 보안영역의 선택 지점 정보를 포함하는 영역설정 신호를 입력하면, 컬러분석모듈이 상기 선택 지점의 지정 컬러를 확인해서 동일한 컬러로 연속 지정된 지점을 확인하고, 좌표처리모듈이 상기 지점의 영상좌표를 확인해 보안영역을 확정하는 보안영역 확인단계;
    상기 컬러분석모듈이 보안영역의 주변영역에 지정된 컬러를 확인하는 주변영역 확인단계;
    검색모듈이 상기 주변영역의 지정 컬러에 링크된 템플릿 영상데이터를 템플릿DB에서 검색하는 템플릿 검색단계;
    편집모듈이 상기 템플릿 영상데이터의 템플릿 영상을 상기 보안영역의 모양에 상응하게 재단하는 템플릿 편집단계; 및
    상기 편집모듈이 재단된 템플릿 영상을 상기 보안영역의 영상좌표에 맞춰 상기 보안영역에 삽입하는 템플릿 대체단계;
    를 포함하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집방법.
  5. 제 4 항에 있어서,
    상기 템플릿 편집단계에서, 상기 편집모듈은 상기 주변영역의 색 농도와 밝기를 확인하고, 상기 템플릿 영상을 상기 색 농도와 밝기와 일치되도록 편집하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집방법.
  6. 제 4 항에 있어서,
    상기 템플릿 대체단계 후, 상기 편집모듈이 상기 보안영역에 삽입된 상기 템플릿 영상과 주변영역 간의 경계를 보간 처리하는 영상 보간단계를 더 포함하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집방법.
  7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 보안영역 확인단계에서
    상기 선택 지점은 상기 보안영역의 경계선이고,
    상기 좌표처리모듈은 상기 경계선의 영상좌표를 확인해서 상기 경계선으로 둘러싸인 범위를 상기 보안영역으로 설정하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집방법.
  8. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 보안영역 확인단계에서
    상기 입력모듈은 터치스크린 방식이 적용되고,
    상기 선택 지점은 상기 출력모듈에 출력된 상기 항공영상이미지의 보안영역 내 일 지점이며,
    상기 좌표처리모듈은 상기 선택 지점에 지정된 컬러와 동일한 컬러로 연속 지정된 지점의 범위를 상기 보안영역으로 설정하는 것을 특징으로 하는 항공/위성영상 내 보안영역에 대한 편집방법.
KR1020110042268A 2011-05-04 2011-05-04 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법 KR101102415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110042268A KR101102415B1 (ko) 2011-05-04 2011-05-04 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110042268A KR101102415B1 (ko) 2011-05-04 2011-05-04 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법

Publications (1)

Publication Number Publication Date
KR101102415B1 true KR101102415B1 (ko) 2012-01-05

Family

ID=45613706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110042268A KR101102415B1 (ko) 2011-05-04 2011-05-04 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법

Country Status (1)

Country Link
KR (1) KR101102415B1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558460B1 (ko) 2015-07-28 2015-10-12 (주)한성개발공사 지상 기준점 정보의 정밀 해석을 통한 수치지도의 수치오차 확인방법
KR101559896B1 (ko) 2015-07-28 2015-10-15 (주)그린공간정보 영상이미지의 음영기복 확인을 통한 기복영상 처리시스템
KR101578819B1 (ko) 2015-07-27 2015-12-21 (주)동광지엔티 지아이에스를 기반으로 하는 항공영상 이미지 내의 보안영역 자동화 편집방법
KR101938400B1 (ko) 2018-06-25 2019-01-15 동아항업 주식회사 입체영상지도에서의 보안지역 연출 기능을 갖는 수치도화 처리시스템
KR101938402B1 (ko) 2018-06-27 2019-01-15 동아항업 주식회사 사각지대 지형지물에 대한 수치도화 이미지 합성처리시스템
KR101938401B1 (ko) 2018-06-27 2019-01-15 동아항업 주식회사 갱신대상 지역의 부분 도화를 위한 수치도화 수정시스템
KR101951630B1 (ko) * 2018-10-11 2019-02-25 새한항업(주) 벡터기반의 보안처리 방법
KR101951822B1 (ko) * 2018-10-22 2019-02-25 (주)신한항업 수치도화 오류지점을 자동으로 확인해 갱신하는 수치도화 검수시스템
KR101954684B1 (ko) * 2018-10-11 2019-03-06 주식회사 한국에스지티 수집 영상이미지 비교를 통한 최적의 영상정보 자동 생성시스템
KR101954711B1 (ko) * 2018-10-16 2019-03-06 새한항업(주) 라이다 자료와 정사영상을 이용한 건축물의 촬영영상 수정방법
KR101954686B1 (ko) * 2018-10-12 2019-03-06 주식회사 한국에스지티 항공사진의 구간별 정사영상 이음을 위한 정사보정 표준화시스템
KR101954683B1 (ko) * 2018-10-10 2019-03-06 주식회사 한국에스지티 영상이미지의 중첩방식을 통한 영상 오차 확인장치
KR101956903B1 (ko) * 2018-10-12 2019-03-11 새한항업(주) 위치좌표를 이용한 영상 보안처리 자동화 방법
KR102203451B1 (ko) * 2020-08-19 2021-01-15 (주)태영정보시스템 영상이미지에서 삭제영역을 확인하여 복원할 수 있는 영상처리시스템
KR102204046B1 (ko) * 2020-08-20 2021-01-18 (주)동광지엔티 사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템
KR102204033B1 (ko) 2020-08-11 2021-01-19 주식회사 동신지티아이 위치별 영상정보 레이어의 실시간 병합을 통한 현장 보안구간 자동탐색 기능의 mms 제어시스템
KR102458961B1 (ko) 2021-10-29 2022-10-26 엠아이엠테크 주식회사 Gps 위치 정보 기반의 영상 보안 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100473959B1 (ko) * 2004-12-08 2005-03-14 (주)아세아항측 고정확도의 rpc 데이터를 이용한 수치지도의 수정제작방법
KR100929892B1 (ko) * 2008-03-31 2009-12-04 (주)성경기술공사 수치지도의 편집방법
KR101021967B1 (ko) * 2010-08-05 2011-03-16 동국지리정보(주) 전자도화를 이용한 수치지도 생성 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100473959B1 (ko) * 2004-12-08 2005-03-14 (주)아세아항측 고정확도의 rpc 데이터를 이용한 수치지도의 수정제작방법
KR100929892B1 (ko) * 2008-03-31 2009-12-04 (주)성경기술공사 수치지도의 편집방법
KR101021967B1 (ko) * 2010-08-05 2011-03-16 동국지리정보(주) 전자도화를 이용한 수치지도 생성 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101578819B1 (ko) 2015-07-27 2015-12-21 (주)동광지엔티 지아이에스를 기반으로 하는 항공영상 이미지 내의 보안영역 자동화 편집방법
KR101558460B1 (ko) 2015-07-28 2015-10-12 (주)한성개발공사 지상 기준점 정보의 정밀 해석을 통한 수치지도의 수치오차 확인방법
KR101559896B1 (ko) 2015-07-28 2015-10-15 (주)그린공간정보 영상이미지의 음영기복 확인을 통한 기복영상 처리시스템
KR101938400B1 (ko) 2018-06-25 2019-01-15 동아항업 주식회사 입체영상지도에서의 보안지역 연출 기능을 갖는 수치도화 처리시스템
KR101938402B1 (ko) 2018-06-27 2019-01-15 동아항업 주식회사 사각지대 지형지물에 대한 수치도화 이미지 합성처리시스템
KR101938401B1 (ko) 2018-06-27 2019-01-15 동아항업 주식회사 갱신대상 지역의 부분 도화를 위한 수치도화 수정시스템
KR101954683B1 (ko) * 2018-10-10 2019-03-06 주식회사 한국에스지티 영상이미지의 중첩방식을 통한 영상 오차 확인장치
KR101954684B1 (ko) * 2018-10-11 2019-03-06 주식회사 한국에스지티 수집 영상이미지 비교를 통한 최적의 영상정보 자동 생성시스템
KR101951630B1 (ko) * 2018-10-11 2019-02-25 새한항업(주) 벡터기반의 보안처리 방법
KR101954686B1 (ko) * 2018-10-12 2019-03-06 주식회사 한국에스지티 항공사진의 구간별 정사영상 이음을 위한 정사보정 표준화시스템
KR101956903B1 (ko) * 2018-10-12 2019-03-11 새한항업(주) 위치좌표를 이용한 영상 보안처리 자동화 방법
KR101954711B1 (ko) * 2018-10-16 2019-03-06 새한항업(주) 라이다 자료와 정사영상을 이용한 건축물의 촬영영상 수정방법
KR101951822B1 (ko) * 2018-10-22 2019-02-25 (주)신한항업 수치도화 오류지점을 자동으로 확인해 갱신하는 수치도화 검수시스템
KR102204033B1 (ko) 2020-08-11 2021-01-19 주식회사 동신지티아이 위치별 영상정보 레이어의 실시간 병합을 통한 현장 보안구간 자동탐색 기능의 mms 제어시스템
KR102203451B1 (ko) * 2020-08-19 2021-01-15 (주)태영정보시스템 영상이미지에서 삭제영역을 확인하여 복원할 수 있는 영상처리시스템
KR102204046B1 (ko) * 2020-08-20 2021-01-18 (주)동광지엔티 사각지대 보완 기능을 갖는 영상이미지 보정 처리시스템
KR102458961B1 (ko) 2021-10-29 2022-10-26 엠아이엠테크 주식회사 Gps 위치 정보 기반의 영상 보안 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR101102415B1 (ko) 항공/위성영상 내 보안영역에 대한 편집시스템과 편집방법
KR101578819B1 (ko) 지아이에스를 기반으로 하는 항공영상 이미지 내의 보안영역 자동화 편집방법
US10748335B2 (en) Method for the automatic material classification and texture simulation for 3D models
KR100885246B1 (ko) Gis를 이용한 임분배치용 데이터베이스 구축 방법 및 이를 이용한 임분배치 방법
KR101559896B1 (ko) 영상이미지의 음영기복 확인을 통한 기복영상 처리시스템
CN101119430B (zh) 模板生成装置及其方法、图像排版装置及其方法、修正的模板生成装置及其方法
US20020061132A1 (en) Stereo image processing apparatus and method of processing stereo image
KR101558460B1 (ko) 지상 기준점 정보의 정밀 해석을 통한 수치지도의 수치오차 확인방법
US20120128205A1 (en) Apparatus for providing spatial contents service and method thereof
US7191066B1 (en) Method and apparatus for distinguishing foliage from buildings for topographical modeling
KR101483955B1 (ko) 영상이미지의 3차원 위치수정을 통한 음영구간 식별용 영상처리시스템
US20090271719A1 (en) System and method for analysis and display of geo-referenced imagery
KR100995107B1 (ko) 항공촬영이미지의 이해도를 높인 영상이미지 편집처리시스템
KR100946250B1 (ko) 수치지도 제작용 항공촬영 영상물의 편집처리를 위한 항공촬영이미지의 식별코드 삽입용 영상처리시스템
US4685068A (en) Generic database generator system and method
US8239179B2 (en) Geospatial modeling system using single optical images and associated methods
JP5366190B2 (ja) 建築物変化検出装置、建築物変化検出方法、及びプログラム
JP2019207535A (ja) 情報処理装置、情報処理方法及びプログラム
KR101000039B1 (ko) 재해정보지도 제작방법과 제작시스템
JP3613118B2 (ja) 交通流シミュレータ及びナビゲーション端末
KR100897757B1 (ko) 항공사진과 지아이에스를 이용한 하천의 평면 변화분석시스템 및 그 방법
CN114202626A (zh) 一种可视化建筑的模型替换方法及存储介质
KR100977554B1 (ko) 3차원 삼림지역 입체이미지 구축을 위한 수목이미지 합성방법
KR20170108552A (ko) 수변구조물 피해정보 분석을 위한 정보시스템 구축방안
Das Land use/Land cover change detection: An object oriented approach, Münster, Germany

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141216

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190131

Year of fee payment: 8