KR101625634B1 - 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템 - Google Patents
드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템 Download PDFInfo
- Publication number
- KR101625634B1 KR101625634B1 KR1020160021367A KR20160021367A KR101625634B1 KR 101625634 B1 KR101625634 B1 KR 101625634B1 KR 1020160021367 A KR1020160021367 A KR 1020160021367A KR 20160021367 A KR20160021367 A KR 20160021367A KR 101625634 B1 KR101625634 B1 KR 101625634B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- photographing
- information
- photographing information
- sensor
- Prior art date
Links
- 238000004891 communication Methods 0.000 claims abstract description 5
- 230000001678 irradiating effect Effects 0.000 claims abstract 2
- 238000000926 separation method Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 abstract description 4
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C27/00—Rotorcraft; Rotors peculiar thereto
- B64C27/04—Helicopters
- B64C27/08—Helicopters with two or more rotors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- B64C2201/127—
-
- B64C2201/146—
-
- B64D2700/62184—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 지형지물의 3차원 모델링에 필요한 정보를 획득하기 위한 시스템에 관한 것으로, 더욱 상세하게는 드론부에 구비된 제1 및 제2카메라가 지형지물의 세로길이를 측정하기 위한 전면, 가로길이를 측정하기 위한 상면 및 높이를 측정하기 위한 측면을 각각 위치확인센서와 제1 및 제2위치판별센서에 의해 동일한 이격 거리를 갖도록 촬영하여 촬영정보를 획득하고, 그 촬영정보를 화면표시부에 규격화된 리미트 포인트와 일치하게 불러내어 미리 설정된 컨텐츠의 사용 개수에 따라 지형지물의 세로길이, 가로길이 및 높이를 연산하도록 함으로써, 3차원 모델링에 필요한 지형지물의 정보를 획득할 수 있는 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템에 관한 것이다.
이를 위해 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템은 직육면체 형상을 갖는 지형지물의 전면, 측면 및 상면에 각각 설치되되 직진성을 갖는 레이저를 조사하는 위치확인센서와, 상공에서 상기 위치확인센서를 통해 동일한 거리를 두고 각각 촬영하여 무선통신망에 의해 전송가능한 2차원적인 촬영정보를 획득하는 촬영수단 및 상기 촬영정보를 수신하여 화면으로 표시하되 표시된 상기 촬영정보를 통해 상기 지형지물의 세로길이, 가로길이, 높이를 각각 연산하여 상기 지형지물의 3차원 모델링 작업이 이루질 수 있도록 하는 단말부를 포함한다.
이를 위해 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템은 직육면체 형상을 갖는 지형지물의 전면, 측면 및 상면에 각각 설치되되 직진성을 갖는 레이저를 조사하는 위치확인센서와, 상공에서 상기 위치확인센서를 통해 동일한 거리를 두고 각각 촬영하여 무선통신망에 의해 전송가능한 2차원적인 촬영정보를 획득하는 촬영수단 및 상기 촬영정보를 수신하여 화면으로 표시하되 표시된 상기 촬영정보를 통해 상기 지형지물의 세로길이, 가로길이, 높이를 각각 연산하여 상기 지형지물의 3차원 모델링 작업이 이루질 수 있도록 하는 단말부를 포함한다.
Description
본 발명은 지형지물의 3차원 모델링에 필요한 정보를 획득하기 위한 시스템에 관한 것으로, 더욱 상세하게는 드론부에 구비된 제1 및 제2카메라가 지형지물의 세로길이를 측정하기 위한 전면, 가로길이를 측정하기 위한 상면 및 높이를 측정하기 위한 측면을 각각 위치확인센서와 제1 및 제2위치판별센서에 의해 동일한 이격 거리를 갖도록 촬영하여 촬영정보를 획득하고, 그 촬영정보를 화면표시부에 규격화된 리미트 포인트와 일치하게 불러내어 미리 설정된 컨텐츠의 사용 개수에 따라 지형지물의 세로길이, 가로길이 및 높이를 연산하도록 함으로써, 3차원 모델링에 필요한 지형지물의 정보를 획득할 수 있는 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템에 관한 것이다.
최근, 디지털 데이터로 구성되는 디지털 지도의 용도가 확대되어 있고, 대표적인 것으로 하여 차량 등의 네비게이션 장치를 들 수 있다. 보다 높은 기능을 구비한 각종의 네비게이션 장치가 제안되어 있고, 예를 들면, 전방 커브의 존재나 주행해야 할 레인을 운전자에게 전하는 것이 제안되어 있다. 또한, 네비게이션 기술을 응용하여, 도로 비탈이나 곡율에 따라서 차량을 제어하는 것도 제안되어 있다.
또한, ITS(Intelligent Transport Systems)에 관련하는 신기능도 각종 제안되어 있다. 그리고, 이러한 새로운 기술 및 고도의 기능을 실현하기 위해서, 고정밀도의 지도를 높은 갱신 빈도로 제공하는 것이 요망된다.
지도의 작성은 항공영상 이미지를 사용하여 행하는 것이 주지이다. 그러나 항공영상 이미지는 지형지물에 대한 2차원적인 특징을 잘 나타낼 수는 있어도, 지형지물의 3차원 모델링에 필요한 정보는 잘 나타내지 못하는 것이 일반적이다.
따라서 항공영상 이미지를 가지고 지도를 작성할 때, 지형지물의 높이와 측면의 이미지 같은 입체적인 정보를 얻기 위해서는 현장에 가서 실측을 해야만 하는 문제가 있다.
이러한 문제를 일부 개선한 종래기술로 대한민국 특허 등록번호 제10-0937984호(2010.01.13.) "항공영상 이미지의 기준점 입력을 위한 영상도화용 업그레이드 시스템"이 있다.
그러나, 이러한 종래기술 역시, 지형지물의 3차원 모델링을 위한 정보를 항공기에 의존하여 사용하므로, 실질적으로 비용적인 부담이 크며, 소요된 비용에 비해 그 정보가 너무 난해하여 그 업계의 일반적 지식을 가진 사람들도 쉽게 지형지물의 3차원 모델링에 대한 정보를 해석하지 못한다는 단점이 있다.
본 발명은 상술한 종래기술의 문제점을 해결하기 위한 제안된 것으로, 적은 비용으로도 지형지물의 3차원 모델링에 필요한 측정값을 획득하고, 획득한 측정값을 통해 쉽게 지형지물의 3차원 모델링이 가능할 수 있도록 하는 것을 목적으로 한다.
상술한 기술적 과제를 위해 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템은 직육면체 형상을 갖는 지형지물의 전면, 측면 및 상면에 각각 설치되되 직진성을 갖는 레이저를 조사하는 위치확인센서와, 상공에서 상기 위치확인센서를 통해 동일한 거리를 두고 각각 촬영하여 무선통신망에 의해 전송가능한 2차원적인 촬영정보를 획득하는 촬영수단 및 상기 촬영정보를 수신하여 화면으로 표시하되 표시된 상기 촬영정보를 통해 상기 지형지물의 세로길이, 가로길이, 높이를 각각 연산하여 상기 지형지물의 3차원 모델링 작업이 이루질 수 있도록 하는 단말부를 포함하되, 상기 촬영정보는 상기 지형지물 전면 상단의 양측 모서리가 모두 표현되는 제1촬영정보, 상기 지형지물 상면 양측의 모서리가 모두 표현되는 제2촬영정보, 상기 지형지물 측면의 끝단에서 상부 모서리까지 모두 표현되는 제3촬영정보로 이루어지며, 상기 위치확인센서는 상기 제1촬영정보를 획득하기 위해 상기 지형지물의 전면에 설치되는 제1위치센서, 상기 제2촬영정보를 획득하기 위해 상기 지형지물의 상면에 설치되는 제2위치센서, 상기 제3촬영정보를 획득하기 위해 상기 지형지물의 측면에 설치되는 제3위치센서로 이루어지며, 상기 촬영수단은 드론부 및 상기 드론부를 원격 조정하는 컨트롤러를 포함하며, 상기 드론부는 방사상으로 회전가능한 프로펠러가 형성되어 비행이 가능한 몸체, 상기 몸체 하부에 360도 방향으로 회전가능하게 구비되되 수평방향으로 상기 제1위치센서와 상기 제3위치센서를 기준으로 상기 지형지물을 촬영하여 상기 제1촬영정보와 상기 제3촬영정보를 획득하는 제1카메라, 상기 몸체 내부에 구비되어 상기 제1카메라를 회전시키는 회전모터, 상기 몸체 하부에 고정구비되되 상기 제2위치센서를 기준으로 상기 지형지물을 촬영하여 상기 제2촬영정보를 획득하는 제2카메라, 상기 제1카메라의 촬영위치와 제1위치센서 또는 제3위치센서 간의 이격 거리를 측정하는 제1위치판별센서, 상기 제2카메라에 구비되되 상기 제2위치센서의 레이저를 수신하여 상기 지형지물과 상기 제2카메라 간의 상기 이격 거리를 측정하는 제2위치판별센서, 상기 촬영정보를 저장하여 상기 단말부에 전송하거나 상기 컨트롤러에 상기 이격 거리를 전송하여 확인할 수 있도록 구비되는 마이컴으로 이루어지며, 상기 단말부는 상기 마이컴을 통해 파일이미지로 전송되는 상기 촬영정보를 개별 또는 전부 화면으로 표현하되 표현되는 상기 촬영정보가 동일한 규격으로 표현될 수 있도록 화면상에 상기 촬영정보의 파일이미지 모서리와 일치하는 4군데의 리미트 포인트가 표시된 화면표시부, 상기 화면표시부에 회전 또는 이동가능하도록 막대형상으로 표시되되 상기 화면표시부에 표시된 상기 촬영정보의 지형지물 이미지와 대조하여 상기 지형지물의 가로길이, 세로길이, 높이를 연산할 수 있도록 구비되는 컨텐츠를 포함하되, 상기 컨텐츠는 미리 설정된 서로 다른 길이값을 갖도록 다수가 상시 화면표시부에 표현되되 지형지물 이미지와 대조된 상기 컨텐츠의 전체 개수에 대한 길이를 연산하여 상기 지형지물의 가로길이, 세로길이, 높이를 획득하고, 상기 촬영수단은, 제1 및 제2카메라가 지형지물의 세로길이를 측정하기 위한 전면, 가로길이를 측정하기 위한 상면 및 높이를 측정하기 위한 측면을 각각 위치확인센서와 제1 및 제2위치판별센서에 의해 동일한 이격 거리를 갖도록 촬영하여 촬영정보를 획득하는 것을 특징으로 한다.
본 발명에 따르면, 종래와는 차별적으로 드론부에 구비된 제1 및 제2카메라가 지형지물의 세로길이를 측정하기 위한 전면, 가로길이를 측정하기 위한 상면 및 높이를 측정하기 위한 측면을 각각 위치확인센서와 제1 및 제2위치판별센서에 의해 동일한 이격 거리를 갖도록 촬영하여 촬영정보를 획득하고, 그 촬영정보를 화면표시부에 규격화된 리미트 포인트와 일치하게 불러내어 미리 설정된 컨텐츠의 사용 개수에 따라 지형지물의 세로길이, 가로길이 및 높이를 연산하도록 함으로써, 3차원 모델링에 필요한 지형지물의 정보를 획득할 수 있는 효과를 갖는다.
도 1은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템을 나타낸 도면.
도 2 및 도 3은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 지형지물을 촬영수단이 촬영하는 모습을 나타낸 도면.
도 4는 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 촬영수단을 나타낸 도면.
도 5는 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 촬영정보를 나타낸 도면.
도 6은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 단말부를 나타낸 도면.
도 7은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 작용관계를 나타낸 도면.
도 2 및 도 3은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 지형지물을 촬영수단이 촬영하는 모습을 나타낸 도면.
도 4는 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 촬영수단을 나타낸 도면.
도 5는 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 촬영정보를 나타낸 도면.
도 6은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 단말부를 나타낸 도면.
도 7은 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템의 작용관계를 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템(이하, 간략하게 '모델링 시스템'이라 한다)에 대하여 상세히 설명한다. 설명에 앞서, 본 발명의 상세한 설명에 기재되는 지형지물(B)은 지면에 소정의 높이를 갖도록 건설되는 직육면체 형상의 빌딩 등을 의미한다는 것에 유의한다.
먼저, 도 1에 도시한 바와 같이, 본 발명에 따른 모델링 시스템(1)은 크게 위치확인센서(100), 촬영수단(200) 및 단말부(300)를 포함한다.
좀더 상세히 설명하면, 상기 위치확인센서(100)는 도 2 및 도 3에 도시한 바와 같이, 지형지물(B)의 전면(또는 후면), 측면 및 상면에 각각 설치되되 후술하는 구성으로 드론부와 컨트롤러가 포함되는 촬영수단(200)과 지형지물(B)과 동일간격을 갖는 상태로 이격되어 촬영할 수 있도록 하기 위한 구성으로 제1위치센서(110), 제2위치센서(120) 및 제3위치센서(130)는 포함한다. 이때, 각각의 제1 내지 제3위치센서(110,120,130)는 모두 직진성을 갖는 레이저를 조사하되 그 레이저를 드론부가 수신하여 그 수신된 시간차에 따라 이격 거리(D1,D2,D3)를 각각 산출하여 상기 이격 거리에 따라 동일한 간격을 갖도록 지형지물(B)을 촬영하는 것이 바람직하다. 이격 거리(D1,D2,D3) 값과 각도값을 알게 되면 삼각함수를 이용할 수 있다.
아울러 제1 내지 제2위치센서(110,120)는 지형지물(B)을 초기 설치하는 설치관리자가 상기 지형지물(B)의 치수가 기재된 도면 등을 기준으로 미리 설치하도록 하여, 3차원 모델링을 원하는 작업자가 설계도면이 없이도 지형지물(B)의 가로길이, 세로길이 및 높이 등을 촬영정보를 통해 연산할 수 있도록 하며, 그 연산값을 통해 지형지물(B)의 넓이 계산도 가능하게 된다.
여기서, 제1위치센서(110)는 지형지물(B)의 전면(B1)에 설치되되 제1카메라(220)에 의해 지형지물(B)의 전면을 촬영한 촬영정보가 상기 지형지물(B) 상단의 양 모서리(e1,e2) 전체가 표시되어 지형지물의 가로길이를 측정할 수 있도록 한다.
제2위치센서(120)는 지형지물(B)의 상면에 설치되되 제2카메라(230)에 의해 지형지물(B)의 상면을 촬영한 촬영정보가 상기 지형지물(B) 상면의 모서리(e1,e3)를 포함하는 끝단 전체가 표시되어 지형지물의 세로길이를 측정할 수 있도록 한다.
제3위치센서(130)는 지형지물(B)의 양 측면 중 어느 하나의 측면에 설치되되 바람직하게는 제1카메라(220)에 의해 지형지물(B)의 측면을 촬영한 촬영정보가 지형지물(B)의 측면 상단의 양 모서리 중 어느 하나의 모서리(e2)와 상기 모서리(e2)에서 하방으로 이어진 측면 끝단(e4 : 도 2 의 굵은 실선) 모두가 표시되어 지형지물의 높이를 측정할 수 있도록 한다. 이때, 제3위치센서(130)의 위치는 높이측정의 용이성을 위해 지형지물(B)의 초기 설치도면을 기준으로 측면(B3)의 절반에 해당하는 임의의 수평선상에 설치되어 측면(B3)의 모서리는 물론, 측면 끝단(e4)가 전부 하나의 촬영정보에 표시될 수 있도록 하는 것이 바람직하다.
아울러 각각의 제1 내지 제3위치센서(110,120,130)를 촬영하는 드론부와 컨트롤러(250)가 포함되는 촬영수단(200)은 상기 제1 내지 제3위치센서(110,120,130)와 동일한 이격 거리(D1,D2,D3)를 갖도록 촬영되어 화면표시부(310)를 통해 화면으로 표현시에 동일조건에서 지형지물 이미지를 컨텐츠(320)로 측정할 수 있도록 한다.
나아가 이격 거리(D1,D2,D3) 설정은 지형지물(B)의 가로길이나 세로길이 중 더 길게 형성된 길이를 기준으로 하여 설정한다.
일 예로, 지형지물(B)의 가로길이나 세로길이 중 길이가 짧은 것을 기준으로 이격 거리를 설정하면 그만큼 이격 거리는 좁아지게 되고, 이는 곧 길이가 긴 쪽을 드론부가 촬영시에 그에 해당하는 모서리가 촬영정보에 표시되지 않아 후에 화면표시부(310)로 정밀한 길이측정이 어려운 문제점이 있다. 하여, 길이가 긴 쪽 즉, 양측 모서리 전부를 촬영할 수 있는 곳을 기준으로 이격 거리를 설정하여 드론부로 촬영하게 되면 안정적인 이격 거리의 확보는 물론, 정밀한 지형지물(B)의 3차원 모델링이 용이한 이점을 갖게 된다.
그리고, 상기 촬영수단(200)은 도 4에 도시한 바와 같이, 상술한 위치확인센서(100)를 기준으로 일정한 이격 거리를 두어 무선통신망의 원격에 의해 카메라로 지형지물(B)을 촬영하고, 그 촬영한 촬영정보를 이미지로 단말부(300)에 전달하기 위한 구성으로 드론부 및 컨트롤러(250)를 포함한다.
여기서, 드론부는 지형지물(B)을 촬영하고, 그 촬영한 촬영정보가 저장될 수 있도록 하기 위한 구성으로 몸체(210), 제1카메라(220), 제2카메라(230), 마이컴(240) 및 컨트롤러(250)를 포함한다.
아울러 몸체(210)는 통상의 프로펠러를 회전시켜 드론을 날아오르게 하는 통상의 것으로 본 발명의 요지를 흐리지 않도록 상세한 설명은 생략하며, 후술하는 제1 및 제2카메라(220,230)는 각각 스테레오 카메라로 이루어진다.
여기서, 제1카메라(220)는 상술한 제1위치센서(110)와 제3위치센서(130)를 수평방향으로 촬영할 수 있도록 몸체(210) 외면에 형성된다. 이때, 제1카메라(220)에는 몸체(210) 즉, 제1카메라(220)의 촬영위치와 제1위치센서(110) 또는 제3위치센서(130) 간의 이격 거리(D1,D3)를 측정하는 제1위치판별센서(221)가 구비되어 정밀한 촬영정보를 획득할 수 있도록 하며, 제1위치센서(110)를 중심으로 제1카메라(220)에 의해 촬영된 지형지물(B)의 촬영정보는 제1촬영정보(M1)가 되되 제3위치센서(130)를 중심으로 상기 제1카메라(220)에 의해 촬영된 지형지물(B)의 촬영정보는 제3촬영정보(M3)가 되는 것이 바람직하다.(도 5 참조)
아울러 제1위치판별센서(221)는 제1위치센서(110) 또는 제3위치센서(130)에서 조사되는 레이저의 수신하여 그 시간차를 연산하여 지형지물(B)과 제1위치판별센서(221) 간의 거릴 계산할 수 있도록 하며, 그 연산된 거리 즉, 이격 거리(D1,D3)는 마이컴(240)에 의해 수치로 컨트롤러(250)에 표시되어 작업자가 용이하게 지형지물(B)과 드론부 간의 거리를 확인 수 있도록 하되 후술하는 제2위치판별센서(231) 역시, 상기한 바와 같은 방식으로 제2카메라(230)와 제2위치센서(120) 간의 이격 거리(D2)를 연산하되 연산한 값은 마이컴(240)에 의해 컨트롤러(250)로 전송하여 작업자는 이격 거리의 확인하여 촬영할 수 있게 된다.(도 2 및 도 3 참조)
나아가 제1카메라(220)와 제1위치판별센서(221)는 몸체(210) 내부에 구비된 회전모터에 의해 360도 방향으로 회전할 수 있도록 설치되어 지형지물(B)의 촬영이 용이하도록 한다.
제2카메라(230)는 상술한 제2위치센서(120)를 수직으로 지형지물(B)의 상면을 촬영할 수 있도록 몸체(210) 하부에 고정설치되어 제2촬영정보(M2)를 획득한다. 이때, 제2카메라(230)에는 몸체(210) 즉, 제2카메라(230)의 촬영 위치와 제2위치센서(120) 간의 이격 거리(D2)를 측정하는 제2위치판별센서(231)가 구비되어 정밀한 촬영정보를 획득할 수 있도록 한다. 이때, 제1 및 제2카메라(220,230)를 통해 촬영한 각각의 제1 내지 제3촬영정보(M1,M2,M3)는 화면표시부(310)를 통해 화면상으로 불러올 수 있는 전체적으로 2차원적인 사각의 형상을 갖는 BMP, JPG, TIFF 등의 이미지파일로 마이컴(240)에 저장되도록 하여 상기 화면표시부(310) 상의 리미트 포인트(311)와 일치되게 불러낼 수 있도록 하는 것이 바람직하다.
마이컴(240)은 몸체(210) 내부에 구비되되 컨트롤러(250)에 의해 1 GHz 대역의 무선주파수 신호를 이용하고 SSB, FM 방식이 포함되는 무선통신망으로 원격 조정되어 제1 및 제2카메라(220,230)를 동작시켜 각각의 촬영정보를 단말부(300) 또는 컨트롤러(250)로 전송한다.
컨트롤러(250)는 드론부를 원격으로 조정하되 제1 및 제2카메라(220,230)로 지형지물(B)을 촬영하고, 제1 및 제2위치판별센서(221,231)로부터 전송되는 이격 거리가 수치로 표시될 수 있도록 스마트폰과 같은 이동단말기가 사용된다. 이때, 스마트폰으로 사용되는 컨트롤러(250)는 내려받기 가능한 앱(APP)을 사용하여 원격으로 제어함과 동시에 마이컴(240)으로부터 파일로 전송되는 각각의 촬영정보를 저장하여 미리보기에 의해 단말부(300)로 전송하기 전의 지형지물 이미지를 확인할 수 있도록 한다.
그리고, 상기 단말부(300)는 도 6에 도시한 바와 같이, 촬영수단(200)으로 촬영된 각각의 촬영정보를 전송받아 작업자가 육안으로 식별하여 길이측정 작업을 실시할 수 있도록 적어도 하나 이상 화면으로 출력하고, 그 화면출력된 촬영정보를 통해 지형지물(B)의 가로길이, 세로길이 및 높이를 연산할 수 있도록 하기 위한 구성으로 화면표시부(310) 및 컨텐츠(320)를 포함한다.
여기서, 화면표시부(310)는 작업자가 육안으로 마이컴(240)이나 컨트롤러(250)를 통해 전송된 촬영정보를 표시할 수 있는 통상의 모니터로 이루어지되 화면표시부(310)에는 표시하고자 하는 촬영정보가 동일한 규격을 갖게 표시될 수 있도록 리미트 포인트(311)가 표시된다. 이때, 리미트 포인트(311)는 사각 형상을 갖는 이미지파일로 전송되는 제1 내지 제3촬영정보(M1,M2,M3)의 각 모서리가 위치할 수 있도록 화면표시부(310) 상에 4군데로 표현되는 것이 바람직하다.
컨텐츠(320)는 미리 설정된 서로 다른 길이값을 갖는 막대형상으로 제공하되 화면표시부(310)에 표현된 촬영정보 상의 지형지물 이미지에 상기 컨텐츠(320)를 대조하여 지형지물(B)의 가로길이, 세로길이 및 높이를 연산할 수 있도록 한다. 이때, 컨텐츠(320)는 화면표시부(310) 상에서 회전이나 이동가능하도록 형성되며, 상기 컨텐츠(320) 하나의 길이값은 최소 1미터의 길이를 갖도록 미리 설정되어 사용되는 것이 바람직하다.
예컨대 도 7에 도시한 바와 같이, 작업자가 화면표시부(310)에 지형지물(B)의 측면을 촬영한 제3촬영정보(M3)를 통하여 지형지물(B)의 높이를 연산하고자 하는 경우, 화면표시부(310) 상에 이미지파일로 불러낸 상기 제3촬영정보(M3)의 각 모서리가 4군데의 리미트 포인트(311)와 일치하도록 배치하고, 컨텐츠(320) 하단이 촬영정보에 촬영된 지형지물 이미지상의 모서리(e2')와 일치하도록 하되 상기 모서리(e2')와 이어지게 수직으로 연장된 지형지물 이미지상의 끝단(e4')의 형상과 일치되게 수직배치한다.
그 후, 컨텐츠(320)의 길이가 지형지물 이미지상의 끝단(e4')의 수직길이보다 짧으면 다른 미리 설정된 길이값을 갖는 컨텐츠(320)를 통해 상기 끝단(e4') 길이와 컨텐츠(320)의 길이가 동일하도록 하고, 거기에 사용된 컨텐츠(320)의 개수를 통해 즉, 5미터의 길이값으로 설정된 컨텐츠(320)가 3개 사용되었을 때, 끝단(e4')의 수직길이와 동일하다면 그 길이는 15미터가 되고, 상술한 내용을 통대로 제3촬영정보(M3)는 지형지물(B)의 측면 절반에 해당하는 위치에서 촬영된 것으로 간단하게 2배로 책정하여 지형지물(B)의 전체 높이는 30미터라는 연산값을 산출하게 된다.
아울러 이와 같은 방식으로 제1 및 제2촬영정보(M1,M2)를 통해 지형지물(B)의 가로길이 및 세로길이를 연산하여 3차원 모델링을 작성하기 위한 정보를 획득할 수 있게 되는 것이다.
이와 같은 구성으로 이루어진 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템은 종래와는 차별적으로 드론부에 구비된 제1 및 제2카메라(220,230)가 지형지물(B)의 세로길이를 측정하기 위한 전면, 가로길이를 측정하기 위한 상면 및 높이를 측정하기 위한 측면을 각각 위치확인센서(100)와 제1 및 제2위치판별센서(221,231)에 의해 동일한 이격 거리를 갖도록 촬영하여 촬영정보를 획득하고, 그 촬영정보를 화면표시부(310)에 규격화된 리미트 포인트(311)와 일치하게 불러내어 미리 설정된 컨텐츠(320)의 사용 개수에 따라 지형지물(B)의 세로길이, 가로길이 및 높이를 연산하도록 함으로써, 3차원 모델링에 필요한 지형지물(B)의 정보를 획득할 수 있는 효과를 갖는다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
1: 본 발명에 따른 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템
100: 위치확인센서 110: 제1위치센서
120: 제2위치센서 130: 제3위치센서
200: 촬영수단 210: 몸체
220: 제2카메라 221: 제1위치판별센서
230: 제2카메라 231: 제2위치판별센서
240: 마이컴 250: 컨트롤러
300: 단말부 310: 화면표시부
311: 리미트 포인트 320: 컨텐츠
D1,D2,D3: 이격 거리 B: 지형지물
M1: 제1촬영정보 M2: 제2촬영정보
M3: 제3촬영정보
100: 위치확인센서 110: 제1위치센서
120: 제2위치센서 130: 제3위치센서
200: 촬영수단 210: 몸체
220: 제2카메라 221: 제1위치판별센서
230: 제2카메라 231: 제2위치판별센서
240: 마이컴 250: 컨트롤러
300: 단말부 310: 화면표시부
311: 리미트 포인트 320: 컨텐츠
D1,D2,D3: 이격 거리 B: 지형지물
M1: 제1촬영정보 M2: 제2촬영정보
M3: 제3촬영정보
Claims (1)
- 직육면체 형상을 갖는 지형지물(B)의 전면, 측면 및 상면에 각각 설치되되 직진성을 갖는 레이저를 조사하는 위치확인센서(100);
상공에서 상기 위치확인센서(100)를 통해 동일한 이격 거리(D1,D2,D3)를 두고 각각 촬영하여 무선통신망에 의해 전송가능한 2차원적인 촬영정보를 획득하는 촬영수단(200); 및
상기 촬영정보를 수신하여 화면으로 표시하되 표시된 상기 촬영정보를 통해 상기 지형지물(B)의 세로길이, 가로길이, 높이를 각각 연산하여 상기 지형지물(B)의 3차원 모델링 작업이 이루질 수 있도록 하는 단말부(300);를 포함하되,
상기 촬영정보는
상기 지형지물(B) 전면 상단의 양측 모서리가 모두 표현되는 제1촬영정보(M1), 상기 지형지물(B) 상면 양측의 모서리가 모두 표현되는 제2촬영정보(M2), 상기 지형지물(B) 측면의 끝단에서 상부 모서리까지 모두 표현되는 제3촬영정보(M3)로 이루어지며,
상기 위치확인센서(100)는
상기 제1촬영정보(M1)를 획득하기 위해 상기 지형지물(B)의 전면에 설치되는 제1위치센서(110), 상기 제2촬영정보(M2)를 획득하기 위해 상기 지형지물(B)의 상면에 설치되는 제2위치센서(120), 상기 제3촬영정보(M3)를 획득하기 위해 상기 지형지물(B)의 측면에 설치되는 제3위치센서(130)로 이루어지며,
상기 촬영수단(200)은 드론부 및 상기 드론부를 원격 조정하는 컨트롤러(250)를 포함하며,
상기 드론부는 방사상으로 회전가능한 프로펠러가 형성되어 비행 가능한 몸체(210), 상기 몸체(210) 하부에 360도 방향으로 회전가능하게 구비되되 수평방향으로 상기 제1위치센서(110)와 상기 제3위치센서(130)를 기준으로 상기 지형지물(B)을 촬영하여 상기 제1촬영정보와 상기 제3촬영정보를 획득하는 제1카메라(220), 상기 몸체(210) 내부에 구비되어 상기 제1카메라(220)를 회전시키는 회전모터, 상기 몸체(210) 하부에 고정구비되되 상기 제2위치센서(120)를 기준으로 상기 지형지물(B)을 촬영하여 상기 제2촬영정보를 획득하는 제2카메라(230), 상기 제1카메라(220)의 촬영위치와 제1위치센서(110) 또는 제3위치센서(130) 간의 이격 거리(D1,D3)를 측정하는 제1위치판별센서(221), 상기 제2카메라(230)에 구비되되 상기 제2위치센서(120)의 레이저를 수신하여 상기 지형지물(B)과 상기 제2카메라(230) 간의 상기 이격 거리(D2)를 측정하는 제2위치판별센서(231), 상기 촬영정보를 저장하여 상기 단말부(300)에 전송하거나 상기 컨트롤러(250)에 상기 이격 거리(D1,D2,D3)를 전송하여 확인할 수 있도록 구비되는 마이컴(240)으로 이루어지며,
상기 단말부(300)는
상기 마이컴(240)을 통해 파일이미지로 전송되는 상기 촬영정보를 개별 또는 전부 화면으로 표현하되 표현되는 상기 촬영정보가 동일한 규격으로 표현될 수 있도록 화면상에 상기 촬영정보의 파일이미지 모서리와 일치하는 4군데의 리미트 포인트(311)가 표시된 화면표시부(310), 상기 화면표시부(310)에 회전 또는 이동가능하도록 막대형상으로 표시되되 상기 화면표시부(310)에 표시된 상기 촬영정보의 지형지물 이미지와 대조하여 상기 지형지물(B)의 가로길이, 세로길이, 높이를 연산할 수 있도록 구비되는 컨텐츠(320)를 포함하되,
상기 컨텐츠(320)는 미리 설정된 서로 다른 길이값을 갖도록 다수가 상시 화면표시부(310)에 표현되되 지형지물 이미지와 대조된 상기 컨텐츠(320)의 전체 개수에 대한 길이를 연산하여 상기 지형지물(B)의 가로길이, 세로길이, 높이를 획득하고,
상기 촬영수단(200)은,
제1 및 제2카메라(220,230)가 지형지물(B)의 세로길이를 측정하기 위한 전면, 가로길이를 측정하기 위한 상면 및 높이를 측정하기 위한 측면을 각각 위치확인센서(100)와 제1 및 제2위치판별센서(221,231)에 의해 동일한 이격 거리를 갖도록 촬영하여 촬영정보를 획득하는 것을 특징으로 하는 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160021367A KR101625634B1 (ko) | 2016-02-23 | 2016-02-23 | 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160021367A KR101625634B1 (ko) | 2016-02-23 | 2016-02-23 | 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101625634B1 true KR101625634B1 (ko) | 2016-05-31 |
Family
ID=56099263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160021367A KR101625634B1 (ko) | 2016-02-23 | 2016-02-23 | 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101625634B1 (ko) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106314782A (zh) * | 2016-10-22 | 2017-01-11 | 钟贵洪 | 一种遥控航拍机 |
| KR101827372B1 (ko) * | 2016-07-13 | 2018-02-08 | 울산과학기술원 | 드론형 3d프린터 |
| WO2018030651A1 (ko) * | 2016-08-09 | 2018-02-15 | 삼성전자 주식회사 | 카메라를 구비한 무인 비행체 및 무인 비행체의 영상 처리 방법 |
| KR101831890B1 (ko) * | 2017-09-25 | 2018-02-26 | 공간정보기술 주식회사 | 스테레오 카메라를 사용해서 3차원 위치 기반 객체 식별 알고리즘을 응용한 유사도 측정 알고리즘의 정확도 향상 시스템 |
| KR101839455B1 (ko) * | 2016-11-02 | 2018-03-16 | 아주대학교산학협력단 | 스테레오 영상 처리 장치 및 방법 |
| KR101896654B1 (ko) * | 2017-11-08 | 2018-09-07 | 변정태 | 드론을 이용한 3d 영상 처리 시스템 및 방법 |
| WO2019093692A1 (ko) * | 2017-11-09 | 2019-05-16 | 삼성전자 주식회사 | 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치 |
| KR20190124515A (ko) | 2018-04-26 | 2019-11-05 | 한국조선해양 주식회사 | 3d 지도 작성 시스템 |
| KR102072405B1 (ko) * | 2019-12-09 | 2020-02-03 | 주식회사 제이에스아이시스템 | 지형지물과 동일한 이격 거리를 유지하면서 입체적인 정보를 획득하는 드론을 이용한 3차원 모델링 시스템 |
| KR102250490B1 (ko) | 2020-08-24 | 2021-05-13 | 에스큐엔지니어링(주) | 드론을 활용한 타격장치에 의한 타력측정 및 이를 이용한 콘크리트 구조물의 강도 및 물성 측정시스템 |
| KR20230058788A (ko) | 2021-10-25 | 2023-05-03 | 한남대학교 산학협력단 | 볼륨메트릭 3d 모델 복원 품질향상을 위한 드론 촬영 제어 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100937984B1 (ko) | 2009-07-17 | 2010-01-25 | (주)선영종합엔지니어링 | 항공영상 이미지의 기준점 입력을 위한 영상도화용 업그레이드시스템 |
| KR101214582B1 (ko) | 2012-08-30 | 2012-12-24 | 에스제이공간정보(주) | 항공촬영 이미지의 이해도를 높인 영상이미지 편집처리 시스템 |
-
2016
- 2016-02-23 KR KR1020160021367A patent/KR101625634B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100937984B1 (ko) | 2009-07-17 | 2010-01-25 | (주)선영종합엔지니어링 | 항공영상 이미지의 기준점 입력을 위한 영상도화용 업그레이드시스템 |
| KR101214582B1 (ko) | 2012-08-30 | 2012-12-24 | 에스제이공간정보(주) | 항공촬영 이미지의 이해도를 높인 영상이미지 편집처리 시스템 |
Non-Patent Citations (2)
| Title |
|---|
| 유성구, and 정길도. "단일 영상과 거리센서를 이용한 SLAM 시스템 구현." 전자공학회논문지-SC 45.6 (2008) |
| 이용창. "회전익 UAS 영상기반 고밀도 측점자료의 위치 정확도 평가." 한국지형공간정보학회지 23.2 (2015) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101827372B1 (ko) * | 2016-07-13 | 2018-02-08 | 울산과학기술원 | 드론형 3d프린터 |
| WO2018030651A1 (ko) * | 2016-08-09 | 2018-02-15 | 삼성전자 주식회사 | 카메라를 구비한 무인 비행체 및 무인 비행체의 영상 처리 방법 |
| US11254427B2 (en) | 2016-08-09 | 2022-02-22 | Samsung Electronics Co., Ltd. | Unmanned aerial vehicle having camera, and method for unmanned aerial vehicle to process image |
| CN106314782A (zh) * | 2016-10-22 | 2017-01-11 | 钟贵洪 | 一种遥控航拍机 |
| KR101839455B1 (ko) * | 2016-11-02 | 2018-03-16 | 아주대학교산학협력단 | 스테레오 영상 처리 장치 및 방법 |
| KR101831890B1 (ko) * | 2017-09-25 | 2018-02-26 | 공간정보기술 주식회사 | 스테레오 카메라를 사용해서 3차원 위치 기반 객체 식별 알고리즘을 응용한 유사도 측정 알고리즘의 정확도 향상 시스템 |
| KR101896654B1 (ko) * | 2017-11-08 | 2018-09-07 | 변정태 | 드론을 이용한 3d 영상 처리 시스템 및 방법 |
| WO2019093692A1 (ko) * | 2017-11-09 | 2019-05-16 | 삼성전자 주식회사 | 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치 |
| KR20190124515A (ko) | 2018-04-26 | 2019-11-05 | 한국조선해양 주식회사 | 3d 지도 작성 시스템 |
| KR102072405B1 (ko) * | 2019-12-09 | 2020-02-03 | 주식회사 제이에스아이시스템 | 지형지물과 동일한 이격 거리를 유지하면서 입체적인 정보를 획득하는 드론을 이용한 3차원 모델링 시스템 |
| KR102250490B1 (ko) | 2020-08-24 | 2021-05-13 | 에스큐엔지니어링(주) | 드론을 활용한 타격장치에 의한 타력측정 및 이를 이용한 콘크리트 구조물의 강도 및 물성 측정시스템 |
| KR20230058788A (ko) | 2021-10-25 | 2023-05-03 | 한남대학교 산학협력단 | 볼륨메트릭 3d 모델 복원 품질향상을 위한 드론 촬영 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101625634B1 (ko) | 드론의 스테레오 카메라가 촬영한 이미지를 이용한 3차원 모델링 시스템 | |
| KR101214582B1 (ko) | 항공촬영 이미지의 이해도를 높인 영상이미지 편집처리 시스템 | |
| US11644839B2 (en) | Systems and methods for generating a real-time map using a movable object | |
| JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
| CN112334733B (zh) | 拍摄装置的校正装置、监视装置、作业机械及校正方法 | |
| KR102001789B1 (ko) | 구조물 손상 검사장치 및 그 제어방법 | |
| CN110162032B (zh) | 车辆地图数据采集***和方法 | |
| KR101692709B1 (ko) | 드론을 이용한 수치지도 제작 영상시스템 | |
| CN110249281B (zh) | 位置处理装置、飞行体、及飞行*** | |
| JP6058483B2 (ja) | 空撮測量方法および装置 | |
| US9093047B2 (en) | Displaying arrays of image data | |
| JP6791041B2 (ja) | 原料山計測方法および原料山計測システム | |
| KR101540993B1 (ko) | 지상 구조물 변경에 따른 지형지물의 변화 감시 및 측지정보 변화율 측지시스템 | |
| CN107796370B (zh) | 用于获取转换参数的方法、装置及移动测图*** | |
| US20190253635A1 (en) | Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium | |
| KR101767648B1 (ko) | 한국형 수심측량장비의 데이터 전처리를 위한 데이터 처리 소프트웨어가 탑재된 드론 비행 장치 | |
| KR102152720B1 (ko) | 3차원 모델링용 촬영장치 및 촬영방법 | |
| JP3808833B2 (ja) | 空中写真測量方法 | |
| KR101225724B1 (ko) | 지형지물의 변화 확인을 통한 원격 수치지도 갱신시스템 | |
| Nasrullah | Systematic analysis of unmanned aerial vehicle (UAV) derived product quality | |
| KR101651152B1 (ko) | 공간 모델과 결합하는 드론의 영상영역 모니터링 시스템 | |
| US11513524B2 (en) | Three-dimensional analytic tools and methods for inspections using unmanned aerial vehicles | |
| KR102372446B1 (ko) | 무인비행체와 가상 수상 기준점을 활용한 수위 측정 및 3차원 수면 공간정보 생성 방법 | |
| KR101035538B1 (ko) | 실시간 차선위치정보 획득장치 및 방법 | |
| KR101409802B1 (ko) | 3차원 3ｄ 스캐너를 활용한 최적의 공간정보 분석 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190429 Year of fee payment: 4 |