KR101633812B1 - 해상 부이의 실시간 원격 모니터링 시스템 - Google Patents

해상 부이의 실시간 원격 모니터링 시스템 Download PDF

Info

Publication number
KR101633812B1
KR101633812B1 KR1020150163796A KR20150163796A KR101633812B1 KR 101633812 B1 KR101633812 B1 KR 101633812B1 KR 1020150163796 A KR1020150163796 A KR 1020150163796A KR 20150163796 A KR20150163796 A KR 20150163796A KR 101633812 B1 KR101633812 B1 KR 101633812B1
Authority
KR
South Korea
Prior art keywords
buoy
collision
image
monitoring
sea
Prior art date
Application number
KR1020150163796A
Other languages
English (en)
Inventor
이병걸
Original Assignee
(주)에디넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에디넷 filed Critical (주)에디넷
Priority to KR1020150163796A priority Critical patent/KR101633812B1/ko
Application granted granted Critical
Publication of KR101633812B1 publication Critical patent/KR101633812B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B22/00—Buoys
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B22/00—Buoys
    • B63B2022/006—Buoys specially adapted for measuring or watch purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 해상 부이의 실시간 원격 모니터링 시스템에 관한 것으로, 해양 기상 및 환경정보 등의 수집을 위해 해상에 설치하여 운용중인 해상 관측용 부이의 실시간 운영상황을 감시하고 선박 등에 의한 충돌 사고 발생시 사고 영상을 촬영하기 위한 것이다.
이를 위하여 본 발명은 해상의 부이에 설치되며 실시간 운영상황 감시 및 충돌 감지를 위한 충돌 감지부와 영상 촬영을 위한 카메라 및 무선 통신을 위한 무선 통신부를 포함하여 부이의 실시간 운영상황을 감시하면서 실시간 주변영상 및 충돌 감지에 따른 실시간 사고영상을 촬영하여 기록하고 촬영된 사고영상 및 운영상황 감시정보를 육상의 관제센터서버로 무선 전송하는 부이 충돌감지 및 사고영상 기록장치, 육상의 관제센터에 설치되며 부이 충돌감지 및 사고영상 기록장치에서 무선 전송되는 실시간 사고영상 및 운영상황 감시정보를 수신하여 관리자 모니터링 화면으로 표시하는 원격 부이감시 및 모니터링서버를 포함하여, 해상 관측용 부이의 사고 또는 파손원인 규명, 피해 복구, 유지 보수를 신속하게 처리하여 충돌사고로 인한 재산적 피해비용을 절감하여 국가적 손실을 줄일 수 있게 한다.

Description

해상 부이의 실시간 원격 모니터링 시스템{The realtime remote monitoring system of buoys on the sea}
본 발명은 해상 부이의 실시간 원격 모니터링 시스템에 관한 것으로, 보다 상세하게는 해양의 기상정보 및 환경정보 등의 수집을 위해 해상에 설치하여 운용중인 해상 부이의 실시간 운영상황 및 선박 등에 의한 충돌 사고 발생 상황을 실시간 감시할 수 있는 해상 부이의 실시간 원격 모니터링 시스템에 관한 것이다.
일반적으로 부이(buoy)는 수면상에 부상하여 항구의 관제수역 내의 항로를 지시하거나 위험구역 등을 표시하기 위한 장치로서, 주간에 식별이 가능하도록 특정 색상이나 모양을 갖게 형성되고 야간에는 빛으로 식별이 가능하도록 조명을 부가하여 구성된다.
또한 부이를 효율적으로 활용하기 위한 필요성에 따라, 상기의 항로 지시 및 위험구역 등의 표시기능 뿐만 아니라, 다양한 기능이 부가된 부이가 최근 개발되어 운용되고 있는데, 그 중에서도 특히 기상청, 해양수산부 등에서 해상의 기상관측 및 환경정보 등의 수집을 위해 운영중인 해상 관측용 부이는 풍향, 풍속센서, 상부 구조물 등의 고가의 장비가 탑재되어 구성된다.
이러한 부이는 그 특성상 대부분 해상에 설치되므로 조명의 점등, 또는 내부 센서나 전자장치 등의 구동에 필요한 전원을 전지를 이용하여 공급하게 되며, 전지의 수명 연장을 위해서 조명의 밝기가 미약하게 동작하도록 설계되므로 빛의 도달하는 거리가 짧아 주변을 항해하는 선박과 충돌하는 사고가 자주 발생되고 있다.
이와 같은 선박 충돌 등으로 인해 해상 관측용 부이의 계류장치 등이 파손되어 표류하는 사고는 종종 발생되고 있으며, 최근 수년간의 해양 기상관측 부이의 운영실태를 조사한 결과에 의하면, 2011년 5건, 2010년 5건, 2009년 4건 등이 발생한 것으로 조사되었는데, 그 사고 발생의 원인은 선박 충돌(10건), 계류선 절단(4건) 등으로 어선 등 선박의 충돌 및 불법 정박 등으로 인한 인위적인 파손사고가 많은 것으로 조사되고 있다.
그러나, 상기와 같이 풍향, 풍속센서, 상부 구조물 등의 고가 장비가 탑재되는 해상 관측용 부이의 경우, 사고나 충돌 또는 불법 정박 등에 의해 파손이 발생하게 되면 그 피해 복구나 유지 보수를 위한 비용의 추가적인 소모, 보수 인력의 투입 등의 재산적인 손실이 매우 커지게 되므로, 선박의 충돌 및 불법 정박으로 인한 고의적인 파손 등을 감시하여 원인을 정확하게 규명할 필요성이 요구되고 있다.
KR 10-2001-0104898 A 2001.11.28 공개 KR 10-2013-0073275 A 2013.07.03 공개 10-1152016 B1 2012.05.24 등록
따라서 본 발명은 상기의 문제점을 해결하기 위해 안출한 것으로, 본 발명은 해양 기상 및 환경정보 등의 수집을 위해 해상에 설치하여 운용중인 해상 관측용 부이의 실시간 운영상황을 감시하고 선박 등에 의한 충돌 사고 발생시 사고 영상을 촬영하여 육상의 관제센터서버로 전송함으로써, 이를 통한 해상 관측용 부이의 사고 또는 파손원인 규명, 피해 복구, 유지 보수를 신속하게 처리하여 충돌사고로 인한 재산적 피해비용을 절감하여 국가적 손실을 줄일 수 있는 해상 부이의 실시간 원격 모니터링 시스템을 제공하고자 하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시 형태는, 해상의 부이에 설치되며 실시간 운영상황 감시 및 충돌 감지를 위한 충돌 감지부와 영상 촬영을 위한 카메라 및 무선 통신을 위한 무선 통신부를 포함하여 부이의 실시간 운영상황을 감시하면서 실시간 주변영상 및 충돌 감지에 따른 실시간 사고영상을 촬영하여 기록하고 촬영된 사고영상 및 운영상황 감시정보를 육상의 관제센터서버로 무선 전송하는 부이 충돌감지 및 사고영상 기록장치, 육상의 관제센터에 설치되며 부이 충돌감지 및 사고영상 기록장치에서 무선 전송되는 실시간 사고영상 및 운영상황 감시정보를 수신하여 관리자 모니터링 화면으로 표시하는 원격 부이감시 및 모니터링서버를 포함하는, 해상 부이의 실시간 원격 모니터링시스템이다.
상기 본 발명의 일 실시 형태에 따른 해상 부이의 실시간 원격 모니터링시스템에서, 부이 충돌감지 및 사고영상 기록장치는, 해상의 부이에 설치되며 부이의 실시간 운영상황 감시를 위한 부이의 충돌 감지와 방위변화, 주변물체의 위치와 거리를 측정하여 주제어부로 전달하는 충돌 감지부, 해상 부이의 실시간 주변영상을 촬영하여 기록하면서 충돌 감지부에 의한 충돌 감지시 충돌이 발생된 부이 주변물체의 움직임을 추종하여 사고영상을 촬영하고 기록하는 영상 촬영 및 기록부, 충돌 감지부에 의한 실시간 운영상황 감시결과로 영상 촬영 및 기록부의 동작을 제어하여 충돌 또는 사고 발생시의 원인 규명을 위한 사고영상의 촬영을 제어하고 부이의 실시간 운영상황 감시정보 및 촬영된 영상정보를 영상처리 및 분석하여 무선 통신부를 통해 원격 부이감시 및 모니터링서버로 전송하는 주제어부, 주제어부에 의해 제어되어 충돌 감지부에 의한 부이의 실시간 운영상황 감시정보와 영상 촬영 및 기록부에 의한 영상정보와 그 분석정보를 원격 부이감시 및 모니터링서버로 전송하는 무선 통신부, 및 해상 부이에 설치되는 각 부하에 동작전원을 공급하는 전원공급부를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 의하면, 해양 기상 및 환경정보 등의 수집을 위해 해상에 설치하여 운용중인 해상 관측용 부이의 실시간 운영상황 및 선박 등에 의한 충돌 사고 발생 상황을 실시간 촬영하여 육상의 관제센터서버로 전송함으로써, 해상 관측용 부이의 사고 또는 파손원인 규명, 피해 복구, 유지 보수를 신속하게 처리할 수 있게 하여 충돌사고로 인한 재산적 손실을 줄일 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 형태에 따른 해상 부이의 실시간 원격 모니터링시스템의 개념을 설명하기 위하여 예시한 개략도이다.
도 2는 본 발명의 일 실시 형태에 따른 해상 부이의 실시간 원격 모니터링시스템에서 하나의 부이 충돌감지 및 사고영상 기록장치와 원격 부이감시 및 모니터링서버 간의 상세 구성을 예시한 블록도이다.
이하, 본 발명에 의한 해상 부이의 실시간 원격 모니터링 시스템의 전체적인 구성 및 동작을 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시 형태에 따른 해상 부이의 실시간 원격 모니터링시스템의 개념을 설명하기 위하여 예시한 개략도이고, 도 2는 본 발명의 일 실시 형태에 따른 해상 부이의 실시간 원격 모니터링시스템에서 하나의 부이 충돌감지 및 사고영상 기록장치(100a)와 원격 부이감시 및 모니터링서버(200) 간의 상세 구성을 예시한 블록도로서, 도면에 예시된 바와 같이 본 발명의 해상 부이의 실시간 원격 모니터링 시스템은 해상의 각 부이(10a-10n)에 각각 설치되어 부이의 실시간 운영상황을 감시하고 충돌시의 사고영상을 촬영하여 전송하는 다수의 부이 충돌감지 및 사고영상 기록장치(100a-100n), 육상의 관제센터에 설치되어 다수의 부이 충돌감지 및 사고영상 기록장치(100a-100n)로부터 무선통신 네트워크를 통해 송신되는 실시간 운영상황 감시정보 및 사고영상을 취합하여 모니터링 화면으로 표시하는 원격 부이감시 및 모니터링서버(200)를 포함하여 구성될 수 있다. 참고로 도 2의 도면에서는 하나의 부이(10a)에 설치된 하나의 부이 충돌감지 및 사고영상 기록장치(100a)를 발췌하여 그 상세 구성을 예시하였으며, 다른 나머지의 부이 충돌감지 및 사고영상 기록장치(100b-100n)의 구성도 이와 동일하게 구성되며, 그 예시는 생략하기로 한다.
다수의 부이 충돌감지 및 사고영상 기록장치(100a-100n)는 해상의 부이(10-10n) 상단부에 각각 설치되어, 각 부이의 실시간 운영상황을 다수의 센서를 통해 감시하면서 실시간 주변영상 및 충돌 감지에 따른 실시간 사고영상을 카메라로 촬영하여 기록하고 촬영된 사고영상 및 운영상황 감시정보를 육상 관제센터의 원격 부이감시 및 모니터링서버(200)로 무선 전송한다.
본 발명의 다수의 부이 충돌감지 및 사고영상 기록장치(100a-100n)는, 충돌 감지부(110), 영상 촬영 및 기록부(120), 주제어부(130), 무선 통신부(140), 및 전원공급부(150)를 포함하여 구성될 수 있다.
충돌 감지부(110)는 부이의 전면 또는 측면에 각각 설치될 수 있으며, 부이의 실시간 운영상황 감시를 위한 부이의 충돌감지와 방위변화, 부이 주변물체의 위치와 거리를 측정하여 주제어부(130)로 전달한다. 이를 위하여 충돌 감지부(110)는, 자이로 센서(111), 레이저 거리 측정기(112), 및 레이더 탐지기(113)를 포함하여 구성될 수 있다.
자이로 센서(111)는 해상의 부이 상단부에 설치되며, 부이의 방위변화를 측정하여 부이와 주변 선박 또는 물체에 의한 충돌 발생 여부를 감지하여 주제어부(130)로 전달한다.
레이저 거리 측정기(112)는 해상의 부이 상단부에 설치되며, 레이저를 발생시킨 후 부이 주변의 선박 또는 물체에서 반사되어 되돌아오는 광량을 검출 및 계수하여 부이와 물체 간의 거리를 산출하여 주제어부(130)로 전달한다.
레이더 탐지기(113)는 해상의 부이에 설치되며, 전파 발사 후 물체에서 반사되어 되돌아오는 전파를 분석하여 부이 주변의 선박 또는 물체에 대한 부이 기준의 고도, 이동방향과 거리, 및 속도를 산출하여 주제어부(130)로 전달한다.
영상 촬영 및 기록부(120)는 카메라를 통해 해상 부이의 실시간 주변영상을 촬영하여 기록하면서 충돌 감지부(110)에 의한 부이와 주변의 선박 또는 물체와의 충돌 감지시 충돌이 발생된 부이 주변 선박 또는 물체의 움직임을 추종하여 사고영상을 촬영하고 기록한다. 이를 위하여 영상 촬영 및 기록부(120)는, 움직임 검출부(121), 카메라(122), 및 영상 기록부(123)를 포함하여 구성될 수 있다.
움직임 검출부(121)는 카메라(122)에 일체로 설치되며, 충돌 감지부(110)에 의한 부이와 주변의 선박 또는 물체와의 충돌 감지시 주제어부(130)에 의해 동작이 제어되어 충돌이 발생된 부이의 주변 선박 또는 물체에 대한 움직임 여부를 검출하고, 움직임이 발생된 피사체의 추종을 위한 움직임 검출정보를 카메라(122)에 전달한다.
카메라(122)는 해상의 부이 상단부에 설치되어 해상 부이의 주변영상을 실시간 촬영하며, 충돌 감지부(110)에 의한 충돌 감지시 움직임 검출부(121)에서 검출된 움직임 검출정보로 피사체의 움직임을 추종하면서 해상 부이의 실시간 사고영상을 촬영한다. 이때 카메라(122)는 충돌 감지시에는 초당 프레임의 수를 증가시켜 촬영하도록 제어될 수 있다. 이러한 카메라(122)는 해상의 넓은 영상을 촬영할 수 있도록 광각 렌즈 카메라로 구성되는 것이 바람직하며, 빛의 밝기에 따른 전체 색감의 밸런스를 조절하여 촬영된 영상을 보정하는 역광보정부(Wide Dynamic Range), 야간의 충돌 감지시 조명 밝기를 샹향 조정하여 빛이 없는 어두운 환경에서 촬영된 영상을 밝게 보정하는 슈퍼나이트비젼부(Super Night Vision), 광각 렌즈를 이용하여 촬영된 영상의 양끝에 발생되는 세로 수직선의 왜곡을 보정하는 디와핑부(De-Warping), 및 렌즈 표면의 습기를 감지하여 습기를 억제 또는 제거하여 렌즈의 시야를 확보하는 디포그부(Defog)를 포함하여 구성되는 것이 바람직하다. 또한 이러한 카메라(122)는 운동성 보정 기능(4축 보정기능)을 이용하여 피사체가 되는 대상 물체에 대한 자동 포커싱을 수행하도록 구성될 수 있다. 또한 이러한 카메라(122)는 적외선 LED, 또는 마이크로 웨이브 레이더를 이용하여 야간 촬영을 지원하도록 구현될 수도 있다.
영상 기록부(123)는 카메라(122)에서 촬영된 해상 부이의 실시간 주변영상 및 사고영상을 기록하여 저장하며, 플래시 메모리 저장장치인 SD 카드(secure digital card) 등으로 구성될 수 있다. 이러한 영상 기록부(123)는 주제어부(130)의 제어에 의해 충돌 발생 시점으로부터 수분 전(예를 들면 약 2분전)상황부터 영상을 기록 및 저장하며, 특정 이미지(예를 들면 문자나 로고 등)에 대한 초점 보정으로 선명한 영상을 보존할 수 있도록 구현되는 것이 바람직하다. 또한 이러한 영상 기록부(123)는 선박 자동식별장치(Automatic Identification System)를 활용하여 주변 선박에 대한 이동 현황 등을 분석하여 기록하도록 구성될 수 있다.
주제어부(130)는 충돌 감지부(110)에 의한 실시간 운영상황 감시결과로 영상 촬영 및 기록부(120)를 제어하여, 카메라(122)가 충돌 또는 사고 발생의 원인이 되는 피사체의 움직임을 추종하도록 제어하고, 부이의 실시간 운영상황 감시정보 및 촬영된 사고영상정보를 영상처리하여 기록하도록 영상 기록부(123)를 제어하며, 무선 통신부(140)를 통해 육상의 관제센터에 설치된 원격 부이감시 및 모니터링서버(200)로 전송하도록 제어한다. 이러한 주제어부(130)에 의한 정보의 전송 동작은 충돌 감지시 카메라의 영상정보를 우선 전송하며, 동작 중 오류가 발생시 상태정보를 자동 전송하고, 지정된 시간마다 주기적으로 상태정보를 자동 전송하도록 제어될 수 있다.
무선 통신부(140)는 미리 지정된 URL의 원격 부이감시 및 모니터링서버(200)와 통신 가능하게 설정되며, 주제어부(130)에 의해 제어되어 충돌 감지부(110)에 의한 부이의 실시간 운영상황 감시정보, 및 영상 촬영 및 기록부(120)에 의한 영상정보와 그 분석정보를 원격 부이감시 및 모니터링서버(200)로 전송한다. 이러한 무선 통신부(140)는 3G, 또는 LTE 망을 이용하여 통신수단일 수 있다.
전원공급부(150)는 축전지, 태양전지 등으로 구성되어 해상 부이에 설치되는 각 부하에 동작전원을 공급하며, 이러한 전원공급부(150)는 해상의 바람에 의해 발생되는 동력을 전기에너지로 변환하여 전력을 생산하는 풍력 발전부(151), 또는 태양광을 전기에너지로 변환하여 전력을 생산하는 태양광 발전부(152) 중의 어느 하나, 또는 모두를 포함하여 구성될 수 있다. 이러한 전원공급부(150)는 특히 풍력 발전부(151)와 태양광 발전부(152)를 모두 포함하는 경우, 해상의 바람 및 태양광선을 모두 이용하여 전기에너지를 각각 생산하여 저장하게 되므로, 바람이 없는 날씨나 태양광이 없는 날씨나 야간에도 전기에너지의 생산이 가능하게 되어, 해상 부이의 각 부하에서 필요로 하는 전력을 충분하게 생산하여 공급할 수 있게 된다.
풍력 발전부(151)는 해상의 바람에 의해 직접 회전될 수 있도록 부이의 상단부에 설치되는 다수의 회전판을 구비할 수 있으며, 이러한 회전판의 회전에 의해 발생되는 동력을 전기에너지로 변환하여 전력을 생산 및 저장하고, 해상 부이에 설치되는 각 부하로 직류 또는 교류의 구동전원을 출력하는 풍력발전기, 및 축전지를 포함하여 구성될 수 있을 것이다.
태양광 발전부(152)는 태양광선을 전기에너지로 변환하여 전력을 생산 및 저장하고, 해상 부이에 설치되는 각 부하로 직류 또는 교류의 구동전원을 출력한다.
이러한 태양광 발전부(152)는, 쏠라 셀(152a), 충전 제어부(152b), 배터리(152c), 및 인버터(152d)를 포함하여 구성될 수 있다.
쏠라 셀(152a)은 태양광선을 전기 에너지로 바꿔주는 장치로서, 다수의 태양전지 모듈로 이루어지며, 태양광선을 직류 전원으로 변환하여 전선을 통해 충전제어부(152b)를 거쳐 배터리(152c)로 전송한다.
충전 제어부(152b)는 쏠라 셀(152a)에서 변환된 직류 전원을 배터리(152c)에 충전하거나 배터리(152c)에 저장된 직류 전원의 방전을 제어하며, 쏠라 셀(152a)에서 유입되는 전기량, 사용 중인 전기량, 및 잔량 등을 표시한다. 이러한 충전 제어부(152b)는 태양광에서 발전된 전기에너지가 배터리(152c)에 안전하게 충전되도록 제어하면서 배터리(152c)에 저장된 전기에너지의 방전시 과방전이 이루어지지 않도록 제어하여 배터리(152c)의 손상을 방지하며, 아울러 쏠라 셀(152a)에서 현재 생성되어 유입되고 있는 전기량(전압, 전류량), 현재 부하(load)에 공급되고 있는 사용 중인 전기량, 및 배터리(152c)의 잔량(쓰고 남은 전기 에너지의 잔량) 등을 표시하도록 구성될 수 있다.
배터리(152c)는 충전 제어부(152b)에서 유입되는 직류 전원을 저장하며, 부이의 각 부하에 동작 전원을 공급한다. 쏠라 셀(152a)로부터 발전되어 충전 제어부(152b)를 통해 유입되는 직류 전원을 저장하여 태양광이 있는 동안 또는 태양광이 없는 동안에 사용할 수 있도록 하며, 부이의 각 부하에 직류 동작 전원을 직접 공급하고, 인버터(152d)에 직류 전원을 공급한다.
인버터(152d)는 배터리(152c)에 충전된 직류 전원을 교류 전원으로 변환하여 부이에 설치된 하나 이상의 시설물에 교류의 동작 전원을 공급할 수 있다.
한편, 원격 부이감시 및 모니터링서버(200)는 육상의 관제센터에 설치되며, 상기 각 부이 충돌감지 및 사고영상 기록장치(100a-100n)에서 무선 전송되는 실시간 사고영상 및 운영상황 감시정보를 수신하여 취합하고 관리자 모니터링 화면으로 표시한다.
이상과 같이 구성되는 본 발명에 의한 해상 부이의 실시간 원격 모니터링 시스템의 상세 동작 및 그에 의한 작용 효과는 다음과 같다.
먼저, 풍력 발전부(151)와 태양광 발전부(152) 중의 어느 하나, 또는 모두를 포함하는 전원공급부(150)에서 해상의 바람에 의해 발생되는 동력을 전기에너지로 변환하거나 태양광선을 전기에너지로 변환하여 전력을 각각 생산 및 저장하고, 해상 부이에 설치되는 각 부하로 직류 또는 교류의 구동전원을 출력하게 되므로, 축전지와 태양전지 등으로 구성된 전원공급부(150)에서 해상의 부이(10a-10n)에 설치된 각 부하에 동작전원을 공급하게 되면, 각 부이(10a-10n)의 부이 충돌감지 및 사고영상 기록장치(100a-100n)에서는 충돌 감지부(110)에서 충돌이 감지되지 않는 평상시에는 각 부이의 실시간 운영상황을 다수의 센서, 즉 자이로 센서(111), 레이저 거리 측정기(112), 및 레이더 탐지기(113)를 통해 감시하면서 영상 촬영 및 기록부(120)를 제어하여, 해상 부이(10a-10n) 주변의 실시간 주변영상을 카메라(122)로 촬영하여 기록하고 촬영된 실시간 주변영상 및 운영상황 감시정보를 미리 지정된 URL을 가진 육상 관제센터의 원격 부이감시 및 모니터링서버(200)로 무선 전송한다.
상기와 같은 실시간 운영상황 감시 도중에 부이와 그 주변의 선박 또는 물체와의 충돌이 발생하게 되면 충돌 감지부(110)는 자이로 센서(111)에 의한 부이의 방위변화, 레이저 거리 측정기(112)에 의한 부이와 물체 간의 거리, 및 레이더 탐지기(113)에 의한 부이 기준의 고도, 이동방향과 거리, 및 속도 측정값들을 주제어부(130)로 전달하게 되고, 주제어부(130)에서는 상기 각 센서에 의한 측정값들을 조합하여 부이와 주변 선박 또는 물체와의 충돌 여부를 판단할 수 있게 된다. 여기서 주제어부(130)는 예를 들어 레이저 거리 측정기(112)에 의해 측정된 부이와 물체 간의 거리차가 미리 지정된 기준거리차(예를 들면 해상에서 두 물체가 충돌하였음을 판정하기 위해 실험적으로 미리 지정한 거리차일 수 있음) 이내이고, 레이더 탐지기(113)에 의해 측정된 선박 또는 물체의 부이 기준의 고도가 미리 지정된 기준고도차(예를 들면 해상에서 두 물체가 충돌하였음을 판정하기 위해 실험적으로 미리 지정한 고도차일 수 있음) 이내이며, 자이로 센서(111)에 의한 부이의 방위변화가 미리 지정된 방위변화값(예를 들면 해상에서 자연적으로 발생가능한 부이의 방위 변화와 충돌에 의해 발생가능한 부이의 방위변화를 구별하기 위해 실험적으로 미리 지정한 방위변화 경계값일 수 있음) 이상일 경우를, 부이와 주변 선박 또는 물체와의 충돌이라 판단할 수 있도록 설정될 수 있을 것이다.
상기와 같은 주제어부(130)의 판단동작에 의해 부이와 주변 선박 또는 물체와의 충돌이 감지되면, 충돌 감지에 따른 실시간 사고영상을 카메라(122)로 촬영 및 기록하기 위해 주제어부(130)는 영상 촬영 및 기록부(120)를 제어하여 움직임 검출부(121)를 구동시킨다.
영상 촬영 및 기록부(120)의 움직임 검출부(121)에서는 충돌 감지부(110)에 의한 부이와 주변의 선박 또는 물체와의 충돌 감지시, 충돌이 발생된 부이의 주변 선박 또는 물체에 대한 움직임 여부를 검출하고, 움직임이 발생된 피사체의 추종을 위한 움직임 검출정보를 카메라(122)에 전달하게 된다.
따라서 움직임 검출부(121)와 일체로 구성된 영상 촬영 및 기록부(120)의 카메라(122)는 해상의 부이 상단부에서 움직임 검출부(121)의 움직임 검출정보에 따라 피사체의 움직임을 추종하면서 해상 부이의 실시간 사고영상을 촬영할 수 있게 된다. 이때 카메라(122)는 디포그부와 역광보정부와 슈퍼나이트비젼부 및 디와핑부를 내장하며 광각 렌즈 카메라로 구성되므로 렌즈 표면의 습기를 억제 또는 제거하여 렌즈의 시야를 확보하면서 해상의 넓은 영상을 촬영할 수 있게 되며, 또한 역광보정부를 통해 빛의 밝기에 따른 전체 색감의 밸런스를 조절하여 촬영된 영상을 보정하고, 슈퍼나이트비젼부를 통해 야간의 조명 밝기를 샹향 조정하여 빛이 없는 어두운 환경에서 촬영된 영상을 밝게 보정하고, 디와핑부를 통해 광각 렌즈를 이용하여 촬영된 영상의 양끝에 발생되는 세로 수직선의 왜곡을 보정함으로써, 보다 선명하고 깨끗한 사고영상을 촬영할 수 있게 된다.
아울러 영상 촬영 및 기록부(120)의 영상 기록부(123)에서는 카메라(122)에서 촬영된 해상 부이의 실시간 주변영상 및 사고영상을 플래시 메모리 저장장치인 SD 카드에 기록하여 저장한다.
상기와 같이 측정 및 기록된 부이의 실시간 운영상황 감시정보, 충돌 미발생시의 실시간 주변영상, 및 충돌 발생시 피사체를 추종하여 촬영한 사고영상은 주제어부(130)에서 영상처리 및 분석된 후 무선 통신부(140)를 통해 육상의 미리 지정된 URL의 원격 부이감시 및 모니터링서버(200)로 전송된다.
따라서 육상의 관제센터에 설치된 원격 부이감시 및 모니터링서버(200)는 각 부이 충돌감지 및 사고영상 기록장치(100a-100n)에서 무선 전송되는 실시간 주변영상, 실시간 사고영상 및 운영상황 감시정보를 각각 수신하여 취합하고 관리자 모니터링 화면을 통해 표시함으로써, 관리자에 의한 각각의 해상 부이의 감시 및 모니터링을 가능하게 하여, 해상 관측용 부이의 사고 또는 파손원인 규명, 피해 복구, 유지 보수를 신속하게 처리 및 대응할 수 있게 한다.
또한 이러한 육상 관제센터의 원격 부이감시 및 모니터링서버(200)는 각 부이 충돌감지 및 사고영상 기록장치(100a-100n)에서 무선 전송되는 실시간 주변영상, 실시간 사고영상 및 운영상황 감시정보를 별도의 데이터베이스에 저장함으로써, 추후 관리자에 의한 데이터의 가공 및 자세한 분석을 통해 해상 관측용 부이의 사고 또는 파손 원인 규명자료로 사용할 수 있도록 하므로, 고가인 해상 관층용 부이의 충돌사고로 인해 발생되는 재산적 피해를 줄일 수 있게 한다.
이로써, 본 발명은 해양 기상 및 환경정보 등의 수집을 위해 해상에 설치하여 운용중인 해상 관측용 부이의 실시간 운영상황 및 선박 등에 의한 충돌 사고 발생 상황을 육상의 관제센터서버에서 실시간 감시할 수 있게 되므로, 해상 관측용 부이의 사고 또는 파손원인 규명, 피해 복구, 유지 보수를 신속하게 처리할 수 있으며, 따라서 부이의 충돌사고로 인한 재산적 손실을 줄일 수 있는 이점이 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10a-10n : 부이
100a-100n : 부이 충돌감지 및 사고영상 기록장치
110 : 충돌 감지부 111 : 자이로 센서
112 : 레이저 거리 측정기 113 : 레이더 탐지기
120 : 영상 촬영 및 기록부 121 : 움직임 검출부
122 : 카메라 123 : 영상 기록부
130 : 주제어부 140 : 무선 통신부
150 : 전원 공급부 151 : 풍력 발전부
152 : 태양광 발전부 152a : 쏠라 셀
152b : 충전 제어부 152c : 배터리
152d : 인버터 200 : 원격 부이감시 및 모니터링서버

Claims (8)

  1. 해상의 부이에 설치되며 부이의 실시간 운영상황 감시를 위한 부이의 충돌 감지와 방위변화, 주변물체의 위치와 거리를 측정하여 주제어부(130)로 전달하는 충돌 감지부(110)와, 해상 부이의 실시간 주변영상을 촬영하여 기록하면서 상기 충돌 감지부(110)에 의한 충돌 감지시 충돌이 발생된 부이 주변물체의 움직임을 추종하여 사고영상을 촬영하고 기록하는 영상 촬영 및 기록부(120)와, 상기 충돌 감지부(110)에 의한 실시간 운영상황 감시결과로 영상 촬영 및 기록부(120)의 동작을 제어하여 충돌 또는 사고 발생시의 원인 규명을 위한 사고영상의 촬영을 제어하고 부이의 실시간 운영상황 감시정보 및 촬영된 영상정보를 영상처리 및 분석하여 무선 통신부(140)를 통해 원격 부이감시 및 모니터링서버(200)로 전송하는 주제어부(130)와, 상기 주제어부(130)에 의해 제어되어 충돌 감지부(110)에 의한 부이의 실시간 운영상황 감시정보 및 영상 촬영 및 기록부(120)에 의한 영상정보와 그 분석정보를 원격 부이감시 및 모니터링서버(200)로 전송하는 무선 통신부(140), 및 해상 부이에 설치되는 각 부하에 동작전원을 공급하는 전원공급부(150)를 포함하여, 해상 부이의 실시간 운영상황을 감시하면서 실시간 주변영상 및 충돌 감지에 따른 실시간 사고영상을 촬영하여 기록하고 촬영된 사고영상 및 운영상황 감시정보를 육상 관제센터의 원격 부이감시 및 모니터링서버(200)로 무선 전송하는 부이 충돌감지 및 사고영상 기록장치(100); 및
    육상의 관제센터에 설치되며, 상기 부이 충돌감지 및 사고영상 기록장치(100)에서 무선 전송되는 실시간 사고영상 및 운영상황 감시정보를 수신하여 관리자 모니터링 화면으로 표시하는 원격 부이감시 및 모니터링서버(200);를 포함하여 구성되며,
    상기 충돌 감지부(110)는,
    해상의 부이 상단부에 설치되며, 부이의 방위변화를 측정하여 충돌 발생 여부를 감지하는 자이로 센서(111);
    해상의 부이 상단부에 설치되며, 레이저를 발생시킨 후 물체에서 반사되어 되돌아오는 광량을 검출 및 계수하여 부이와 물체 간의 거리를 산출하는 레이저 거리 측정기(112); 및
    해상의 부이에 설치되며, 전파 발사 후 물체에서 반사되어 되돌아오는 전파를 분석하여 부이 주변의 물체에 대한 고도, 이동방향과 거리, 및 속도를 부이 기준의 좌표값으로 표시하는 레이더 탐지기(113);를 포함하여 구성되는 것을 특징으로 하는 해상 부이의 실시간 원격 모니터링시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 영상 촬영 및 기록부(120)는,
    카메라에 일체로 설치되며, 부이의 주변 물체에 대한 움직임 여부를 검출하여 움직임이 발생된 피사체의 추종을 위한 움직임 검출정보를 카메라(122)에 전달하는 움직임 검출부(121);
    해상의 부이 상단부에 설치되어 해상 부이의 주변영상을 실시간 촬영하며, 상기 충돌 감지부(110)에 의한 충돌 감지시 상기 움직임 검출부(121)에 의한 움직임 검출정보로 피사체의 움직임을 추종하면서 해상 부이의 실시간 사고영상을 촬영하는 카메라(122); 및
    상기 카메라(122)에서 촬영된 해상 부이의 실시간 주변영상 및 사고영상을 기록하여 저장하는 영상 기록부(123);를 포함하여 구성되는 것을 특징으로 하는 해상 부이의 실시간 원격 모니터링시스템.
  5. 제4항에 있어서, 상기 카메라(122)는,
    광각 렌즈 카메라로 구성되며,
    빛의 밝기에 따른 전체 색감의 밸런스를 조절하여 촬영된 영상을 보정하는 역광보정부(Wide Dynamic Range);
    야간의 조명 밝기를 샹향 조정하여 빛이 없는 어두운 환경에서 촬영된 영상을 밝게 보정하는 슈퍼나이트비젼부(Super Night Vision);
    광각 렌즈를 이용하여 촬영된 영상의 양끝에 발생되는 세로 수직선의 왜곡을 보정하는 디와핑부(De-Warping); 및,
    렌즈 표면의 습기를 감지하여 습기를 억제 또는 제거하여 렌즈의 시야를 확보하는 디포그부(Defog);를 포함하여 구성되는 것을 특징으로 하는 해상 부이의 실시간 원격 모니터링시스템.
  6. 제1항에 있어서, 상기 전원공급부(150)는,
    부이의 상단부에 설치되며, 풍력을 전기에너지로 변환하여 전력을 생산 및 저장하고, 해상 부이에 설치되는 각 부하로 직류 또는 교류의 구동전원을 출력하는 풍력 발전부(151);를 포함하여 구성되는 것을 특징으로 하는 해상 부이의 실시간 원격 모니터링시스템.
  7. 제1항에 있어서, 상기 전원공급부(150)는,
    태양광선을 전기에너지로 변환하여 전력을 생산 및 저장하고, 해상 부이에 설치되는 각 부하로 직류 또는 교류의 구동전원을 출력하는 태양광 발전부(152);를 포함하여 구성되는 것을 특징으로 하는 해상 부이의 실시간 원격 모니터링시스템.
  8. 제7항에 있어서, 상기 태양광 발전부(152)는,
    태양광을 직류 전원으로 변환하는 쏠라 셀(152a);
    상기 쏠라 셀에서 변환된 직류 전원을 배터리에 충전하거나 배터리에 저장된 직류 전원의 방전을 제어하며, 쏠라 셀에서 유입되는 전기량, 사용 중인 전기량, 및 잔량을 표시하는 충전 제어부(152b);
    상기 충전 제어부에서 유입되는 직류 전원을 저장하며, 복합 감지부 및 제어부에 동작 전원을 공급하는 배터리(152c); 및
    상기 배터리에 충전된 직류 전원을 교류 전원으로 변환하여 이동식 화장실에 설치된 하나 이상의 시설물에 동작 전원을 공급하는 인버터(152d);를 포함하여 구성되는 해상 부이의 실시간 원격 모니터링시스템.
KR1020150163796A 2015-11-23 2015-11-23 해상 부이의 실시간 원격 모니터링 시스템 KR101633812B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163796A KR101633812B1 (ko) 2015-11-23 2015-11-23 해상 부이의 실시간 원격 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163796A KR101633812B1 (ko) 2015-11-23 2015-11-23 해상 부이의 실시간 원격 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR101633812B1 true KR101633812B1 (ko) 2016-06-28

Family

ID=56366357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163796A KR101633812B1 (ko) 2015-11-23 2015-11-23 해상 부이의 실시간 원격 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR101633812B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911756B1 (ko) * 2018-05-04 2018-10-25 (주)에디넷 해상 부이의 실시간 원격 모니터링 시스템
CN108945309A (zh) * 2018-07-09 2018-12-07 刘愉强 浮标智能音像安防监控***及其浮标和方法
KR101996749B1 (ko) * 2018-01-18 2019-07-04 한국해양대학교 산학협력단 설치범위 조절이 가능한 선박 장착형 오일펜스
KR102193216B1 (ko) 2019-10-11 2020-12-18 동강엠텍(주) 해상 기상 관측용 부이의 파손 방지 및 진단 장치
CN114153010A (zh) * 2021-12-22 2022-03-08 山东深海海洋科技有限公司 一种海洋浮标预警监控传输***
KR20220040176A (ko) 2020-09-23 2022-03-30 (주)대한엔지니어링 파고부이 자료처리장치 및 그 장치의 구동방법
KR20230082483A (ko) 2021-12-01 2023-06-08 고등기술연구원연구조합 부유식 풍황 계측 장치, 이의 제어방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 이를 이용하는 모니터링 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010104898A (ko) 2000-05-16 2001-11-28 이재성 해상 부표의 상태 감지장치
JP2006005306A (ja) * 2004-06-21 2006-01-05 Sharp Corp 太陽光発電システム
KR20060112195A (ko) * 2004-01-21 2006-10-31 미쯔이카가쿠 가부시기가이샤 부이
KR20080014103A (ko) * 2008-01-17 2008-02-13 대한민국(관리부서:국립수산과학원) 무인 해양환경 자동측정 장치 및 그 방법
KR100946942B1 (ko) * 2009-05-21 2010-03-09 대한민국(관리부서:국립수산과학원) 실시간 해양생물 관측장치 및 방법
KR101152016B1 (ko) 2012-02-21 2012-06-08 (주)세영통신 해상 부표 장치를 이용한 상태정보 송수신시스템
KR20130073275A (ko) 2011-12-23 2013-07-03 한전케이디엔주식회사 다기능 부표 및 이를 이용한 해상 감시 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010104898A (ko) 2000-05-16 2001-11-28 이재성 해상 부표의 상태 감지장치
KR20060112195A (ko) * 2004-01-21 2006-10-31 미쯔이카가쿠 가부시기가이샤 부이
JP2006005306A (ja) * 2004-06-21 2006-01-05 Sharp Corp 太陽光発電システム
KR20080014103A (ko) * 2008-01-17 2008-02-13 대한민국(관리부서:국립수산과학원) 무인 해양환경 자동측정 장치 및 그 방법
KR100946942B1 (ko) * 2009-05-21 2010-03-09 대한민국(관리부서:국립수산과학원) 실시간 해양생물 관측장치 및 방법
KR20130073275A (ko) 2011-12-23 2013-07-03 한전케이디엔주식회사 다기능 부표 및 이를 이용한 해상 감시 시스템
KR101152016B1 (ko) 2012-02-21 2012-06-08 (주)세영통신 해상 부표 장치를 이용한 상태정보 송수신시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996749B1 (ko) * 2018-01-18 2019-07-04 한국해양대학교 산학협력단 설치범위 조절이 가능한 선박 장착형 오일펜스
KR101911756B1 (ko) * 2018-05-04 2018-10-25 (주)에디넷 해상 부이의 실시간 원격 모니터링 시스템
CN108945309A (zh) * 2018-07-09 2018-12-07 刘愉强 浮标智能音像安防监控***及其浮标和方法
KR102193216B1 (ko) 2019-10-11 2020-12-18 동강엠텍(주) 해상 기상 관측용 부이의 파손 방지 및 진단 장치
KR20220040176A (ko) 2020-09-23 2022-03-30 (주)대한엔지니어링 파고부이 자료처리장치 및 그 장치의 구동방법
KR20230082483A (ko) 2021-12-01 2023-06-08 고등기술연구원연구조합 부유식 풍황 계측 장치, 이의 제어방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 이를 이용하는 모니터링 시스템
CN114153010A (zh) * 2021-12-22 2022-03-08 山东深海海洋科技有限公司 一种海洋浮标预警监控传输***

Similar Documents

Publication Publication Date Title
KR101911756B1 (ko) 해상 부이의 실시간 원격 모니터링 시스템
KR101633812B1 (ko) 해상 부이의 실시간 원격 모니터링 시스템
CN202172233U (zh) 一种高压输电线自动巡检***
CN110244314B (zh) 一种“低慢小”目标探测识别***与方法
KR20170043035A (ko) 수중, 수면 및 수상 복합 검사 시스템
CN106099763A (zh) 一种输电线路无人机巡检装置
CN102490868B (zh) 航标防碰撞雷达装置
CN201674162U (zh) 一种电力巡线直升机
KR101861045B1 (ko) 맨홀 및 하천 시설물 점검용 드론
KR101313545B1 (ko) 부표형 자가발전로봇
CN102975833A (zh) 用于水下目标探测与处置的遥操作无人潜水器
JP2009252940A (ja) 太陽光発電システムの出力予測装置およびそれを用いた需給制御システム
CN108693849A (zh) 一种自动远海侦测***
KR101313306B1 (ko) 부표형 모니터링 로봇
CN108168713B (zh) 输电线路红外热成像防山火***
CN105516684A (zh) 电网输电线巡视方法
KR101508290B1 (ko) 주야간 감시장치 및 그를 이용한 수상 감시시스템
CN103051884A (zh) 一种粗精观察模式相结合的全方位视觉监视***
CN102348102A (zh) 天台安全监控***及方法
CN110944150A (zh) 一种电力专用的防外破智能识别方法
KR101935577B1 (ko) 해상 풍력 단지 및 해저 케이블 감시 시스템
CN111572723A (zh) 水尺测量方法、测量装置、无人船及存储介质
RU2530185C1 (ru) Наземный транспортный комплекс для обнаружения и распознавания объектов
KR101542134B1 (ko) 스마트 카메라모듈을 통한 열차선로 상의 낙석·사람으로 이루어진 관심 객체 실시간 감시 장치 및 방법
KR101717602B1 (ko) 해양 시설물의 주변 상태 모니터링 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 4