KR102682319B1 - 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법 - Google Patents

해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법 Download PDF

Info

Publication number
KR102682319B1
KR102682319B1 KR1020210174932A KR20210174932A KR102682319B1 KR 102682319 B1 KR102682319 B1 KR 102682319B1 KR 1020210174932 A KR1020210174932 A KR 1020210174932A KR 20210174932 A KR20210174932 A KR 20210174932A KR 102682319 B1 KR102682319 B1 KR 102682319B1
Authority
KR
South Korea
Prior art keywords
frame
unmanned surface
unmanned
motion
power plant
Prior art date
Application number
KR1020210174932A
Other languages
English (en)
Other versions
KR20230086369A (ko
Inventor
정종대
박정홍
최진우
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020210174932A priority Critical patent/KR102682319B1/ko
Publication of KR20230086369A publication Critical patent/KR20230086369A/ko
Application granted granted Critical
Publication of KR102682319B1 publication Critical patent/KR102682319B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00Monitoring properties or operating parameters of vessels in operation
    • B63B79/40Monitoring properties or operating parameters of vessels in operation for controlling the operation of vessels, e.g. monitoring their speed, routing or maintenance schedules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B35/00Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
    • B63B2035/006Unmanned surface vessels, e.g. remotely controlled
    • B63B2035/007Unmanned surface vessels, e.g. remotely controlled autonomously operating

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

해양 발전소의 구조 모니터링을 위한 무인수상선의 제어 장치 및 방법이 개시된다. 무인수상선의 제어 방법은, 위성 항법 시스템(GNSS: Global Navigation Satellite System) 및 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)에 의하여 획득된 측정값으로부터 무인수상선의 모션을 추정하는 단계, 추정된 모션을 이용하여 다중빔 음향측심기(MBES: Multibeam echosounder)에 의하여 획득된 측정값으로부터 해양 발전소 주변의 해저 지도를 생성하는 단계 및 추정된 모션을 이용하여 라이다(LiDAR: Light detection and ranging)에 의하여 획득된 측정값으로부터 해양 발전소 지도를 생성하는 단계를 포함한다.

Description

해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법{Apparatus and method for controlling USV(Unmanned Surface Vehicle) for structural monitoring of offshore power plants}
본 발명은 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법에 관한 것이다.
재생 에너지는 탄소 배출 저감에 대한 전 세계적인 요구사항으로 인하여, 중요성이 증가하는 신흥 기술이다. 이러한 의미에서, 풍력 및 파력 발전소와 같은 해양 발전소는 해양 에너지 자원의 거대한 잠재력을 활용할 수 있다. 그러므로, 이러한 타입의 인프라에 대하여 적합한 구조적 건전성 모니터링 시스템을 제공하는 것이 필수적이다. 또한, 최근 로봇기술의 발전은 바다와 같은 어려운 환경에서도 모니터링 작업을 안전하고 효율적인 작업으로 점차 영역을 변화시키고 있다.
무인수상선(USV: Unmanned Surface Vehicle)은 수로 측량, 환경 모니터링, 방어 및 1차 대응 지원과 같은 다양한 임무를 위하여 개발되고 있다. 설치된 외수용성 및 고유수용성 센서는 무인수상선이 해수면 위에서 위치와 자세를 정확하게 획득하게 할 수 있다. 이 정보는 자율 운항 및 매핑에 사용될 수 있다. 무인수상선은 임무에 따른 여러 페이로드 센서를 장착할 수 있다. 라이다(LiDAR: Light detection and ranging)는 자율운항에 사용되는 가장 일반적인 센서가 되었다. 이 센서는 주변 물체의 형태 및 정확한 위치를 설명하는 수많은 포인트 클라우드를 제공할 수 있다. 여러 연구에서, 무인수상선과 함께 라이다를 이용하여 내수면의 구조물(교량 하부 등)을 모니터링하는데 중점을 두었다.
소나는 수중 환경을 모니터링하기 위한 기본 센서이다. 빛은 수중 매체에서 상당히 많이 흡수되기 때문에, 광학 카메라나 라이다를 수중 매핑에 사용하는 것은 범위 측면에서 제한적이다. 그러나, 소나는 감지 범위가 더 길고(보통 수백 미터까지), 조명 조건에 의존하지 않는다. 2차원 라이다와 유사하게, 다중빔 음향측심기(MBES: Multibeam echosounder)는 해저에 대한 소나 관측 정보를 제공하고, 이는 3차원 포인트 클라우드로 변환할 수 있다. 해양 매핑을 위하여, 무인수상선 또는 연구선박(RV: Research vessels)과 함께 다중빔 음향측심기를 사용하는 것에 대한 상당히 많은 연구가 수행되어왔다. 그러나, 무인수상선은 해양 환경에서 드물게 사용되어 왔으며, 주로 내륙 및 얕은 수역에서 적용되어 왔다.
대한민국등록특허공보 제10-1908534호(2018.10.10)
본 발명은 무인수상선(USV: Unmanned Surface Vehicle)의 모션을 추정하고, 추정된 모션을 이용하여 해양 발전소 주변 해저 지도 및 해양 발전소 지도를 생성하는 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 무인수상선(USV: Unmanned Surface Vehicle)의 제어 장치가 수행하는 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법이 개시된다.
본 발명의 실시예에 따른 무인수상선의 제어 방법은, 위성 항법 시스템(GNSS: Global Navigation Satellite System) 및 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)에 의하여 획득된 측정값으로부터 상기 무인수상선의 모션을 추정하는 단계, 상기 추정된 모션을 이용하여 다중빔 음향측심기(MBES: Multibeam echosounder)에 의하여 획득된 측정값으로부터 상기 해양 발전소 주변의 해저 지도를 생성하는 단계 및 상기 추정된 모션을 이용하여 라이다(LiDAR: Light detection and ranging)에 의하여 획득된 측정값으로부터 해양 발전소 지도를 생성하는 단계를 포함한다.
상기 무인수상선의 모션을 추정하는 단계는, 상기 위성 항법 시스템으로부터 획득된 측지 좌표계로 표현된 위치 정보를 측지 좌표에서 ECEF(Earth-centered Earth-fixed) 프레임으로 변환하는 단계, 상기 ECEF 프레임으로 변환된 위치 정보를 ENU(East, North, up) 프레임으로 변환하는 단계 및 상기 ENU 프레임으로 변환된 위치 정보로 상기 무인수상선의 모션 추정을 업데이트하는 단계를 포함한다.
상기 ECEF 프레임으로 변환된 위치 정보는 하기 수학식으로 나타내어진다.
여기서, , 및 h는 상기 위성 항법 시스템이 제공하는 위치 정보로서, 참조 타원체로 표현되는 측지 좌표(geodetic coordinates)이고, RN은 지구의 주요 수직 곡률 반경이고, R0는 적도 반경이고, e는 타원체의 첫번째 이심률이다.
상기 ENU 프레임으로 변환된 위치 정보는 하기 수학식으로 나타내어진다.
여기서, 는 각각 참조 위치의 측지 좌표 및 ECEF 좌표이다.
상기 무인수상선의 모션 추정을 업데이트하는 단계는, 상기 무인수상선의 선체 고정 프레임 높이(zt)를 하기 수학식을 이용하여 추정한다.
여기서, h0 GPS는 GPS 안테나의 초기화된 표고(orthometric height)이고, zt local는 히브(heave) 측정값이고, Nt는 지오이드 높이의 측정값이고, N0는 지오이드 높이의 초기값이다.
상기 해양 발전소 주변의 해저 지도를 생성하는 단계는, 상기 다중빔 음향측심기의 소나 빔을 이용한 수심 측정을 통해 원시 측정값을 획득하는 단계, 상기 추정된 모션을 이용하여 상기 원시 측정값의 수중 지형의 3차원 포인트 클라우드를 재구성하는 단계 및 상기 재구성된 3차원 포인트 클라우드에서 이상치 제거(outlier rejection)를 수행하는 단계를 포함한다.
상기 3차원 포인트 클라우드를 재구성하는 단계는, 하기 수학식을 이용하여 초기 해저 지도를 생성한다.
여기서, 는 상기 3차원 포인트 클라우드로 재구성된 상기 초기 해저 지도를 나타내고, nb는 단일 스캔의 소나 빔의 개수이고, ts는 소나 매핑에 소요된 총 타임스텝이고, 는 소나 센서 고정 프레임 {S}로 표현되는 소나 포인트 클라우드이고, s는 소나 스캔 폭이고, b는 빔 간격이고, rk,t는 타임스텝 t에서 k번째 소나 빔으로부터의 측정 거리값이고, 를 관성 참조 프레임 {I}으로 나타낸 것이고, 는 {B} 프레임에서 {I} 프레임으로의 변환을 설명하는 회전 행렬이고, 는 {S} 프레임에서 {B} 프레임으로의 회전을 설명하는 행렬이고, 는 무인수상선(10)의 모션 중심에서 센서 위치를 설명하는 변환 벡터이다.
상기 해양 발전소 지도를 생성하는 단계는, 상기 라이다에 의하여 획득된 측정값으로부터 라이다 포인트 클라우드를 생성하는 단계, 상기 생성된 라이다 포인트 클라우드를 지향성 통과 필터(OPF: oriented pass-through filter) 및 일반 통과 필터(normal pass-through filter)를 이용하여 2번 필터링하여 이상치 제거(outlier rejection)를 수행하는 단계 및 상기 필터링된 라이다 포인트 클라우드의 노이즈를 반경 이상치 제거(ROR: radius-outlier removal) 필터를 이용하여 제거하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 해양 발전소의 구조 모니터링을 위한 무인수상선(USV: Unmanned Surface Vehicle)의 제어 장치가 개시된다.
본 발명의 실시예에 따른 무인수상선의 제어 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 위성 항법 시스템(GNSS: Global Navigation Satellite System) 및 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)에 의하여 획득된 측정값으로부터 상기 무인수상선의 모션을 추정하는 단계, 상기 추정된 모션을 이용하여 다중빔 음향측심기(MBES: Multibeam echosounder)에 의하여 획득된 측정값으로부터 상기 해양 발전소 주변의 해저 지도를 생성하는 단계 및 상기 추정된 모션을 이용하여 라이다(LiDAR: Light detection and ranging)에 의하여 획득된 측정값으로부터 해양 발전소 지도를 생성하는 단계를 포함하는 무인수상선의 제어 방법을 수행한다.
본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법은, 무인수상선(USV: Unmanned Surface Vehicle)의 모션을 추정하고, 추정된 모션을 이용하여 해양 발전소 주변 해저 지도 및 해양 발전소 지도를 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 구성을 개략적으로 예시하여 나타낸 도면.
도 2 및 도 3은 도 1의 본 발명의 실시예에 따른 무인수상선을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 무인수상선의 제어 장치가 수행하는 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법을 나타낸 흐름도.
도 5 및 도 6은 도 4의 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법을 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치의 구성을 개략적으로 예시하여 나타낸 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 구성을 개략적으로 예시하여 나타낸 도면이고, 도 2 및 도 3은 도 1의 본 발명의 실시예에 따른 무인수상선을 설명하기 위한 도면이다. 이하, 도 1을 중심으로, 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선에 대하여 설명하되, 도 2 및 도 3을 참조하기로 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 무인수상선(USV: Unmanned Surface Vehicle)(10)은 전기 추진기(100), 배터리(200), 센서 장치(300) 및 제어 장치(400)를 포함하여 구성될 수 있다.
여기서, 센서 장치(300)는 도 1에 도시된 바와 같이, 위성 항법 시스템(GNSS: Global Navigation Satellite System)(310), 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)(320), 라이다(LiDAR: Light detection and ranging)(330), 다중빔 음향측심기(MBES: Multibeam echosounder)(340), 레이더(Radar)(350) 및 카메라(360)를 포함할 수 있다.
예를 들어, 본 발명의 실시예에 따른 무인수상선(10)은 도 2에 도시된 바와 같이, 쌍동선 기반으로 형성될 수 있다. 도 2를 참조하면, 무인수상선(10)은 전기 추진기와 전력, 전자 센서와 디바이스, 온보드 컴퓨터, 무선 통신 시스템을 포함하는 다양한 구성요소 시스템과 통합될 수 있다. 한 쌍의 선외 전기 추진기는 각 선체의 선미에 장착될 수 있다. 3개의 고성능 리튬 배터리가 설치되어 전력을 공급할 수 있다. 각 배터리는 배터리 관리 시스템(BMS: battery management system)을 포함한다. 배터리 용량은 무인수상선(10)의 운항 시간을 고려하여 결정될 수 있다. 그리고, 실시간으로 무인수상선(10)의 모션 정보를 측정하기 위하여, GNSS 안테나와 AHRS가 설치될 수 있다. 상황 인식 시스템으로서, 물 위에 떠 있는 물체를 감지하기 위하여 스테레오 카메라 및 라이다와 같은 광학 센서가 고려될 수 있다. 와이파이 및 RF 디바이스를 사용하는 무선 근거리 네트워크는 작동 명령과 무인수상선(10)의 현재 상태를 상호 주고받기 위하여 배치될 수 있다. 그리고, 무선 원격 정지 및 온보드 킬 스위치가 비상사태를 처리하는 시스템으로 구성될 수 있다.
제어 장치(400)는 전반적으로, 무인수상선(10)의 각 구성을 제어한다. 예를 들어, 제어 장치(400)는 센서 장치(300)를 동작시켜 센서 장치(300)에 의하여 획득되는 각종 센싱 데이터를 미리 설정된 알고리즘에 따라 분석하고, 분석 결과에 따라 배터리(200)의 전력 공급 및 전기 추진기(100)의 동작을 제어함으로써, 무인수상선(10)의 운항을 제어할 수 있다.
사전 할당된 웨이포인트(Waypoints)를 추적하는 자율 운항 접근 방식은 기본적으로 다양한 작업을 자율적으로 수행하기 위하여 필요하다. 그래서, 경로를 제어하고, 무인수상선(10)이 웨이포인트를 향하게 하기 위하여, 폐쇄 루프 제어기(closed loop controller)가 적용될 수 있다.
웨이포인트는 필요한 작업에 따라 우선적으로 할당될 수 있다. 무인수상선은 논홀로노믹 시스템(nonholonomic system)으로 개발되기 때문에, 안내 및 제어 접근 방식을 위한 모션 모델은 3자유도(3-DOF: three-degree-of-freedom) 운동학적 모델로 단순화될 수 있다. 그리고, 가시선(LOS: line-of-sight) 및 교차 트랙 오류를 최소화하기 위한 안내 접근 방식이 사용될 수 있다. 이와 관련하여, 기존의 PD(proportional derivative) 제어기는 웨이포인트를 향하는 무인수상선(10)의 경로를 제어하도록 설계 및 구현될 수 있다. 작업이 활성화되는 동안에, 가시선 안내 및 교차 트랙 안내에 의하여 결정되는 각 추진기의 제어 입력()은 하기의 수학식으로 나타낼 수 있다.
여기서, 는 각각 가시선 안내를 위한 비례 및 차동 이득 계수이고, 는 각각 교차 트랙 안내를 위한 비례 및 차동 이득 계수이다. 제어 이득은 각 유닛을 조정하는 전달 계수의 의미를 포함한다. 변수 는 각각 무인수상선(10)의 방향각 오차 및 차동값을 나타낸다. 그리고, 는 각각 교차 트랙 오차 및 차동값을 나타낸다. 그리고, 는 무인수상선(10)의 위치로부터 현재 목표 웨이포인트까지의 거리 대 현재 및 이전 웨이포인트 사이의 거리의 비율로 정의된다. 만약, 가 1보다 크면, 는 1로 설정된다. 그래서, 각 안내 접근 방식의 가중치는 를 이용하여 조정될 수 있다. 도 2는, 이러한 추적 성능 지수의 정의를 나타낸다.
즉, 제어 장치(400)는 수학식 1의 추진기의 제어 입력을 이용하여 전기 추진기(100)를 제어하여 무인수상선(10)의 운항을 제어할 수 있다.
이와 같은 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치(400)가 수행하는 제어 방법에 대하여 이후, 도 4 내지 도 6을 참조하여 상세히 후술하기로 한다.
도 4는 본 발명의 실시예에 따른 무인수상선의 제어 장치가 수행하는 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법을 나타낸 흐름도이고, 도 5 및 도 6은 도 4의 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법을 설명하기 위한 도면이다. 이하, 도 4를 중심으로, 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법을 설명하되, 도 5 및 도 6을 참조하기로 한다.
센서 데이터 스트림으로부터 전역적으로 일관된 대상 물체의 지도를 생성하는 것은 필수적이다. 이를 위하여, 무인수상선(10)의 모션의 정확한 추정, 및 이상치 제거(outlier rejection) 및 필터링을 통한 지도 작성의 두 단계가 수행될 수 있다.
S410 단계에서, 제어 장치(400)는 위성 항법 시스템(GNSS)(310) 및 자세 방향 참조 시스템(AHRS)(320)에 의하여 획득된 측정값으로부터 무인수상선(10)의 모션을 추정한다.
연안 해양 환경에서, 무인수상선(10)은 바람 및 파도의 흐름 때문에, 큰 교란을 겪는다. 이는 일관된 매핑을 위하여, 정확한 위치 및 자세 추정이 중요하게 한다. 그렇지 않으면, 매핑 센서로부터 캡처된 각 장면이 올바르게 오버랩될 수 없다. 그래서, 결과 지도의 대상 물체는 인식되기 어려울 수 있다.
이를 위하여, 우선, 무인수상선(10)의 모션을 설명하는 좌표계가 정의된다. 무인수상선(10)의 모션에 대하여 지구의 자전 효과를 무시할 수 있다고 가정하면, 지구중심지구고정(ECEF: Earth-centered Earth-fixed) 또는 동쪽북쪽위쪽(ENU: East, North, up)과 같은 지구 고정 프레임(Earth-fixed frame)이 관성 참조 프레임 {I}으로 사용될 수 있다. 본 발명의 실시예에서는, ENU가 관성 참조 프레임으로 고려된다. 그리고, 무인수상선(10)의 차체 고정 프레임 {B}이 관성 측정기(IMU: inertial measurement unit)의 중심으로 정의된다. 여기서, 특정 힘 및 각속도가 측정된다.
다음으로, 위치 , 선형 속도 및 방향 을 포함하는 무인수상선(10)의 운항 상태가 정의될 수 있다.
다음으로, 대상 물체의 높이를 나타내는 수직 데이텀(vertical datum)이 정의되어야 한다. 가장 일반적으로 사용되는 데이텀은 지오이드(geoid)이고, 지오이드로부터의 높이는 표고(orthometric height) H이다. 도 5를 참조하면, H와 다른 높이 정보 사이의 관계는 하기 수학식으로 나타낼 수 있다.
여기서, N 및 h는 각각 지오이드 높이 및 타원체 높이이고, GNSS 안테나에 의하여 수신된 NMEA 0183 패킷 데이터로부터 획득될 수 있다.
수직 편향(VD: vertical deflection)은 실제 수직과 타원체 법선 간의 불일치에 해당한다. 현장 테스트 영역에 대한 수직 편향은 5" 미만이었고, 이는 수직 편향으로 인한 수평 편차(horizontal deviation)가 100m 측정 범위에서 최대 2.5mm임을 의미한다. 그러므로, 지역 조사에 대한 수직 편향을 무시할 수 있고, H=h-N으로 설정될 수 있다.
무인수상선(10)의 상태 추정은 위성 항법 시스템(GNSS)(310) 및 자세 방향 참조 시스템(AHRS)(320)의 측정값을 결합하여 이루어질 수 있다.
특히, 위성 항법 시스템(GNSS)(310)은 위치 정보 를 제공하며, 여기서, , 및 h는 참조 타원체(예를 들어, WGS84)로 표현되는 측지 좌표(geodetic coordinates)이다. 위성 배치의 기하학적 구성 때문에, GNSS는 일반적으로, 수평 방향보다 수직 방향의 정도 저하율(DOP: dilution of precision)이 더 높다. 그래서, 수직 측정의 정확도가 더 낮다. 위성 기반 증강 시스템(SBAS: satellite-based augmentation system) 모드에서 실행되는 일반적인 GNSS 위치 정확도는 수평축 및 수직축에서 각각 0.3m 및 0.6m를 나타낸다. 그러므로, 보다 정확한 센서로부터 추가적인 고도 정보를 얻을 필요가 있다. 이와 관련하여, 히브(heave) zlocal 및 방향 qI 추정을 위하여 측량 등급의 자세 방향 참조 시스템(AHRS)(320)이 사용될 수 있다.
그리고, 측지 좌표계로 표현된 위치 정보 rGPS는, 측지 좌표에서 ECEF 프레임으로 변환 및 ECEF 프레임에서 ENU 프레임으로 변환의 두 단계를 통해 ENU로 변환될 수 있다.
측지 좌표에서 ECEF 프레임으로 변환은 하기 수학식으로 나타낼 수 있다.
여기서, RN은 지구의 주요 수직 곡률 반경이고, R0는 적도 반경이고, e는 타원체의 첫번째 이심률이다. 변환된 ECEF 좌표는 하기 수학식과 같이 ENU 좌표로 다시 변환된다.
여기서, 는 각각 참조 위치의 측지 좌표 및 ECEF 좌표이다.
만약, 참조 위치가 조사 지역으로부터 멀지 않다고 가정(예를 들어, 선박이 출발점에 위치)하면, 테일러 급수 전개(Taylor series expansion)를 이용한 변환식은 하기 수학식으로 근사화하여 나타낼 수 있다.
여기서, RE는 지구의 자오선 곡률 반경이다. 변환된 GPS 위치 측정값은 무인수상선(10)의 모션 추정을 업데이트하는데 사용된다. 고도 측정값 h는 측정 시작 시 GPS 안테나의 표고 h0 GPS를 초기화할 때만 사용된다. 초기화 후, 무인수상선(10)의 선체 고정 프레임의 높이 zt는 히브(heave) 측정값 zt local을 이용하여 하기 수학식으로 추정된다.
매우 정확한 자세 방향 참조 시스템(AHRS)(320)을 사용하면, 자세 방향 참조 시스템(AHRS)(320)으로부터 획득되는 무인수상선(10)의 방향 qI가 최종 상태 추정에 바로 사용될 수 있다.
S420 단계에서, 제어 장치(400)는 추정된 무인수상선(10)의 모션을 이용하여 다중빔 음향측심기(MBES)(340)에 의하여 획득된 측정값으로부터 해양 발전소 주변의 해저 지도를 생성한다.
지형 매핑 절차는 소나 빔을 이용한 수심 측정의 원시 측정, 무인수상선(10)의 모션 정보를 이용한 수중 지형의 3차원 포인트 클라우드의 재구성 및 이상치 제거(outlier rejection)를 포함한다.
도 6은 다중빔 음향측심기(MBES)(340)를 이용한 수심 측정을 나타낸다. 도 6을 참조하면, 소나 스캔 폭 s 및 빔 간격 b이 주어지면, 하기 수학식을 이용하여, 소나 거리값은 소나 센서 고정 프레임 {S}로 표현되는 소나 포인트 클라우드 로 변환될 수 있다.
여기서, rk,t는 타임스텝 t에서 k번째 소나 빔으로부터의 측정 범위이다. 는 하기 수학식과 같이, {I} 프레임으로 나타낼 수 있다.
여기서, 는 {B} 프레임에서 {I} 프레임으로의 변환을 설명하는 회전 행렬이고, 는 {S} 프레임에서 {B} 프레임으로의 회전을 설명하는 행렬이고, 는 무인수상선(10)의 모션 중심에서 센서 위치를 설명하는 변환 벡터이다.
초기 해저 지도 는 재구성된 3차원 지형 포인트로 구성되며, 하기 수학식으로 나타낼 수 있다.
여기서, nb는 단일 스캔의 소나 빔의 개수이고, ts는 소나 매핑에 소요된 총 타임스텝이다.
상기 는 이상적인 소나 측정에 대한 해저 지형 지도를 나타낸다. 그러나, 실제 상황에서 소나 거리값은 다중 경로 또는 산란 효과로 인하여 비이상적인 관측값으로 생성된다. 이는 일반적으로 수면, 무인수상선(10) 자체 또는 거친 해저에서 발생하며, 누락된 데이터 및 이상치를 유발한다. 일관된 매핑을 위하여, 초기 소나 포인트 클라우드에서 이상치는 제거되어야 한다.
그러므로, 집계된 소나 스캔으로부터 소나 포인트 클라우드의 하위 지도를 생성하고, 생성된 하위 지도에 통계적 이상치 제거 방법(SOR: statistical outlier removal)이 적용될 수 있다. 단일 소나 스캔은 해저 정보의 줄무늬만을 포함한다. 그래서, 연속 스캔으로부터 정보를 집계한 다음에 이를 필터에 적용하는 것이 좋다. 해저 포인트 클라우드가 2.5차원이므로, 기존 SOR 필터 대신에, 수직 높이에 대한 통계를 생성하는 v-SOR이 적용된다. 이 접근 방식은 기존 방법에 비하여 2가지 장점을 가진다.
첫째, 무인수상선(10)의 방향 변경 또는 급격한 롤 모션 중에 생성된 성긴(sparse) 소나 포인트를 보존할 수 있다. 기존 SOR 필터는 유클리드 거리(Euclidean distance)를 이상치를 결정하는 기준으로 사용한다. 그러나, 이 접근 방식은 XY 평면에서 성긴 이상 소나 포인트를 제거할 수 있다. 이와 같은 접근 방식은 높이 차이를 확인하고, Z축 방향의 통계적 경계 내에서 소나 포인트를 보존한다.
둘째, 각 소나 포인트의 높이를 바로 사용하여 불일치를 측정하므로, 거리를 계산하는 과정에서 K-d 트리 생성을 생략할 수 있으며, 계산 효율성을 향상시킨다.
S430 단계에서, 제어 장치(400)는 추정된 무인수상선(10)의 모션을 이용하여 라이다(LiDAR)(330)에 의하여 획득된 측정값으로부터 해양 발전소 지도를 생성한다.
라이다(LiDAR)(330)는 일반적으로, 조직화된 포인트 클라우드 포맷으로 직접적인 XYZI(3차원 위치 및 세기) 정보를 제공한다. 단일 라이다 스캔(즉, 레이저 빔의 한번 회전)으로 측정한 포인트 수는 이상적으로 Nh에 의한 Nv이다. 여기서, Nv는 수직 빔(또는 채널)의 수이고, Nh는 수평 해상도이다. 각 측정 포인트의 정확도는 센티미터 이하일 수 있으나, 환경에 따라 다르다. 해저 포인트 클라우드 생성과 유사하게, 라이다 포인트 클라우드도 이상치 제거가 필요하다. 그래서, 본 발명의 실시예에서는, 2개의 필터가 적용될 수 있다.
첫번째는, 기존 통과 필터의 수정된 버전인 지향성 통과 필터(OPF: oriented pass-through filter)이다. 지향성 통과 필터는 더 나은 이상치 제거를 위하여 대상 물체의 방향을 고려한다. 라이다는 탐색하는 동안에 모니터링 대상 물체 뿐만 아니라 비대상 물체(예를 들어, 자선 및 주변 어선)를 탐지한다. 지향성 통과 필터를 사용하기 위하여, 라이다 센서 고정 프레임 {L}에서 표현되는 라이다 포인트 클라우드 를 현재 모션 정보 및 라이다-관성 측정기(LiDAR-IMU)의 외부 보정 파라미터에 기반하는 로 변환한다. {I} 프레임에서 해양 발전소의 중심 좌표 및 방향이 주어진다고 가정하면, 대상 물체가 지도의 원점에 중심을 갖고 방향이 XY축과 정렬되도록, 지향성 통과 필터는 임시로 로 변환한다. 다음으로, x 필드 데이터 및 y 필드 데이터에 대한 제약조건을 가지는 일반 통과 필터(normal pass-through filter)가 적용될 수 있다. 필터링된 포인트는 다시 {I} 프레임으로 변환된다. 그래서, 대상 물체를 제외하고, 자선 및 주변 어선을 포함하는 모든 라이다 포인트 클라우드가 제거될 수 있다.
라이다는 해양 환경에서 해수면 때문에 노이즈로부터 심한 영향을 받는다. 그래서, 이 노이즈를 제거하는 반경 이상치 제거(ROR: radius-outlier removal) 필터가 사용될 수 있다. 더욱이, 해수면에서 무인수상선(10)의 롤(roll) 및 피치(pitch)의 모션이 매우 크기 때문에, 단일 스캔에서 대상 물체의 라이다 포인트 클라우드는 성글게 나타날 수 있다. 해저 매핑에 이용되는 접근 방식과 유사하게, 라이다 포인트 클라우드도 하위 지도로 집계되고, 일반적인 반경 필터가 적용될 수 있다.
도 7은 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치의 구성을 개략적으로 예시하여 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선(10)의 제어 장치(400)는 프로세서(410), 메모리(420), 통신부(430) 및 인터페이스부(440)를 포함한다.
프로세서(410)는 메모리(420)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(420)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(420)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(420)는 본 발명의 실시예에 따른 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(430)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(440)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 무인수상선(USV: Unmanned Surface Vehicle)
100: 전기 추진기
200: 배터리
300: 센서 장치
310: 위성 항법 시스템(GNSS: Global Navigation Satellite System)
320: 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)
330: 라이다(LiDAR: Light detection and ranging)
340: 다중빔 음향측심기(MBES: Multibeam echosounder)
350: 레이더(Radar)
360: 카메라
400: 제어 장치

Claims (9)

  1. 무인수상선(USV: Unmanned Surface Vehicle)(10)의 제어 장치(400)가 수행하는 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 방법에 있어서,
    위성 항법 시스템(GNSS: Global Navigation Satellite System)(310) 및 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)(320)에 의하여 획득된 측정값으로부터 상기 무인수상선(10)의 모션을 추정하는 단계;
    상기 추정된 모션을 이용하여 다중빔 음향측심기(MBES: Multibeam echosounder)(340)에 의하여 획득된 측정값으로부터 상기 해양 발전소 주변의 해저 지도를 생성하는 단계; 및
    상기 추정된 모션을 이용하여 라이다(LiDAR: Light detection and ranging)(330)에 의하여 획득된 측정값으로부터 해양 발전소 지도를 생성하는 단계를 포함하되,
    상기 무인수상선(10)의 모션을 추정하는 단계는,
    상기 위성 항법 시스템(310)으로부터 획득된 측지 좌표계로 표현된 위치 정보를 측지 좌표에서 ECEF(Earth-centered Earth-fixed) 프레임으로 변환하는 단계;
    상기 ECEF 프레임으로 변환된 위치 정보를 ENU(East, North, up) 프레임으로 변환하는 단계; 및
    상기 ENU 프레임으로 변환된 위치 정보로 상기 무인수상선(10)의 모션 추정을 업데이트하는 단계를 포함하는 것을 특징으로 하는 무인수상선의 제어 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 ECEF 프레임으로 변환된 위치 정보는 하기 수학식으로 나타내어지는 것을 특징으로 하는 무인수상선의 제어 방법.


    여기서, , 및 h는 상기 위성 항법 시스템(310)이 제공하는 위치 정보로서, 참조 타원체로 표현되는 측지 좌표(geodetic coordinates)이고, RN은 지구의 주요 수직 곡률 반경이고, R0는 적도 반경이고, e는 타원체의 첫번째 이심률임
  4. 제1항에 있어서,
    상기 ENU 프레임으로 변환된 위치 정보는 하기 수학식으로 나타내어지는 것을 특징으로 하는 무인수상선의 제어 방법.

    여기서, 는 각각 참조 위치의 측지 좌표 및 ECEF 좌표임
  5. 제1항에 있어서,
    상기 무인수상선(10)의 모션 추정을 업데이트하는 단계는,
    상기 무인수상선(10)의 선체 고정 프레임 높이(zt)를 하기 수학식을 이용하여 추정하는 것을 특징으로 하는 무인수상선의 제어 방법.

    여기서, h0 GPS는 GPS 안테나의 초기화된 표고(orthometric height)이고, zt local는 히브(heave) 측정값이고, Nt는 지오이드 높이의 측정값이고, N0는 지오이드 높이의 초기값임
  6. 제1항에 있어서,
    상기 해양 발전소 주변의 해저 지도를 생성하는 단계는,
    상기 다중빔 음향측심기(340)의 소나 빔을 이용한 수심 측정을 통해 원시 측정값을 획득하는 단계;
    상기 추정된 모션을 이용하여 상기 원시 측정값의 수중 지형의 3차원 포인트 클라우드를 재구성하는 단계; 및
    상기 재구성된 3차원 포인트 클라우드에서 이상치 제거(outlier rejection)를 수행하는 단계를 포함하는 것을 특징으로 하는 무인수상선의 제어 방법.
  7. 제6항에 있어서,
    상기 3차원 포인트 클라우드를 재구성하는 단계는,
    하기 수학식을 이용하여 초기 해저 지도를 생성하는 것을 특징으로 하는 무인수상선의 제어 방법.



    여기서, 는 상기 3차원 포인트 클라우드로 재구성된 상기 초기 해저 지도를 나타내고, nb는 단일 스캔의 소나 빔의 개수이고, ts는 소나 매핑에 소요된 총 타임스텝이고, 는 소나 센서 고정 프레임 {S}로 표현되는 소나 포인트 클라우드이고, s는 소나 스캔 폭이고, b는 빔 간격이고, rk,t는 타임스텝 t에서 k번째 소나 빔으로부터의 측정 거리값이고, 를 관성 참조 프레임 {I}으로 나타낸 것이고, 는 {B} 프레임에서 {I} 프레임으로의 변환을 설명하는 회전 행렬이고, 는 {S} 프레임에서 {B} 프레임으로의 회전을 설명하는 행렬이고, 는 무인수상선(10)의 모션 중심에서 센서 위치를 설명하는 변환 벡터임
  8. 제1항에 있어서,
    상기 해양 발전소 지도를 생성하는 단계는,
    상기 라이다(330)에 의하여 획득된 측정값으로부터 라이다 포인트 클라우드를 생성하는 단계;
    상기 생성된 라이다 포인트 클라우드를 지향성 통과 필터(OPF: oriented pass-through filter) 및 일반 통과 필터(normal pass-through filter)를 이용하여 2번 필터링하여 이상치 제거(outlier rejection)를 수행하는 단계; 및
    상기 필터링된 라이다 포인트 클라우드의 노이즈를 반경 이상치 제거(ROR: radius-outlier removal) 필터를 이용하여 제거하는 단계를 포함하는 것을 특징으로 하는 무인수상선의 제어 방법.
  9. 해양 발전소의 구조물 모니터링을 위한 무인수상선(USV: Unmanned Surface Vehicle)(10)의 제어 장치(400)에 있어서,
    명령어를 저장하는 메모리(420); 및
    상기 명령어를 실행하는 프로세서(410)를 포함하되,
    상기 명령어는,
    위성 항법 시스템(GNSS: Global Navigation Satellite System)(310) 및 자세 방향 참조 시스템(AHRS: Attitude Heading Reference System)(320)에 의하여 획득된 측정값으로부터 상기 무인수상선(10)의 모션을 추정하는 단계;
    상기 추정된 모션을 이용하여 다중빔 음향측심기(MBES: Multibeam echosounder)(340)에 의하여 획득된 측정값으로부터 상기 해양 발전소 주변의 해저 지도를 생성하는 단계; 및
    상기 추정된 모션을 이용하여 라이다(LiDAR: Light detection and ranging)(330)에 의하여 획득된 측정값으로부터 해양 발전소 지도를 생성하는 단계를 포함하는 무인수상선의 제어 방법을 수행하고,
    상기 무인수상선(10)의 모션을 추정하는 단계는,
    상기 위성 항법 시스템(310)으로부터 획득된 측지 좌표계로 표현된 위치 정보를 측지 좌표에서 ECEF(Earth-centered Earth-fixed) 프레임으로 변환하는 단계;
    상기 ECEF 프레임으로 변환된 위치 정보를 ENU(East, North, up) 프레임으로 변환하는 단계; 및
    상기 ENU 프레임으로 변환된 위치 정보로 상기 무인수상선(10)의 모션 추정을 업데이트하는 단계를 포함하는 것을 특징으로 하는 무인수상선의 제어 장치.
KR1020210174932A 2021-12-08 2021-12-08 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법 KR102682319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210174932A KR102682319B1 (ko) 2021-12-08 2021-12-08 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210174932A KR102682319B1 (ko) 2021-12-08 2021-12-08 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230086369A KR20230086369A (ko) 2023-06-15
KR102682319B1 true KR102682319B1 (ko) 2024-07-05

Family

ID=86763960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210174932A KR102682319B1 (ko) 2021-12-08 2021-12-08 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102682319B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908534B1 (ko) 2016-06-23 2018-10-16 조선대학교산학협력단 이동체의 위치 및 자세 결정 장치 및 방법

Also Published As

Publication number Publication date
KR20230086369A (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
Wu et al. Survey of underwater robot positioning navigation
Zhang et al. Autonomous underwater vehicle navigation: a review
Corke et al. Experiments with underwater robot localization and tracking
US20190204430A1 (en) Submerged Vehicle Localization System and Method
RU2460043C1 (ru) Система навигации автономного необитаемого подводного аппарата
Evans et al. Docking techniques and evaluation trials of the SWIMMER AUV: an autonomous deployment AUV for work-class ROVs
Kimball et al. Sonar-based iceberg-relative navigation for autonomous underwater vehicles
Stateczny et al. Hydrodron—New step for professional hydrography for restricted waters
Thompson et al. Efficient lidar-based object segmentation and mapping for maritime environments
Zhou et al. Mapping the underside of an iceberg with a modified underwater glider
Zhou et al. Underwater acoustic-based navigation towards multi-vehicle operation and adaptive oceanographic sampling
Stateczny et al. Precise bathymetry as a step towards producing bathymetric electronic navigational charts for comparative (terrain reference) navigation
Campos et al. Modular multi-domain aware autonomous surface vehicle for inspection
Almeida et al. Air and underwater survey of water enclosed spaces for vamos! project
Sawada et al. Mapping and localization for autonomous ship using LiDAR SLAM on the sea
Matsuda et al. Parent–child‐based navigation method of multiple autonomous underwater vehicles for an underwater self‐completed survey
Brown et al. An overview of autonomous underwater vehicle research and testbed at PeRL
Casagrande et al. Localization of a drifting underwater vehicle using a terrain-based particle filter
KR102682319B1 (ko) 해양 발전소의 구조물 모니터링을 위한 무인수상선의 제어 장치 및 방법
Choi et al. Autonomous towed vehicle for underwater inspection in a port area
Tanaka et al. Underwater vehicle localization considering the effects of its oscillation
Choi et al. Validation of acoustic and geophysics based underwater localization with an autonomous surface vehicle
Pfingsthorn et al. Full 3D navigation correction using low frequency visual tracking with a stereo camera
Kapetanović et al. Acoustical underwater localization of a remotely operated vehicle in mariculture
y Alvarado et al. A coastal distributed autonomous sensor network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right